AI - Chat GPT ed AI Solutions

[The_machine]

Posso chiederti come hai risolto il problema del fatto che gli LLM tramite API mandano fuori solo pochi token? Hai usato API? Che LLM hai usato?
Io per creare l'articolo in home page ho dovuto usare 4-5 LLM che mettono assieme l'articolo, mi interessa. Anche il fatto di scrivere in Italiano particolarmente corretto, ma lontano dal finto italiano degli LLM. Hai fatto il tuning del prompt o hai usato un LLM particolare?

Allora, come modelli ho utilizzato le API di Gemini 3 preview, Flash e Pro a seconda della configurazione dell'utente, la versione Pro genera un risultato migliore ma costa di più. Attualmente questi sono i migliori per testi articolati.
Ogni chiamata del pro può fornite 65536 token di output che in media sono più di 40K parole, già parecchie pagine in teoria. In pratica ho notato che l'output è tra le 5-10 pagine, quindi per fargli scrivere libri anche di 300+ pagine ho utilizzato un approccio autoregressivo. Si parte dalla trama, poi dalla struttura del romanzo in capitoli e ogni chiamata genera un capitolo avendo nel contesto tutto ciò che era stato generato precedentemente. Quindi se hai un romanzo di 30 capitoli, quando genera il capitolo 25esimo gli viene fornito nel contesto tutto il contenuto dei capitoli da 1 a 24 più la trama complessiva più un prompt di sistema che gli dice cosa fare. In una versione più costosa addirittura gli faccio spezzare ogni capitolo in 2 parti. Insomma, un processo piuttosto costoso come puoi immaginare perché magari un libro overall ha più di 50 chiamate con contesti lunghi. Quindi la scrittura di un libro completo di 300+ pagine costa magari 5 euro, però ci metti 40 minuti invece che qualche anno.

[Sergio]

Non ricordo che LLM avevo usato, ma ricordo che la teorica barriera dei token massimi veniva infranta con molti modelli contro la pigrizia dell'LLM tramite API, ogni chiamata erano massimo 7-800 parole.

[Sergio]

Usi Claude Code nudo e crudo o altri addon, skills come OpenClaw?

[The_machine]

Non uso Claude Code

[Sergio]

Avevo capito che usavi Claude code dentro Cursor. Usi Claude con le API di Anthropic? O usi direttamente il tuo account Anthropic dentro Cursor?

[The_machine]

Avevo capito che usavi Claude code dentro Cursor. Usi Claude con le API di Anthropic? O usi direttamente il tuo account Anthropic dentro Cursor?

Dentro Cursor, mi da la possibilità di selezionare tra tutti i modelli principali e di solito uso Opus 4.5 thinking.

[Sergio]

Ho trovato dei piani Google Ultra venduti a $15 al mese. Ne costa $250 ed include un botto di roba, 30 Tera di spazio disco su Google, incluso l'uso quasi illimitato di Antigravity con Claude Compreso. Veo 3.1 pro con 25000 crediti AI al mese, Whisk ed un altro mondo di roba più tutte le anteprime. boh....
Sembra che il piano Ultra possa essere condiviso tra 6 membri, sto provando, funziona tutto per il momento.