Originariamente Scritto da Sergio
Visualizza Messaggio
Ogni chiamata del pro può fornite 65536 token di output che in media sono più di 40K parole, già parecchie pagine in teoria. In pratica ho notato che l'output è tra le 5-10 pagine, quindi per fargli scrivere libri anche di 300+ pagine ho utilizzato un approccio autoregressivo. Si parte dalla trama, poi dalla struttura del romanzo in capitoli e ogni chiamata genera un capitolo avendo nel contesto tutto ciò che era stato generato precedentemente. Quindi se hai un romanzo di 30 capitoli, quando genera il capitolo 25esimo gli viene fornito nel contesto tutto il contenuto dei capitoli da 1 a 24 più la trama complessiva più un prompt di sistema che gli dice cosa fare. In una versione più costosa addirittura gli faccio spezzare ogni capitolo in 2 parti. Insomma, un processo piuttosto costoso come puoi immaginare perché magari un libro overall ha più di 50 chiamate con contesti lunghi. Quindi la scrittura di un libro completo di 300+ pagine costa magari 5 euro, però ci metti 40 minuti invece che qualche anno.

Commenta