Progettazione di applicazioni per modelli linguistici di grandi dimensioni

Capitolo 2. Dati pre-addestramento

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Nel Capitolo 1 abbiamo introdotto i modelli linguistici, ne abbiamo rilevato i punti di forza e i limiti, abbiamo esplorato i casi d'uso attuali e potenziali e abbiamo presentato le leggi di scala che apparentemente governano i progressi in questo campo. Per preparare il terreno per il resto del libro, nei prossimi tre capitoli discuteremo in dettaglio la ricetta per il pre-training degli LLMs e gli ingredienti che li compongono. Ma aspetta, questo libro parla dell'utilizzo di LLMs pre-addestrati per progettare e costruire applicazioni utente. Perché dobbiamo discutere le sfumature del pre-training di questi modelli giganteschi da zero, cosa che la maggior parte dei professionisti dell'apprendimento automatico non farà mai nella propria vita?

In realtà, queste informazioni sono molto importanti perché molte delle decisioni prese durante il processo di pre-addestramento influiscono pesantemente sulle prestazioni a valle. Come vedremo nei capitoli successivi, le modalità di fallimento sono più facilmente comprensibili quando si comprende il processo di allenamento. Così come apprezziamo che gli ingredienti siano elencati sulle confezioni dei nostri negozi di alimentari, vorremmo conoscere gli ingredienti che compongono un modello linguistico prima di utilizzarlo in applicazioni serie.

Nota

Non sono disponibili ...