Progettazione di applicazioni per modelli linguistici di grandi dimensioni

Capitolo 13. Modelli di progettazione e architettura di sistema

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

Nel corso di questo libro abbiamo esplorato una serie di tecniche per adattare le LLMs alla soluzione dei nostri compiti, tra cui l'apprendimento nel contesto, la messa a punto, il RAG e l'uso di strumenti. Sebbene queste tecniche possano potenzialmente soddisfare i requisiti di performance del tuo caso d'uso, l'implementazione di un'applicazione basata su LLM in produzione richiede il rispetto di una serie di altri criteri come il costo, la latenza e l'affidabilità. Per raggiungere questi obiettivi, un'applicazione LLM ha bisogno di un'impalcatura software e di componenti specializzati.

A tal fine, in questo capitolo discuteremo varie tecniche per comporre un sistema LLM di livello produttivo in grado di alimentare applicazioni utili. Analizzeremo come sfruttare le architetture multi-LLM per bilanciare costi e prestazioni. Infine, esamineremo i framework software come DSPy che integrano lo sviluppo di applicazioni LLM nel paradigma di programmazione software convenzionale.

Trattare un'applicazione basata su LLM come un componente LLM a sé stante è inadeguato se intendiamo distribuirla come sistema di produzione. Dobbiamo trattarla come un sistema, composto da diversi componenti software e modelli che supportano il LLM e lo rendono affidabile, veloce ed economico. Il modo in cui ...