Capitolo 3. Metodologia di valutazione
Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com
Più l'IA viene utilizzata, più aumentano le possibilità di guasti catastrofici. Abbiamo già assistito a molti fallimenti nel breve periodo in cui i modelli di fondazione sono stati introdotti. Un uomo si è suicidato dopo essere stato incoraggiato da un chatbot. Gli avvocati hanno presentato prove false allucinate dall'intelligenza artificiale. Air Canada è stata condannata a pagare i danni quando il suo chatbot AI ha fornito informazioni false a un passeggero. Senza un modo per controllare la qualità dei risultati dell'IA, il rischio dell'IA potrebbe superare i suoi benefici per molte applicazioni.
Quando i team si affrettano ad adottare l'IA, molti si rendono subito conto che l'ostacolo più grande per realizzare le applicazioni di IA è la valutazione. Per alcune applicazioni, la valutazione può assorbire la maggior parte dello sforzo di sviluppo.1
Data l'importanza e la complessità della valutazione, questo libro contiene due capitoli dedicati ad essa. Questo capitolo tratta i diversi metodi di valutazione utilizzati per valutare i modelli aperti, il loro funzionamento e i loro limiti. Il capitolo successivo si concentra su come utilizzare questi metodi per selezionare i modelli per la tua applicazione e costruire una pipeline di valutazione per valutare la tua applicazione.
Sebbene la valutazione venga ...