book

Deep Learning per programmatori con fastai e PyTorch

by Jeremy Howard, Sylvain Gugger

April 2025

Intermediate to advanced

624 pages

18h 5m

Italian

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Per chi è questo libroCosa devi sapereCosa impareraiFormazione online O'ReillyCome contattarci
Il Deep Learning è per tuttiLe reti neurali: Una breve storiaChi siamoCome imparare il Deep LearningI tuoi progetti e la tua mentalitàIl software: PyTorch, fastai e Jupyter (e perché non importa)Il tuo primo modelloOttenere un server di Deep Learning su GPUEseguire il tuo primo notebookCos'è l'apprendimento automatico?Cos'è una rete neurale?Un po' di gergo sul Deep LearningLimitazioni intrinseche all'apprendimento automaticoCome funziona il nostro riconoscitore di immaginiCosa ha imparato il nostro riconoscitore di immaginiI riconoscitori di immagini possono affrontare compiti non legati alle immaginiRicorso al gergoIl Deep Learning non è solo per la classificazione delle immaginiSet di convalida e set di testUsa il giudizio per definire i set di testUn momento da scegliere per la tua avventuraQuestionarioUlteriori ricerche
La pratica del Deep LearningIniziare il tuo progettoLo stato del Deep LearningL'approccio alla trasmissioneRaccolta dei datiDai dati ai caricatori di datiAumento dei datiAddestrare il modello e usarlo per pulire i datiTrasforma il tuo modello in un'applicazione onlineUtilizzo del modello per l'inferenzaCreare un'applicazione Notebook dal modelloTrasformare il tuo notebook in una vera e propria appDistribuire la tua applicazioneCome evitare il disastroConseguenze impreviste e loop di feedbackInizia a scrivere!QuestionarioUlteriori ricerche
Esempi chiave di etica dei datiBug e ricorsi: Algoritmo difettoso usato per le prestazioni sanitarieLoop di feedback: Il sistema di raccomandazioni di YouTubeBias: la professoressa Latanya Sweeney "arrestata"Perché è importante?Integrare l'apprendimento automatico con il design del prodottoArgomenti di etica dei datiRicorso e responsabilitàLoop di feedbackPregiudizioDisinformazioneIdentificare e affrontare i problemi eticiAnalizza un progetto su cui stai lavorandoProcessi da implementareIl potere della diversitàEquità, responsabilità e trasparenzaRuolo della politicaL'efficacia della regolamentazioneDiritti e politicheAuto: Un precedente storicoConclusioneQuestionarioUlteriori ricercheDeep Learning in pratica: E' tutto pronto!
Pixel: I fondamenti della visione artificialePrima prova: Somiglianza dei pixelArray NumPy e tensori PyTorchCalcolo delle metriche con il broadcastingDiscesa stocastica del gradienteCalcolo dei gradientiPasso con un tasso di apprendimentoUn esempio di SGD end-to-endRiassunto della discesa del gradienteLa funzione di perdita MNISTSigmoideSGD e mini-lottiMettere tutto insiemeCreare un ottimizzatoreAggiunta di una non linearitàGo DeepRicorso al gergoQuestionarioUlteriori ricerche
Dai cani e gatti alle razze da compagniaRidimensionamentoControllo e debug di un DataBlockPerdita di entropia incrociataVisualizzare le attivazioni e le etichetteSoftmaxLog LikelihoodPrendere il registroInterpretazione del modelloMigliorare il nostro modelloIl Trova tassi di apprendimentoScongelamento e apprendimento per trasferimentoTassi di apprendimento discriminativoSelezione del numero di epocheArchitetture più profondeConclusioneQuestionarioUlteriori ricerche
Classificazione Multi-LabelI datiCostruire un DataBlockEntropia incrociata binariaRegressioneAssemblare i datiAddestramento di un modelloConclusioneQuestionarioUlteriori ricerche

ImagenetteNormalizzazioneRidimensionamento progressivoAumento del tempo di testMixupLisciatura dell'etichettaConclusioneQuestionarioUlteriori ricerche
Un primo sguardo ai datiApprendimento dei fattori latentiCreare i DataLoaderFiltro collaborativo da zeroDecadimento del pesoCreare il nostro modulo di incorporamentoInterpretare le incorporazioni e i pregiudiziUtilizzo di fastai.collabDistanza di incorporazioneBootstrap di un modello di filtro collaborativoDeep Learning per il filtraggio collaborativoConclusioneQuestionarioUlteriori ricerche
Incorporazioni categorialiOltre il Deep LearningIl set di datiCompetizioni KaggleGuarda i datiAlberi decisionaliGestione delle dateUtilizzo di TabularPandas e TabularProcCreare l'albero delle decisioniVariabili categorialiForeste casualiCreare una foresta casualeErrore fuori bustaInterpretazione del modelloVarianza dell'albero per la fiducia nella previsioneImportanza della caratteristicaRimuovere le variabili a bassa importanzaRimozione delle funzioni ridondantiDipendenza parzialePerdita di datiInterprete di alberiEstrapolazione e reti neuraliIl problema dell'estrapolazioneTrovare dati fuori dal dominioUtilizzo di una rete neuraleAssemblaggioPotenziamentoCombinare le incorporazioni con altri metodiConclusioneQuestionarioUlteriori ricerche
Preelaborazione del testoTokenizzazioneTokenizzazione di parole con fastaiTokenizzazione delle sottoparoleNumerizzazione con fastaiMettere i nostri testi in batch per un modello linguisticoFormazione di un classificatore di testoModello di linguaggio con DataBlockMessa a punto del modello linguisticoSalvare e caricare i modelliGenerazione di testoCreare i DataLoader del classificatoreMessa a punto del classificatoreDisinformazione e modelli linguisticiConclusioneQuestionarioUlteriori ricerche
Go in profondità nell'API stratificata di fastaiTrasformazioniScrivere la propria trasformazioneCondotteElenchi e dataset Tfmd: Collezioni trasformateElenchi TfmdSet di datiApplicazione dell'API dei dati di medio livello: SiamesePairConclusioneQuestionarioUlteriori ricercheCapire le applicazioni di fastai: Conclusione
I datiIl nostro primo modello linguistico da zeroIl nostro modello linguistico in PyTorchLa nostra prima rete neurale ricorrenteMigliorare la RNNMantenere lo stato di una RNNCreare più segnaleRNN multistratoIl modelloAttivazioni che esplodono o scompaionoLSTMCostruire un LSTM da zeroFormazione di un modello linguistico con le LSTMRegolarizzazione di un LSTMAbbandonoRegolarizzazione dell'attivazione e Regolarizzazione dell'attivazione temporaleAddestramento di un LSTM regolato con pesoConclusioneQuestionarioUlteriori ricerche
La magia delle convoluzioniMappatura di un kernel convoluzionaleConvoluzioni in PyTorchPasso e imbottituraCapire le equazioni di convoluzioneLa nostra prima rete neurale convoluzionaleCreare la CNNCapire l'aritmetica di convoluzioneCampi ricettiviUna nota su TwitterImmagini a coloriMigliorare la stabilità dell'allenamentoUna semplice linea di baseAumenta le dimensioni del batchFormazione 1cycleNormalizzazione in batchConclusioneQuestionarioUlteriori ricerche
Go Back to ImagenetteCostruire una CNN moderna: ResNetSalta le connessioniUna ResNet all'avanguardiaStrati a collo di bottigliaConclusioneQuestionarioUlteriori ricerche
Visione computerizzatacnn_learnerunet_learnerUn network siameseElaborazione del linguaggio naturaleTabulareConclusioneQuestionarioUlteriori ricerche
Stabilire una linea di baseUn ottimizzatore genericoMomentumRMSPropAdamoDecadimento del peso disaccoppiatoRichiamiCreare una callbackOrdinamento delle callback ed eccezioniConclusioneQuestionarioUlteriori ricercheFondamenti del Deep Learning: Conclusione
Costruire un livello di rete neurale partendo da zeroModellare un neuroneMoltiplicazione di matrici da zeroAritmetica elementareTrasmissioneRiassunto di EinsteinI passaggi in avanti e all'indietroDefinire e inizializzare un livelloGradienti e passaggio all'indietroRefactoring del modelloGo a PyTorchConclusioneQuestionarioUlteriori ricerche
CAM e ganciGradiente CAMConclusioneQuestionarioUlteriori ricerche
DatiSet di datiModulo e parametroSemplice CNNPerditaStudenteRichiamiProgrammare il tasso di apprendimentoConclusioneQuestionarioUlteriori ricerche
Blogging con GitHub PagesCreare il repositoryImpostazione della pagina inizialeCreazione di postSincronizzare GitHub e il computerJupyter per il blogging
Scienziati dei datiStrategiaDatiAnaliticaImplementazioneManutenzioneVincoli

Content preview from Deep Learning per programmatori con fastai e PyTorch

Capitolo 10. Approfondimento sulla PNL: RNN

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com

Nel Capitolo 1 abbiamo visto che il deep learning può essere utilizzato per ottenere ottimi risultati con i dataset in linguaggio naturale. Il nostro esempio si basava sull'utilizzo di un modello linguistico pre-addestrato e sulla sua messa a punto per classificare le recensioni. Quell'esempio ha evidenziato una differenza tra l'apprendimento per trasferimento in PNL e la computer vision: in generale, in PNL il modello pre-addestrato viene addestrato su un compito diverso.

Quello che chiamiamo modello linguistico è un modello che è stato addestrato per indovinare la parola successiva in un testo (dopo aver letto quelle precedenti). Questo tipo di attività si chiama apprendimento auto-supervisionato: non è necessario fornire etichette al nostro modello, ma basta dargli in pasto moltissimi testi. Il modello ha un processo per ricavare automaticamente le etichette dai dati e questo compito non è banale: per indovinare correttamente la parola successiva in una frase, il modello dovrà sviluppare una comprensione della lingua inglese (o di altre lingue). L'apprendimento auto-supervisionato può essere utilizzato anche in altri ambiti; ad esempio, consulta"Self-Supervised Learning and Computer Vision" per un'introduzione alle applicazioni di visione. L'apprendimento auto-supervisionato non viene solitamente ...