book

Aprendizaje profundo para programadores con fastai y PyTorch

by Jeremy Howard, Sylvain Gugger

September 2024

Intermediate to advanced

624 pages

18h 9m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

A quién va dirigido este libroLo que debes saberLo que aprenderásAprendizaje en línea O'ReillyCómo contactar con nosotros
El aprendizaje profundo es para todosRedes neuronales: Breve historiaQuiénes somosCómo aprender aprendizaje profundoTus proyectos y tu mentalidadEl software: PyTorch, fastai y Jupyter (y por qué no importa)Tu primer modeloCómo conseguir un servidor GPU de aprendizaje profundoEjecutar tu primer cuaderno¿Qué es el aprendizaje automático?¿Qué es una red neuronal?Un poco de jerga del aprendizaje profundoLimitaciones inherentes al aprendizaje automáticoCómo funciona nuestro Reconocedor de ImágenesLo que aprendió nuestro Reconocedor de ImágenesLos reconocedores de imágenes pueden abordar tareas no relacionadas con las imágenesRecapitulación de la jergaEl aprendizaje profundo no es sólo para la clasificación de imágenesConjuntos de validación y conjuntos de pruebaUtiliza tu criterio para definir los conjuntos de pruebasUn momento "Elige tu propia aventuraCuestionarioInvestigación adicional
La práctica del aprendizaje profundoIniciar tu proyectoEl estado del aprendizaje profundoEl enfoque del tren motrizRecopilación de datosDe los datos a los cargadores de datosAumento de datosEntrenar tu modelo y utilizarlo para limpiar tus datosConvertir tu modelo en una solicitud en líneaUtilizar el modelo para inferirCrear una aplicación de bloc de notas a partir del modeloConvertir tu cuaderno en una aplicación realImplementación de tu aplicaciónCómo evitar el desastreConsecuencias imprevistas y circuitos de retroalimentación¡Ponte a escribir!CuestionarioInvestigación adicional
Ejemplos clave para la ética de los datosErrores y recursos: Algoritmo defectuoso utilizado para prestaciones sanitariasLazos de retroalimentación: El sistema de recomendaciones de YouTubeSesgo: "Detención" de la profesora Latanya Sweeney¿Por qué es importante?Integrar el aprendizaje automático con el diseño de productosTemas de Ética de los DatosRecurso y responsabilidadBucles de realimentaciónSesgoDesinformaciónIdentificar y abordar cuestiones éticasAnaliza un proyecto en el que estés trabajandoProcesos a implantarEl poder de la diversidadImparcialidad, responsabilidad y transparenciaPapel de la políticaLa eficacia de la regulaciónDerechos y PolíticaEl automóvil: Un precedente históricoConclusiónCuestionarioInvestigación adicionalEl aprendizaje profundo en la práctica: ¡Ya está!
Píxeles: Los fundamentos de la visión por ordenadorPrimer intento: Similitud de píxelesMatrices NumPy y Tensores PyTorchCálculo de métricas mediante difusiónDescenso Gradiente EstocásticoCalcular gradientesPisar con ritmo de aprendizajeUn ejemplo de SGD de extremo a extremoResumiendo el Descenso GradienteLa función de pérdida MNISTSigmoideSGD y MinilotesPonerlo todo juntoCrear un optimizadorAñadir una no linealidadProfundizarRecapitulación de la jergaCuestionarioInvestigación adicional
De perros y gatos a razas de mascotasPredimensionaComprobación y depuración de un bloque de datosPérdida de entropía cruzadaVer activaciones y etiquetasSoftmaxProbabilidad logarítmicaTomar el troncoInterpretación del modeloMejorar nuestro modeloEl Buscador de Tasas de AprendizajeDescongelación y aprendizaje por transferenciaTasas de Aprendizaje DiscriminativoSeleccionar el número de épocasArquitecturas más profundasConclusiónCuestionarioInvestigación adicional
Clasificación multietiquetaLos datosConstruir un Bloque de DatosEntropía cruzada binariaRegresiónReunir los datosEntrenar un modeloConclusiónCuestionarioInvestigación adicional

ImagenetteNormalizaciónRedimensionamiento progresivoAumento del tiempo de pruebaConfusiónSuavizado de etiquetasConclusiónCuestionarioInvestigación adicional
Un primer vistazo a los datosAprender los factores latentesCreación de los DataLoadersFiltrado Colaborativo desde ceroDecaimiento del pesoCrear nuestro propio módulo de incrustaciónInterpretar incrustaciones y sesgosUtilizar fastai.collabDistancia de incrustaciónCreación de un modelo de filtrado colaborativoAprendizaje profundo para el filtrado colaborativoConclusiónCuestionarioInvestigación adicional
Incrustaciones categóricasMás allá del aprendizaje profundoEl conjunto de datosConcursos KaggleMira los datosÁrboles de decisiónFechas de manipulaciónUso de TabularPandas y TabularProcCrear el árbol de decisiónVariables categóricasBosques aleatoriosCrear un bosque aleatorioError fuera de bolsaInterpretación del modeloVarianza del árbol para la confianza en la predicciónFunción ImportanciaEliminar variables de poca importanciaEliminar funciones redundantesDependencia parcialFuga de datosIntérprete de árbolesExtrapolación y redes neuronalesEl problema de la extrapolaciónEncontrar datos fuera del dominioUtilizar una red neuronalEnsamblajeAumentarCombinar incrustaciones con otros métodosConclusiónCuestionarioInvestigación adicional
Preprocesamiento de textosTokenizaciónTokenización de palabras con fastaiTokenización de subpalabrasNumericalización con fastaiPoner nuestros textos en lotes para un modelo lingüísticoEntrenar un clasificador de textoModelo lingüístico mediante DataBlockAjuste del modelo lingüísticoGuardar y cargar modelosGeneración de textoCreación de los cargadores de datos del clasificadorAfinar el clasificadorDesinformación y modelos lingüísticosConclusiónCuestionarioInvestigación adicional
Profundizando en la API por capas de fastaiTransformaEscribir tu propia transformaciónTuberíasTfmdListas y conjuntos de datos: Colecciones transformadasTfmdListasConjuntos de datosAplicación de la API de datos de nivel medio: SiamesePairConclusiónCuestionarioInvestigación adicionalComprender las aplicaciones de fastai: Conclusión
Los datosNuestro primer modelo lingüístico desde ceroNuestro modelo lingüístico en PyTorchNuestra primera red neuronal recurrenteMejorar la RNNMantener el estado de una RNNCrear más señalRNN multicapaEl modeloActivaciones que explotan o desaparecenLSTMConstruir un LSTM desde ceroEntrenamiento de un modelo lingüístico mediante LSTMsRegularizar un LSTMAbandonoRegularización de la Activación y Regularización de la Activación TemporalEntrenamiento de una LSTM regularizada por pesosConclusiónCuestionarioInvestigación adicional
La magia de las circunvolucionesMapear un núcleo convolucionalConvoluciones en PyTorchZancadas y acolchadoComprender las ecuaciones de convoluciónNuestra primera red neuronal convolucionalCreación de la CNNComprender la aritmética de convoluciónCampos receptivosUna nota sobre TwitterImágenes en colorMejorar la estabilidad del entrenamientoUna base sencillaAumentar el tamaño del lote1ciclo FormaciónNormalización por lotesConclusiónCuestionarioInvestigación adicional
Volver a ImagenetteConstruir una CNN moderna: ResNetSaltar ConexionesUna ResNet de última generaciónCapas cuello de botellaConclusiónCuestionarioInvestigación adicional
Visión por ordenadorcnn_aprendizunet_aprendizUna red siamesaProcesamiento del Lenguaje NaturalTabularConclusiónCuestionarioInvestigación adicional
Establecer una línea de baseUn optimizador genéricoImpulsoRMSPropAdamDecaimiento del peso desacopladoDevoluciones de llamadaCrear una devolución de llamadaOrdenación de las devoluciones de llamada y excepcionesConclusiónCuestionarioInvestigación adicionalFundamentos del Aprendizaje Profundo: Conclusión
Construir una capa de red neuronal desde ceroModelar una neuronaMultiplicación de matrices desde ceroAritmética elementalDifusiónResumen de EinsteinLos pases hacia delante y hacia atrásDefinir e inicializar una capaGradientes y paso atrásRefactorizar el modeloIr a PyTorchConclusiónCuestionarioInvestigación adicional
CAM y GanchosGradiente CAMConclusiónCuestionarioInvestigación adicional
DatosConjunto de datosMódulo y parámetroCNN simplePérdidaEstudianteDevoluciones de llamadaProgramar el ritmo de aprendizajeConclusiónCuestionarioInvestigación adicional
Bloguear con GitHub PagesCrear el repositorioConfigurar tu página de inicioCrear mensajesSincronizar GitHub y tu ordenadorJupyter para bloguear
Científicos de datosEstrategiaDatosAnalíticaAplicaciónMantenimientoRestricciones

Content preview from Aprendizaje profundo para programadores con fastai y PyTorch

Capítulo 12. Un modelo lingüístico desde cero

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Ya estamos listos para profundizar... ¡en el aprendizaje profundo! Ya has aprendido a entrenar una red neuronal básica, pero ¿cómo pasar de ahí a crear modelos de última generación? En esta parte del libro, vamos a desvelar todos los misterios, empezando por los modelos lingüísticos.

En el Capítulo 10 viste cómo afinar un modelo lingüístico preentrenado para construir un clasificador de texto. En este capítulo, explicaremos exactamente qué hay dentro de ese modelo y qué es una RNN. En primer lugar, vamos a reunir algunos datos que nos permitan crear rápidamente prototipos de nuestros distintos modelos.

Los datos

Cada vez que empezamos a trabajar en un problema nuevo, siempre intentamos pensar primero en el conjunto de datos más sencillo que podamos, que nos permita probar métodos de forma rápida y sencilla, e interpretar los resultados. Cuando empezamos a trabajar en sobre el modelado del lenguaje hace unos años, no encontramos ningún conjunto de datos que permitiera crear prototipos rápidamente, así que creamos uno. Lo llamamos Human Numbers, y simplemente contiene los 10.000 primeros números escritos en inglés.

Jeremy dice

Uno de los errores prácticos más comunes que observo, incluso entre profesionales muy experimentados, es no utilizar los conjuntos de datos apropiados en los momentos adecuados del proceso de análisis. ...