book

Aprendizaje profundo para programadores con fastai y PyTorch

by Jeremy Howard, Sylvain Gugger

September 2024

Intermediate to advanced

624 pages

18h 9m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

A quién va dirigido este libroLo que debes saberLo que aprenderásAprendizaje en línea O'ReillyCómo contactar con nosotros
El aprendizaje profundo es para todosRedes neuronales: Breve historiaQuiénes somosCómo aprender aprendizaje profundoTus proyectos y tu mentalidadEl software: PyTorch, fastai y Jupyter (y por qué no importa)Tu primer modeloCómo conseguir un servidor GPU de aprendizaje profundoEjecutar tu primer cuaderno¿Qué es el aprendizaje automático?¿Qué es una red neuronal?Un poco de jerga del aprendizaje profundoLimitaciones inherentes al aprendizaje automáticoCómo funciona nuestro Reconocedor de ImágenesLo que aprendió nuestro Reconocedor de ImágenesLos reconocedores de imágenes pueden abordar tareas no relacionadas con las imágenesRecapitulación de la jergaEl aprendizaje profundo no es sólo para la clasificación de imágenesConjuntos de validación y conjuntos de pruebaUtiliza tu criterio para definir los conjuntos de pruebasUn momento "Elige tu propia aventuraCuestionarioInvestigación adicional
La práctica del aprendizaje profundoIniciar tu proyectoEl estado del aprendizaje profundoEl enfoque del tren motrizRecopilación de datosDe los datos a los cargadores de datosAumento de datosEntrenar tu modelo y utilizarlo para limpiar tus datosConvertir tu modelo en una solicitud en líneaUtilizar el modelo para inferirCrear una aplicación de bloc de notas a partir del modeloConvertir tu cuaderno en una aplicación realImplementación de tu aplicaciónCómo evitar el desastreConsecuencias imprevistas y circuitos de retroalimentación¡Ponte a escribir!CuestionarioInvestigación adicional
Ejemplos clave para la ética de los datosErrores y recursos: Algoritmo defectuoso utilizado para prestaciones sanitariasLazos de retroalimentación: El sistema de recomendaciones de YouTubeSesgo: "Detención" de la profesora Latanya Sweeney¿Por qué es importante?Integrar el aprendizaje automático con el diseño de productosTemas de Ética de los DatosRecurso y responsabilidadBucles de realimentaciónSesgoDesinformaciónIdentificar y abordar cuestiones éticasAnaliza un proyecto en el que estés trabajandoProcesos a implantarEl poder de la diversidadImparcialidad, responsabilidad y transparenciaPapel de la políticaLa eficacia de la regulaciónDerechos y PolíticaEl automóvil: Un precedente históricoConclusiónCuestionarioInvestigación adicionalEl aprendizaje profundo en la práctica: ¡Ya está!
Píxeles: Los fundamentos de la visión por ordenadorPrimer intento: Similitud de píxelesMatrices NumPy y Tensores PyTorchCálculo de métricas mediante difusiónDescenso Gradiente EstocásticoCalcular gradientesPisar con ritmo de aprendizajeUn ejemplo de SGD de extremo a extremoResumiendo el Descenso GradienteLa función de pérdida MNISTSigmoideSGD y MinilotesPonerlo todo juntoCrear un optimizadorAñadir una no linealidadProfundizarRecapitulación de la jergaCuestionarioInvestigación adicional
De perros y gatos a razas de mascotasPredimensionaComprobación y depuración de un bloque de datosPérdida de entropía cruzadaVer activaciones y etiquetasSoftmaxProbabilidad logarítmicaTomar el troncoInterpretación del modeloMejorar nuestro modeloEl Buscador de Tasas de AprendizajeDescongelación y aprendizaje por transferenciaTasas de Aprendizaje DiscriminativoSeleccionar el número de épocasArquitecturas más profundasConclusiónCuestionarioInvestigación adicional
Clasificación multietiquetaLos datosConstruir un Bloque de DatosEntropía cruzada binariaRegresiónReunir los datosEntrenar un modeloConclusiónCuestionarioInvestigación adicional

ImagenetteNormalizaciónRedimensionamiento progresivoAumento del tiempo de pruebaConfusiónSuavizado de etiquetasConclusiónCuestionarioInvestigación adicional
Un primer vistazo a los datosAprender los factores latentesCreación de los DataLoadersFiltrado Colaborativo desde ceroDecaimiento del pesoCrear nuestro propio módulo de incrustaciónInterpretar incrustaciones y sesgosUtilizar fastai.collabDistancia de incrustaciónCreación de un modelo de filtrado colaborativoAprendizaje profundo para el filtrado colaborativoConclusiónCuestionarioInvestigación adicional
Incrustaciones categóricasMás allá del aprendizaje profundoEl conjunto de datosConcursos KaggleMira los datosÁrboles de decisiónFechas de manipulaciónUso de TabularPandas y TabularProcCrear el árbol de decisiónVariables categóricasBosques aleatoriosCrear un bosque aleatorioError fuera de bolsaInterpretación del modeloVarianza del árbol para la confianza en la predicciónFunción ImportanciaEliminar variables de poca importanciaEliminar funciones redundantesDependencia parcialFuga de datosIntérprete de árbolesExtrapolación y redes neuronalesEl problema de la extrapolaciónEncontrar datos fuera del dominioUtilizar una red neuronalEnsamblajeAumentarCombinar incrustaciones con otros métodosConclusiónCuestionarioInvestigación adicional
Preprocesamiento de textosTokenizaciónTokenización de palabras con fastaiTokenización de subpalabrasNumericalización con fastaiPoner nuestros textos en lotes para un modelo lingüísticoEntrenar un clasificador de textoModelo lingüístico mediante DataBlockAjuste del modelo lingüísticoGuardar y cargar modelosGeneración de textoCreación de los cargadores de datos del clasificadorAfinar el clasificadorDesinformación y modelos lingüísticosConclusiónCuestionarioInvestigación adicional
Profundizando en la API por capas de fastaiTransformaEscribir tu propia transformaciónTuberíasTfmdListas y conjuntos de datos: Colecciones transformadasTfmdListasConjuntos de datosAplicación de la API de datos de nivel medio: SiamesePairConclusiónCuestionarioInvestigación adicionalComprender las aplicaciones de fastai: Conclusión
Los datosNuestro primer modelo lingüístico desde ceroNuestro modelo lingüístico en PyTorchNuestra primera red neuronal recurrenteMejorar la RNNMantener el estado de una RNNCrear más señalRNN multicapaEl modeloActivaciones que explotan o desaparecenLSTMConstruir un LSTM desde ceroEntrenamiento de un modelo lingüístico mediante LSTMsRegularizar un LSTMAbandonoRegularización de la Activación y Regularización de la Activación TemporalEntrenamiento de una LSTM regularizada por pesosConclusiónCuestionarioInvestigación adicional
La magia de las circunvolucionesMapear un núcleo convolucionalConvoluciones en PyTorchZancadas y acolchadoComprender las ecuaciones de convoluciónNuestra primera red neuronal convolucionalCreación de la CNNComprender la aritmética de convoluciónCampos receptivosUna nota sobre TwitterImágenes en colorMejorar la estabilidad del entrenamientoUna base sencillaAumentar el tamaño del lote1ciclo FormaciónNormalización por lotesConclusiónCuestionarioInvestigación adicional
Volver a ImagenetteConstruir una CNN moderna: ResNetSaltar ConexionesUna ResNet de última generaciónCapas cuello de botellaConclusiónCuestionarioInvestigación adicional
Visión por ordenadorcnn_aprendizunet_aprendizUna red siamesaProcesamiento del Lenguaje NaturalTabularConclusiónCuestionarioInvestigación adicional
Establecer una línea de baseUn optimizador genéricoImpulsoRMSPropAdamDecaimiento del peso desacopladoDevoluciones de llamadaCrear una devolución de llamadaOrdenación de las devoluciones de llamada y excepcionesConclusiónCuestionarioInvestigación adicionalFundamentos del Aprendizaje Profundo: Conclusión
Construir una capa de red neuronal desde ceroModelar una neuronaMultiplicación de matrices desde ceroAritmética elementalDifusiónResumen de EinsteinLos pases hacia delante y hacia atrásDefinir e inicializar una capaGradientes y paso atrásRefactorizar el modeloIr a PyTorchConclusiónCuestionarioInvestigación adicional
CAM y GanchosGradiente CAMConclusiónCuestionarioInvestigación adicional
DatosConjunto de datosMódulo y parámetroCNN simplePérdidaEstudianteDevoluciones de llamadaProgramar el ritmo de aprendizajeConclusiónCuestionarioInvestigación adicional
Bloguear con GitHub PagesCrear el repositorioConfigurar tu página de inicioCrear mensajesSincronizar GitHub y tu ordenadorJupyter para bloguear
Científicos de datosEstrategiaDatosAnalíticaAplicaciónMantenimientoRestricciones

Content preview from Aprendizaje profundo para programadores con fastai y PyTorch

Capítulo 10. Profundización en PNL: RNNs

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En el Capítulo 1, vimos que el aprendizaje profundo puede utilizarse para obtener grandes resultados con conjuntos de datos de lenguaje natural. Nuestro ejemplo se basaba en utilizar un modelo de lenguaje preentrenado y ajustarlo para clasificar reseñas. Ese ejemplo puso de relieve una diferencia entre el aprendizaje por transferencia en PNL y la visión por ordenador: en general, en PNL el modelo preentrenado se entrena en una tarea diferente.

Lo que llamamos modelo lingüístico es un modelo que ha sido entrenado para adivinar la siguiente palabra de un texto (habiendo leído las anteriores). Este tipo de tarea se denomina aprendizaje autosupervisado: no necesitamos dar etiquetas a nuestro modelo, basta con alimentarlo con montones y montones de textos. Tiene un proceso para obtener etiquetas automáticamente a partir de los datos, y esta tarea no es trivial: para adivinar correctamente la siguiente palabra de una frase, el modelo tendrá que desarrollar una comprensión de la lengua inglesa (u otra). El aprendizaje autosupervisado también puede utilizarse en otros dominios; por ejemplo, consulta"Aprendizaje autosupervisado y visión por ordenador" para una introducción a las aplicaciones de visión. El aprendizaje autosupervisado no suele utilizarse para el modelo que se entrena directamente, sino que se utiliza para el preentrenamiento ...