Aprendizaje profundo para programadores con fastai y PyTorch

Capítulo 12. Un modelo lingüístico desde cero

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Ya estamos listos para profundizar... ¡en el aprendizaje profundo! Ya has aprendido a entrenar una red neuronal básica, pero ¿cómo pasar de ahí a crear modelos de última generación? En esta parte del libro, vamos a desvelar todos los misterios, empezando por los modelos lingüísticos.

En el Capítulo 10 viste cómo afinar un modelo lingüístico preentrenado para construir un clasificador de texto. En este capítulo, explicaremos exactamente qué hay dentro de ese modelo y qué es una RNN. En primer lugar, vamos a reunir algunos datos que nos permitan crear rápidamente prototipos de nuestros distintos modelos.

Los datos

Cada vez que empezamos a trabajar en un problema nuevo, siempre intentamos pensar primero en el conjunto de datos más sencillo que podamos, que nos permita probar métodos de forma rápida y sencilla, e interpretar los resultados. Cuando empezamos a trabajar en sobre el modelado del lenguaje hace unos años, no encontramos ningún conjunto de datos que permitiera crear prototipos rápidamente, así que creamos uno. Lo llamamos Human Numbers, y simplemente contiene los 10.000 primeros números escritos en inglés.

Jeremy dice

Uno de los errores prácticos más comunes que observo, incluso entre profesionales muy experimentados, es no utilizar los conjuntos de datos apropiados en los momentos adecuados del proceso de análisis. ...