Programación de PyTorch para Aprendizaje Profundo

Capítulo 5. Clasificación de textos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Vamos a dejar atrás las imágenes por ahora y centrar nuestra atención en otra área en la que el aprendizaje profundo ha demostrado ser un avance significativo respecto a las técnicas tradicionales: procesamiento del lenguaje natural (PLN). Un buen ejemplo de ello es Google Translate. Originalmente, el código que se encargaba de la traducción tenía unas pesadas 500.000 líneas de código. El nuevo sistema, basado en TensorFlow, tiene aproximadamente 500, y funciona mejor que el método antiguo.

También se han producido avances recientes en la aplicación del aprendizaje por transferencia (del que aprendiste en el Capítulo 4) a los problemas de la PNL. Nuevas arquitecturas, como la arquitectura Transformer, han llevado a la creación de redes como la GPT-2 de OpenAI, cuya variante más grande produce un texto de calidad casi humana (de hecho, OpenAI no ha publicado los pesos de este modelo por miedo a que se utilice maliciosamente).

Este capítulo ofrece un recorrido relámpago por las redes neuronales recurrentes y las incrustaciones. Luego exploramos la biblioteca torchtext y cómo utilizarla para el procesamiento de textos con un modelo basado en LSTM.

Redes neuronales recurrentes

Si echamos la vista atrás para ver cómo hemos estado utilizando hasta ahora nuestras arquitecturas basadas en CNN, veremos que siempre han estado trabajando ...