Ciencia de datos desde cero, 2ª edición

Capítulo 21. Procesamiento del lenguaje natural

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Han asistido a un gran festín de lenguas y han robado las sobras.

William Shakespeare

El procesamiento del lenguaje natural (PLN ) se refiere a las técnicas computacionales que tienen que ver con el lenguaje. Es un campo muy amplio, pero veremos algunas técnicas, tanto sencillas como no sencillas.

Nubes de palabras

En el Capítulo 1, calculamos los recuentos de palabras de los intereses de los usuarios. Un método para visualizar las palabras y los recuentos son las nubes de palabras, que representan artísticamente las palabras en tamaños proporcionales a sus recuentos.

En general, sin embargo, los científicos de datos no tienen muy buena opinión de las nubes de palabras, en gran parte porque la colocación de las palabras no significa nada más que "aquí hay un espacio donde pude encajar una palabra".

Si alguna vez te ves obligado a crear una nube de palabras, piensa si puedes hacer que los ejes transmitan algo. Por ejemplo, imagina que, para cada una de las palabras de moda relacionadas con la ciencia de datos, tienes dos números entre 0 y 100: el primero representa la frecuencia con la que aparece en las ofertas de empleo y el segundo la frecuencia con la que aparece en los currículos:

data = [ ("big data", 100, 15), ("Hadoop", 95, 25), ("Python", 75, 50),
         ("R", 50, 40), ("machine learning", 80, 20), ("statistics" ...