IA e ML para programadores em PyTorch

Capítulo 5. Introdução ao processamento de linguagem natural

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

O processamento de linguagem natural (PNL) é uma técnica em IA que lida com a compreensão da linguagem. Envolve técnicas de programação para criar modelos capazes de compreender a linguagem, classificar conteúdos e até gerar e criar novas composições na linguagem. É também a base subjacente aos grandes modelos de linguagem (LLMs), como o GPT, o Gemini e o Claude. Iremos explorar os LLMs em capítulos posteriores, mas primeiro, iremos analisar a PNL mais básica nos próximos capítulos para te equipar para o que está para vir.

Existem também muitos serviços que utilizam a PNL para criar aplicações como chatbots, mas isso não faz parte do âmbito deste livro - em vez disso, vamos analisar os fundamentos da PNL e como modelar a linguagem para que possas treinar redes neurais para compreender e classificar texto. Em capítulos posteriores, também aprenderás a utilizar os elementos preditivos de um modelo de ML para escrever poesia. Isto não é apenas para te divertires - é também um precursor para aprenderes a utilizar os modelos baseados em transformadores que sustentam a IA generativa!

Começaremos este capítulo analisando como decompor a linguagem em números e como usar esses números em redes neurais.

Codificar a linguagem em números

Em última análise, os computadores lidam com números, por isso, para lidar ...