Capítulo 6. Manipulação de texto
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
6.0 Introdução
Dados de texto não estruturados, como o conteúdo de um livro ou de um tweet, são simultaneamente uma das fontes de caraterísticas mais interessantes e uma das mais complexas de tratar. Neste capítulo, abordaremos estratégias para transformar texto em caraterísticas ricas em informação e utilizaremos algumas caraterísticas prontas a usar (designadas por embdings) que se tornaram cada vez mais omnipresentes em tarefas que envolvem processamento de linguagem natural (PLN).
Isto não quer dizer que as receitas aqui apresentadas sejam exaustivas. Há disciplinas académicas inteiras que se concentram no tratamento de dados não estruturados, como o texto. Neste capítulo, abordaremos algumas técnicas normalmente utilizadas; o seu conhecimento acrescentará ferramentas valiosas à nossa caixa de ferramentas de pré-processamento. Além de muitas receitas genéricas de processamento de texto, também demonstraremos como podes importar e aproveitar alguns modelos de aprendizagem automática pré-treinados para gerar caraterísticas de texto mais ricas.
6.1 Limpeza do texto
Problema
Tens alguns dados de texto não estruturados e pretendes efetuar uma limpeza básica.
Solução
No seguinte exemplo , olhamos para o texto de três livros e limpamo-lo usando as operações de string principais do Python, em particular strip, replace, e ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access