Overview
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
Se a programação é mágica, então o web scraping é certamente uma forma de magia. Ao escrever um programa automatizado simples, podes consultar servidores Web, pedir dados e analisá-los para extrair a informação de que precisas. Esta terceira edição, completamente actualizada, não só te apresenta o web scraping, como também serve de guia completo para extrair quase todos os tipos de dados da Web moderna.
A Parte I foca-se na mecânica do web scraping: usar Python para pedir informação a um servidor web, fazer o tratamento básico da resposta do servidor e interagir com sites de forma automatizada. A Parte II explora uma variedade de ferramentas e aplicações mais específicas para se adaptar a qualquer cenário de web scraping que possas encontrar.
- Analisa páginas HTML complicadas
- Desenvolve crawlers com a estrutura Scrapy
- Aprende métodos para armazenar os dados que recolhe
- Lê e extrai dados de documentos
- Limpa e normaliza dados mal formatados
- Lê e escreve em línguas naturais
- Rasteja através de formulários e logins
- Extrai JavaScript e rastreia APIs
- Utiliza e escreve software de imagem para texto
- Evita armadilhas de scraping e bloqueadores de bots
- Utiliza scrapers para testar o teu sítio Web
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access