Capítulo 6. Escribir rastreadores web
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Hasta ahora, has visto páginas estáticas individuales con ejemplos enlatados un tanto artificiales. En este capítulo, empezarás a ver problemas del mundo real, con raspadores que recorren varias páginas e incluso varios sitios.
Los rastreadores web se llaman así porque rastrean toda la web. En su núcleo hay un elemento de recursividad. Deben recuperar el contenido de la página de una URL, examinar esa página en busca de otras URL y recuperar esas páginas, ad infinitum.
Sin embargo, ten cuidado: que puedas rastrear la web no significa que siempre debas hacerlo. Los rastreadores utilizados en los ejemplos anteriores funcionan muy bien en situaciones en las que todos los datos que necesitas están en una sola página. Con los rastreadores web, debes ser extremadamente consciente de cuánto ancho de banda estás utilizando y hacer todo lo posible para determinar si hay alguna forma de facilitar la carga del servidor de destino.
Atravesar un único dominio
Aunque no hayas oído hablar de Seis Grados de Wikipedia, es posible que hayas oído hablar de su homónimo, Seis Grados de Kevin Bacon.1 En ambos juegos, el objetivo es enlazar dos temas inverosímiles (en el primer caso, artículos de Wikipedia que se enlazan entre sí, y en el segundo, actores que aparecen en la misma película) mediante una cadena que no contenga más de seis en total ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access