Kapitel 10. Formulare und Logins durchwühlen
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Eine der ersten Fragen, die auftauchen, wenn du über die Grundlagen des Web Scraping hinausgehst, ist: "Wie komme ich an Informationen hinter einem Anmeldebildschirm?" Das Internet entwickelt sich zunehmend in Richtung Interaktion, soziale Medien und nutzergenerierte Inhalte. Formulare und Logins sind ein wesentlicher Bestandteil dieser Arten von Websites und lassen sich kaum vermeiden. Zum Glück sind sie aber auch relativ einfach zu handhaben.
Bis zu diesem Punkt bestanden die meisten unserer Interaktionen mit Webservern in unseren Beispiel-Scrapern aus der Verwendung von HTTP GET, um Informationen anzufordern. In diesem Kapitel geht es um die Methode POST, bei der die Informationen zur Speicherung und Analyse an einen Webserver übertragen werden.
Formulare geben den Nutzern eine Möglichkeit, eine POST Anfrage zu stellen, die der Webserver verstehen und verwenden kann. So wie Link-Tags auf einer Website den Nutzern helfen, GET Anfragen zu formatieren, helfen HTML-Formulare ihnen, POST Anfragen zu formatieren. Natürlich ist es mit ein wenig Programmieraufwand möglich, diese Anfragen selbst zu erstellen und sie mit einem Scraper zu übermitteln.
Bibliothek für Python-Anfragen
Obwohl es möglich ist, Webformulare nur mit den Python-Kernbibliotheken zu navigieren, macht manchmal ein wenig syntaktischer Zucker ...
Get Web Scraping mit Python, 2. Auflage now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
