Web Scraping mit Python, 2. Auflage

Kapitel 12. Crawling durch APIs

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

JavaScript ist seit jeher der Fluch der Webcrawler. Früher, in der Geschichte des Internets, konnte man sich darauf verlassen, dass die Anfrage, die man an den Webserver stellte, die gleichen Daten lieferte, die der Nutzer in seinem Browser sah, als er die gleiche Anfrage stellte.

Da JavaScript und Ajax zum Erzeugen und Laden von Inhalten immer allgegenwärtiger werden, wird diese Situation immer seltener. In Kapitel 11 hast du dir eine Lösung für dieses Problem angesehen: die Verwendung von Selenium, um einen Browser zu automatisieren und die Daten abzurufen. Das ist eine einfache Sache, die du tun kannst. Sie funktioniert fast immer.

Das Problem von ist, dass mit einem so leistungsstarken und effektiven "Hammer" wie Selenium jedes Web Scraping-Problem wie ein Nagel aussieht.

In diesem Kapitel geht es darum, das JavaScript komplett zu umgehen (es muss nicht ausgeführt oder gar geladen werden!) und direkt zur Quelle der Daten zu gelangen: den APIs, die sie erzeugen.

Eine kurze Einführung in APIs

Obwohl unzählige Bücher, Vorträge und Leitfäden über die Feinheiten von REST-, GraphQL-, JSON- und XML-APIs geschrieben worden sind, basieren sie im Kern auf einem einfachen Konzept. Eine API definiert eine standardisierte Syntax, die es einer Software ermöglicht, mit einer anderen Software zu kommunizieren, auch wenn sie ...