Web Scraping mit Python, 2. Auflage

Kapitel 17. Scraping aus der Ferne

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In hast du dich im letzten Kapitel mit der Ausführung von Web Scrapers über mehrere Threads und Prozesse beschäftigt, bei denen die Kommunikation zwischen den Prozessen eingeschränkt war oder sorgfältig geplant werden musste. In diesem Kapitel wird dieses Konzept zu einem logischen Abschluss gebracht: Crawler werden nicht nur in getrennten Prozessen, sondern auf völlig separaten Rechnern betrieben.

Dass dies das letzte technische Kapitel des Buches ist, ist durchaus angemessen. Bis jetzt hast du alle Python-Anwendungen über die Kommandozeile auf deinem Computer zu Hause ausgeführt. Sicher, du hast vielleicht MySQL installiert, um die Umgebung eines realen Servers nachzubilden. Aber das ist einfach nicht dasselbe. Wie das Sprichwort schon sagt: "Wenn du etwas liebst, lass es frei."

In diesem Kapitel geht es um verschiedene Methoden, um Skripte von verschiedenen Rechnern oder sogar nur von verschiedenen IP-Adressen auf deinem eigenen Rechner auszuführen. Obwohl du vielleicht versucht bist, diesen Schritt aufzuschieben, weil du ihn im Moment nicht brauchst, wirst du überrascht sein, wie einfach es ist, mit den Tools, die du bereits hast (z. B. eine eigene Website auf einem bezahlten Hosting-Account), loszulegen, und wie viel einfacher dein Leben wird, wenn du nicht mehr versuchst, Python-Skripte von deinem Laptop ...