March 2025
Intermediate to advanced
352 pages
9h 53m
German
Content preview from Web Scraping mit Python, 3. Auflage
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
Kapitel 8. Scrapy
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
In Kapitel 7 wurden einige Techniken und Muster für den Aufbau großer, skalierbarer und (ganz wichtig!) wartbarer Webcrawler vorgestellt. Das ist zwar einfach genug, um es von Hand zu machen, aber viele Bibliotheken, Frameworks und sogar GUI-basierte Tools übernehmen das für dich oder versuchen zumindest, dir das Leben ein bisschen leichter zu machen.
Seit seiner Veröffentlichung im Jahr 2008 hat sich Scrapy schnell zum größten und am besten gewarteten Web Scraping Framework in Python entwickelt. Derzeit wird es von Zyte (ehemals Scrapinghub) gepflegt.
Eine der Herausforderungen beim Schreiben von Webcrawlern besteht darin, dass du oft immer wieder dieselben Aufgaben ausführst: alle Links auf einer Seite finden, den Unterschied zwischen internen und externen Links auswerten und zu neuen Seiten gehen. Es ist nützlich, diese grundlegenden Muster zu kennen und sie von Grund auf neu zu schreiben, aber die Scrapy-Bibliothek übernimmt viele dieser Details für dich.
Natürlich ist Scrapy kein Gedankenleser. Du musst immer noch Templates für die Seiten definieren, die Orte angeben, von denen aus gescannt werden soll, und URL-Muster für die Seiten festlegen, nach denen du suchst. Aber in diesen Fällen bietet es ein sauberes Gerüst, um deinen Code zu organisieren.
Scrapy installieren
Scrapy bietet das Tool auf seiner Website zum Download ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access
More than 5,000 organizations count on O’Reilly
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.Julian F.
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.Addison B.
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.Amir M.
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.