Web-Scraping vs. Web-Crawling: Ein Leitfaden für Einsteiger

Ein Web-Crawler entdeckt Seiten und entscheidet, welche davon besucht werden sollen. Ein Web-Scraper extrahiert Informationen aus dem Seiteninhalt. Beide rufen Webinhalte ab und können viele Seiten abarbeiten, aber sie lösen unterschiedliche Teile einer Datenerfassungsaufgabe.

Beispielsweise ist das Auffinden der Produktseiten eines Shops eine Crawling-Aufgabe. Das Extrahieren des Preises jedes Produkts ist eine Scraping-Aufgabe. Ein Projekt, das einen sich ändernden Katalog überwacht, benötigt eine Möglichkeit, beides zu bewältigen.

Der Unterschied liegt nicht in „einer Seite gegenüber vielen Seiten“. Sie können eine bereitgestellte Liste mit Tausenden von Adressen scrapen, ohne neue Links zu entdecken. Sie können auch einen kleinen, explizit abgegrenzten Bereich einer Website crawlen.

Wenn Sie Web-Scraping- und Web-Crawling-Tools vergleichen, fragen Sie sich, was das Tool zurückgibt. Eine Liste mit Links enthält nicht die von Ihnen gewünschten Preise. Umgekehrt beweist ein korrekter Preis von einer bekannten Seite nicht, dass Sie den Rest des Katalogs gefunden haben. Wählen Sie die Funktionen aus, die Ihre endgültige Ausgabe erfordert.

Man beginnt mit Start-URLs, also den Adressen, von denen aus ein Crawler mit der Erkundung beginnt. Auf einer Buchhandels-Website könnte die Kategorie „Programmierung“ eine solche Start-URL sein. Der Crawler ruft diese Seite ab, identifiziert geeignete Links und stellt neue Adressen in eine Warteschlange, bei der es sich einfach um eine Liste von Seiten handelt, die darauf warten, besucht zu werden.

Ein begrenztes Crawling folgt einer wiederholbaren Abfolge:

1. Eine Adresse aus der Warteschlange abrufen.
2. Lies die Links aus der zurückgegebenen Seite aus.
3. Relative Links anhand der Adresse der Seite auflösen.
4. Behalten Sie Adressen bei, die gemäß Ihren Domain- und Pfadregeln zulässig sind.
5. Fügen Sie noch nicht gesehene Adressen zur Warteschlange hinzu.
6. Fahren Sie fort, bis die Warteschlange leer ist oder Ihr Stopp-Limit erreicht ist.

Die Paginierung ist ein Grund, warum dies wichtig ist. Die erste Seite einer Kategorie zeigt möglicherweise nur einen Teil ihres Katalogs an. Das Folgen eines gültigen Links zur nächsten Seite kann weitere Produkte offenbaren, während ein Seitenlimit den Test überschaubar hält.

Das Crawlen ist zudem vom Indizieren zu unterscheiden. In Googles Erklärung zur Funktionsweise der Suche wird das Herunterladen von Seiten von der Analyse und Speicherung ihres Inhalts in einem Index unterschieden. Das Auffinden oder Abrufen garantiert keine Aufnahme in die Suchergebnisse. Ihr eigener Crawler muss möglicherweise lediglich ein Inventar erstellen, ohne dass ein Suchindex beteiligt ist.

Bei Web-Scraping- und Web-Crawling-Projekten sollten Sie dafür sorgen, dass diese Bestandsliste überprüfbar bleibt. Speichern Sie die ermittelten Adressen und ausreichende Informationen zum Seitenaufruf, um Fehler untersuchen zu können. Unser GoSpider-Crawling-Leitfaden zeigt, wie sich ein spezielles Erkundungstool in einen größeren Erfassungsworkflow einfügt. Die Aufgabe des Crawlers ist abgeschlossen, sobald er die in Ihrem Umfang definierten Seiten erreicht hat – und nicht erst, wenn er jeden angetroffenen Link erkundet hat.

Eine Produktseite enthält mehr als nur einen Preis. Sie kann Navigation, verwandte Produkte, Kundenbewertungen und mehrere Preise für verschiedene Ausführungen umfassen. Ein Scraper benötigt Regeln, die die gewünschten Felder von allem anderen trennen.

Der Prozess beginnt mit dem Parsen, also dem Auslesen der Seitenstruktur, damit Sie relevante Elemente lokalisieren können. Ein CSS-Selektor kann ein Element anhand seines Typs, seiner Klasse oder anderer Attribute identifizieren. Beispielsweise gibt die `querySelector`-Methode des Browsers das erste übereinstimmende Element zurück – oder kein Element, wenn keine Übereinstimmung vorliegt. Aufgrund dieses Verhaltens muss ein Scraper explizit mit fehlenden Feldern umgehen.

Ein typischer Extraktionsvorgang läuft wie folgt ab:

1. Den Seiteninhalt abrufen.
2. Lokalisierung der Elemente, die die benötigten Felder enthalten.
3. Lesen Sie deren Werte aus.
4. Normalisieren Sie diese Werte in das von Ihnen gewählte Format.
5. Validieren Sie den Datensatz, bevor Sie ihn speichern.

Ein angezeigter Preis von €18.50könnte beispielsweise 18.50 in einem numerischen Feld und EUR in einem separaten Währungsfeld. Entscheiden Sie vor dem Erstellen der Extraktionsregel, ob Sie den aktuellen Preis, den ursprünglichen Preis oder beides benötigen.

CSS-Selektoren sind eine Möglichkeit; das Web-Scraping mit XPath bietet eine weitere Möglichkeit, Inhalte innerhalb von Dokumentstrukturen zu finden. Keiner der beiden Ansätze ersetzt die Überprüfung, ob die gewünschten Daten tatsächlich angekommen sind. Wenn eine Seite Felder über JavaScript hinzufügt, kann ein Headless-Browser nützlich sein, um die Seite vor der Extraktion darzustellen.

Dies ist der Aspekt der Datenqualität beim Web-Scraping im Vergleich zum Web-Crawling. Eine Adresse kann korrekt sein und ein Download kann erfolgreich verlaufen, während der extrahierte Preis fehlt oder zu einer anderen Ausgabe gehört. Überprüfen Sie die Werte, nicht nur das Ergebnis der Anfrage.

Angenommen, Sie möchten einen kleinen Datensatz mit Programmierbüchern erstellen. Die Domain books.example, Buchtitel und Werte unten sind fiktiv. Sie veranschaulichen den Arbeitsablauf, ohne zu suggerieren, dass wir einen Live-Erfassungsauftrag durchgeführt haben.

Geben Sie dem Crawler die Kategorie-Adresse https://books.example/category/programming. Lassen Sie die Paginierung und die Produktseiten dieser Kategorie auf derselben Domain zu. Schließen Sie nicht relevante Kategorien aus dieser Übung aus und legen Sie vor dem Start ein geringes Seitenlimit fest.

In der Erkundungsphase könnten folgende Adressen ermittelt werden:

https://books.example/book/python-foundations
https://books.example/book/practical-web-data

Diese URLs bilden die Übergabe an die Extraktion. Sie geben an, wo gesucht werden soll, liefern jedoch noch keine Auskunft darüber, welches Buch wie viel kostet.

Definieren Sie für diese Übung fünf Felder: Quell-URL, Titel, Autor, Preis und Währung. Ein beispielhafter extrahierter Datensatz könnte wie folgt aussehen:

{
  "url": "https://books.example/book/python-foundations",
  "title": "Python Foundations",
  "author": "Taylor Reed",
  "price": 18.5,
  "currency": "EUR"
}

Unterscheiden Sie fehlende Werte deutlich von echten Werten. Wenn kein Preis angegeben ist, kennzeichnen Sie den Datensatz zur Überprüfung, anstatt den Wert Null zu speichern. Wenn zwei Ausgaben denselben Titel haben, behalten Sie die identifizierende Adresse bei, anstatt sie allein anhand des Titels zusammenzufassen. Eine nützliche Regel ist es, genügend Kontext zu speichern, um den genauen Quelldatensatz wiederzufinden.

Ein Programm kann beide Aufgaben übernehmen. Das Scrapy-Tutorial zeigt, wie man Daten extrahiert und Links zur nächsten Seite innerhalb desselben Spiders verfolgt. Separate Anwendungen sind optional; klare Zuständigkeiten erleichtern jedoch die Fehleranalyse.

Überprüfen Sie für diese Buchhandlungsübung das Adressverzeichnis und die Datensätze unabhängig voneinander. Ein fehlendes Buch kann auf ein Problem bei der Erfassung hindeuten. Ein vorhandenes Buch mit falschem Preis deutet auf ein Problem bei der Datenextraktion hin. Die Unterscheidung zwischen Web-Scraping und Web-Crawling ist in der Praxis wichtig, da diese Fehler unterschiedlich behoben werden müssen.

Wählen Sie den einfachsten Workflow, der zu Ihrem gewünschten Ergebnis führt. Wenn Sie die genauen Seitenadressen kennen, entfällt oft ein separater Erkundungsschritt.

Bei der Entscheidung zwischen Web-Scraping und Web-Crawling sollten Sie auch berücksichtigen, womit Sie sich bei der Wartung wohlfühlen. Ein Parser benötigt Regeln zur Feldauswahl. Ein Crawler benötigt Navigations- und Stoppregeln. Ein Framework kann diese Funktionen zusammenführen, während ein gehosteter Dienst bestimmte Teile der Arbeit übernehmen kann.

Beginnen Sie mit einer Website, die Sie kontrollieren, oder einer Testumgebung, die für das Scraping vorgesehen ist. Wählen Sie eine Seite aus und notieren Sie sich die erwarteten Felder, bevor Sie etwas ausführen. Vergleichen Sie den extrahierten Datensatz mit der Quelle und erweitern Sie dann den Umfang auf einen kleinen Stapel, den Sie noch manuell überprüfen können.

Definieren Sie den Erfolg für diesen Stapel konkret: Die erwarteten Seiten wurden erreicht, die erforderlichen Felder sind vorhanden und die Stichprobenpreise stimmen mit den beabsichtigten Produkten überein. Dies ist aussagekräftiger, als lediglich die Anzahl der erfolgreichen Anfragen zu zählen.

Sobald der Stapel funktioniert, ändern Sie jeweils nur eine Variable, beispielsweise die Anzahl der Seiten oder die abgedeckte Kategorie. So lässt sich ein unerwartetes Ergebnis leichter mit der Änderung in Verbindung bringen, die dazu geführt hat.

Eine umfassende Link-Ermittlung kann über die ursprünglich geplante Aufgabe hinauswachsen. Filter, Kalender und wiederholte Navigation können viele Adressen generieren. Legen Sie Grenzen und eine Stoppbedingung fest, bevor Sie den Erfassungsumfang erweitern.

Auch der Umgang mit Duplikaten erfordert Sorgfalt. Manche URL-Parameter dienen lediglich der Nachverfolgung eines Besuchs; andere wählen eine andere Produktversion oder Region aus. Prüfen Sie, was ein Parameter verändert, bevor Sie ihn entfernen. Ebenso beweisen identische Titel nicht, dass zwei Datensätze denselben Artikel beschreiben.

Beachten Sie die Crawling-Anweisungen der Website. Der Standard „Robots Exclusion Protocol“ erklärt, dass robots.txt Regeln keine Zugriffsberechtigung darstellen. Ein erlaubter Pfad sollte nicht als pauschale Erlaubnis zum Zugriff auf oder zur Wiederverwendung seiner Inhalte behandelt werden. Beschränken Sie die Datenerfassung auf den Umfang, zu dessen Durchführung Sie berechtigt sind.

Beachten Sie sowohl die Antwortsignale als auch die extrahierten Daten. HTTP 429 bedeutet, dass der Client innerhalb eines bestimmten Zeitraums zu viele Anfragen gesendet hat. Ein Retry-After Header kann angeben, wann ein erneuter Versuch unternommen werden sollte. Beachten Sie dieses Signal, anstatt dieselbe Anfrage sofort in einer engen Schleife zu wiederholen.

Messen Sie schließlich vergleichbare Aufgaben. Eine Anfrage für eine bekannte Seite und ein Crawl, bei dem Hunderte von Seiten entdeckt werden, sind unterschiedliche Aufgaben. Rendering-Anforderungen, Seitenvolumen, Komplexität der Extraktion und das Tempo der Anfragen beeinflussen den Zeit- und Ressourcenaufwand. Beim Vergleich von Web-Scraping und Web-Crawling gibt es keinen universellen Sieger in Sachen Geschwindigkeit. Verfolgen Sie entdeckte URLs, abgerufene Seiten und gültige Datensätze separat, damit Sie erkennen können, wo Zeit verloren geht und wo der Vorgang Aufmerksamkeit erfordert.

• Beginnen Sie mit dem Ergebnis, das Sie benötigen. Eine Bestandsaufnahme von Seiten erfordert die Erfassung; eine Preistabelle erfordert zudem die Extraktion von Feldern.
• Beschränken Sie das Crawling auf zulässige Domains, relevante Pfade und ein explizites Stopplimit. Überprüfen Sie die gefundenen URLs, bevor Sie den Erfassungsbereich erweitern.
• Definieren Sie die erforderlichen Felder vor dem Scraping. Behandeln Sie einen fehlenden Wert als Problem, das untersucht werden muss, anstatt ihn durch einen plausibel erscheinenden Standardwert zu ersetzen.
• Überprüfen Sie die Erkennung, den Abruf und die Extraktion unabhängig voneinander. Eine erfolgreiche Anfrage beweist nicht, dass der richtige Datensatz erzeugt wurde.
• Erweitern Sie einen kleinen, verifizierten Stapel schrittweise, damit Sie nachvollziehen können, warum sich die Ergebnisse ändern.

Ja. Du kannst gespeichertes HTML analysieren, ohne die Seite erneut abzurufen, vorausgesetzt, die Datei enthält die benötigten Felder. Speichere die ursprüngliche URL und den Zeitpunkt des Downloads mit, damit die extrahierten Werte nachvollziehbar bleiben. Wenn die Datei gespeichert wurde, bevor JavaScript den relevanten Inhalt hinzugefügt hat, wird dieser Inhalt nicht angezeigt, nur weil du die Datei später analysierst.

Ein Crawler benötigt eine weitere Quelle für diese Adresse, beispielsweise eine Sitemap oder eine explizite Seed-Liste. Das Verfolgen von Links allein kann keine Seite aufdecken, auf die keine der besuchten Seiten verweist. Wenn es auf Vollständigkeit ankommt, vergleichen Sie die Suchergebnisse mit einem verlässlichen Verzeichnis, auf das Sie Zugriff haben. Eine leere Warteschlange bedeutet, dass die verfügbare Erkundung abgeschlossen ist; sie beweist nicht, dass jede Seite gefunden wurde.

Legen Sie den Zeitplan für erneute Besuche entsprechend der erforderlichen Aktualität Ihres Datensatzes und den Betriebsgrenzen der Quelle fest. Ein einmaliges Archiv und ein täglicher Preisbericht stellen unterschiedliche Anforderungen. Zeichnen Sie die Erfassungszeiten auf und beobachten Sie, ob sich die Felder zwischen den Besuchen tatsächlich ändern. Nutzen Sie diese Beobachtungen, um den Zeitplan zu verfeinern, anstatt davon auszugehen, dass eine häufigere Erfassung immer nützlichere Daten liefert.

Nein. Crawling und Scraping sind Aufgaben und keine spezifischen Funktionen einer bestimmten Programmiersprache. Sie können eine andere Sprache verwenden, die Sie bereits beherrschen, oder ein Tool, das den erforderlichen Arbeitsablauf über eine visuelle Oberfläche bereitstellt. Sie müssen dennoch die gewünschten Seiten und Felder definieren, die resultierenden Datensätze überprüfen und verstehen, welche Teile des Prozesses das Tool für Sie übernimmt.

Das nützliche Ergebnis eines Datenerfassungsprojekts sind Daten, die Sie verstehen und überprüfen können. „Web-Scraping“ und „Web-Crawling“ beschreiben zwei Aufgaben, die Ihnen helfen, dieses Ergebnis zu erreichen: das Auffinden relevanter Seiten und das Extrahieren der benötigten Informationen aus diesen.

Wenn Sie die Adressen bereits haben, beginnen Sie damit, die Extraktion auf einer Seite zu testen. Wenn die Adressen fehlen, definieren Sie zunächst einen begrenzten Erkundungsauftrag. Legen Sie in beiden Fällen fest, wie ein gültiger Datensatz aussieht, bevor Sie das Volumen erhöhen. Das Beispiel mit der Buchhandlung funktioniert, weil die Ausgabefelder und der beabsichtigte Seitenumfang klar genug sind, um sie zu überprüfen.

Behalten Sie den Übergabeprozess im Blick, während das Projekt wächst. Halten Sie fest, welche Seiten entdeckt, welche abgerufen und welche gültige Daten geliefert haben. Diese Nachweise helfen Ihnen, ein Navigationsproblem von einem fehlenden Feld oder einer fehlgeschlagenen Anfrage zu unterscheiden, und bieten Ihnen einen konkreten Ausgangspunkt für Korrekturen.

Falls das Abrufen von Seiten der Teil wird, bei dem Sie Unterstützung benötigen, sehen Sie sich die Scraper-API von WebScrapingAPI an. Diese kann die Abrufebene übernehmen, während Sie Ihren Erfassungsumfang und Ihre Datenprüfungen explizit beibehalten. Beginnen Sie mit einer repräsentativen Seite und bewerten Sie das Ergebnis anhand der Felder, die Ihr Projekt tatsächlich benötigt.