Beim Web-Scraping mit Rust kommen im Wesentlichen drei Crates zum Einsatz: „reqwest“ sendet die HTTP-Anfragen, „scraper“ analysiert den HTML-Code mithilfe von CSS-Selektoren und „tokio“ führt alles asynchron aus. Sie werden einen Scraper von Anfang bis Ende erstellen. Er sammelt alle Bücher auf books.toscrape.com, einem öffentlichen Übungskatalog, folgt der Paginierung, ruft Seiten parallel unter Einhaltung von „polite limits“ ab, wiederholt fehlgeschlagene Anfragen und schreibt die Ergebnisse in CSV- und JSON-Dateien. Anschließend werden Sie eine mit JavaScript gerenderte Seite (quotes.toscrape.com/js/) auf drei Arten bearbeiten: durch Auslesen des eingebetteten JSON, durch Rendern in Headless Chrome und durch Aufruf einer Scraping-API über denselben reqwest-Client.
Der Code ist auf die in der folgenden Tabelle aufgeführten Crate-Versionen ausgerichtet, einschließlich der Funktionsänderungen in reqwest 0.13, die viele ältere Tutorials unbrauchbar machen.
Das Wichtigste auf einen Blick
- Verwenden Sie reqwest 0.13 für HTTP, scraper 0.29 für das Parsen und tokio für asynchrone Vorgänge. Aktivieren Sie die
queryFeature, bevor Sie.query(). - Erstellen Sie einen
Clientund verwenden Sie ihn wieder. Erstellen Sie Ihre Selektoren einmalig, nicht innerhalb einer Schleife. - Parsen Sie HTML in einer regulären synchronen Funktion, da
scraper::Htmlnicht über eine.awaitin einer gestarteten Aufgabe aufrechterhalten werden. - Folgen Sie dem „Weiter“-Link für die Paginierung, begrenzen Sie die Parallelität mit
buffer_unorderedund wiederholen Sie 429- und 5xx-Antworten mit Backoff. - Bei JavaScript-Seiten sollten Sie zunächst den rohen HTML-Code überprüfen, dann nach eingebettetem JSON suchen und erst danach auf einen Headless-Browser oder eine verwaltete API zurückgreifen.




