Web-Scraping einer beliebigen Website in wenigen Minuten mit einer REST-API

Robert Munceanu am 12. April 2021

Informationen sind heutzutage eine sehr wertvolle Ressource. Aber wie können Sie einfach und schnell darauf zugreifen und sie dann zu Ihrem Vorteil nutzen, sei es für Ihr Unternehmen oder für den privaten Gebrauch?

Mit Hilfe eines Web-Scraping-Tools könnte das Sammeln von Daten nicht einfacher sein!

Wenn Sie mit uns zusammenarbeiten möchten, empfehlen wir Ihnen WebScrapingAPI, weil es sich leicht in Ihre Webanwendung integrieren lässt und ein kostenloses Angebot für neue Benutzer hat. Außerdem können Sie die Ergebnisse im Spielplatzbereich testen, bevor Sie etwas anderes tun.

Wer sollte Web Scraping nutzen?

Daten sind in jeder Branche wertvoll, und das Internet ist voll von ihnen. Effizientes Web-Scraping erfordert zwar einige Programmierkenntnisse, aber fast jedes Unternehmen kann davon profitieren. Hier sind nur einige Beispiele dafür, was Sie mit einem Web Scraping Tool tun können:

• Beobachten Sie Ihre Konkurrenz: Analysieren und vergleichen Sie die Produkte verschiedener Unternehmen, um ein besseres Verständnis der Marktströme und der Art und Weise zu erhalten, wie Kunden mit diesen Produkten umgehen.
• Forschung: Sammeln von Daten/Statistiken mit einem Web Scraper für Ihr Forschungsprojekt, sei es akademisch, wissenschaftlich oder marketingbezogen. Mehr Daten können dazu beitragen, die Glaubwürdigkeit und Authentizität des Projekts zu erhöhen.
• Generieren Sie Leads: Sammeln Sie Kontaktdaten von Unternehmenswebsites oder sogar Plattformen wie Linkedin.
• Trainieren Sie Ihre KI: Daten sind für das KI-Training unverzichtbar, aber nicht immer finden Sie die benötigten Daten strukturiert und verfeinert, sodass Sie selbst recherchieren müssen. Das Scraping von Informationen zur Erstellung einer Datentabelle ist eine gute Lösung für dieses Problem.

Sie fragen sich vielleicht: Warum sollten Sie eine API verwenden und sie nicht selbst erstellen? Kurz gesagt: Genau wie Informationen und Daten ist auch Zeit eine sehr wichtige Ressource. Ein Tool kann den Prozess beschleunigen und, noch besser, effizienter machen. Eine API kann zum Beispiel Captchas vermeiden.

Außerdem wird ein einfacher selbstgebauter Web Scraper höchstwahrscheinlich nur eine Reihe von HTML-Code liefern. Die Daten können zwar verwendet werden, aber sie haben kein gutes Format. Mit einem vorgefertigten Tool wie WebScrapingAPI erhalten Sie all diese Informationen im JSON-Format.

Warum ist das JSON-Format beim Web Scraping besser?

JSON(JavaScript Object Notation) ist ein leichtgewichtiges Format, das für den Datenaustausch verwendet wird, damit eine Webanwendung die Informationen leichter analysieren kann.

WebScrapingAPI ruft die gesamten HTML-Daten der Website ab, die Sie scrapen möchten, und kann diese auf jede beliebige Weise verarbeiten und umstrukturieren. Wenn Sie mehr erfahren möchten, können Sie die offizielle JSON-Website besuchen.

Wie man Daten mit WebScrapingAPI extrahiert

1. Erstellen Sie ein WebScrapingAPI-Konto

Dieser Schritt ist ziemlich einfach und Sie brauchen sich keine Sorgen zu machen, denn Sie können es kostenlos ausprobieren! Nachdem Sie sich registriert und Ihr Konto per E-Mail verifiziert haben, können wir zum nächsten Schritt übergehen.

2. Melden Sie sich an und gehen Sie zum Dashboard

Hier erhalten Sie Ihren Zugangsschlüssel, der für die Authentifizierung bei der API verwendet wird.

Seien Sie vorsichtig, mit wem Sie ihn teilen! Wenn Sie glauben, dass Ihr privater Schlüssel kompromittiert ist, können Sie ihn jederzeit zurücksetzen, indem Sie auf die oben gezeigte Schaltfläche "API-Schlüssel zurücksetzen" klicken.

Mit dem "API Playground" können Sie die Ergebnisse in Echtzeit überprüfen. Hier können Sie Ergebnisse mit verschiedenen API-Parametern testen, verschiedene Websites scrapen und vieles mehr. Die Benutzeroberfläche ist benutzerfreundlich, und Sie erhalten Ihre Ergebnisse in wenigen Minuten. Sie können das Gerät, von dem aus Sie scrapen möchten, den Proxy-Typ und sogar die Geolokalisierung durch Auswahl des Länderparameters auswählen.

Der Spielplatz zeigt auch ein Codebeispiel für Ihre Anfrage in verschiedenen Programmiersprachen. Es gibt Python, Ruby, Curl, NET, PHP, Java und sogar Golang, falls Sie es selbst tun möchten.

3. Integrieren Sie WebScrapingAPI in Ihre Anwendung

Es ist ganz einfach. In der Dokumentation finden Sie ausführliche Anleitungen zur Verwendung mit Codebeispielen in verschiedenen Programmiersprachen, um den Prozess besser zu verstehen. Erinnern Sie sich an den Access Key, über den wir vorhin gesprochen haben? Nun, es ist an der Zeit, ihn zu nutzen!

Und vergessen Sie nicht, dass es wichtig ist, ihn für sich selbst zu behalten. Versuchen Sie, Ihren API-Zugangsschlüssel an einem sicheren Ort aufzubewahren und geben Sie ihn niemals in öffentliche Skripte oder Dateien ein!

Sehen wir uns das in der Dokumentation beschriebene Beispiel für eine einfache Anfrage in JavaScript an (Sie können jede beliebige Programmiersprache verwenden, die Ihnen zusagt).

const got = require('got');
(async () => {
  const params = {
    api_key: 'XXXXXX',
    url: 'https://en.wikipedia.org/wiki/Mars'
  };  const response = await got('https://api.webscrapingapi.com/v1', { searchParams: params });  console.log(response.body);
})();

Für den api_key-Parameter geben Sie Ihren WSA-Zugangsschlüssel an, und für den url-Parameter müssen wir die URL der Webseite angeben, die wir scrapen wollen. In diesem Fall haben wir eine einfache Anfrage an https://en.wikipedia.org/wiki/Mars gestellt, um die Informationen über den Mars auf Wikipedia zu sehen. Als Antwort erhalten wir den gesamten HTML-Code der abgefragten Seite, mit dem wir spielen können.

Sie können auch verschiedene Parameter senden. Hier finden Sie eine Liste der Parameter, die von WebScrapingAPI akzeptiert werden, sowie Codebeispiele, damit Sie besser verstehen, wie sie verwendet werden können und wofür sie gebraucht werden.

4. Das war's!

Sie haben erfolgreich eine Webseite gecrawlt. Gut gemacht! Jetzt liegt es an Ihnen, die gesammelten Informationen zu nutzen, sei es für maschinelles Lernen oder für die Marktforschung und so weiter.

Was können Sie mit WebScrapingAPI noch tun?

WebScrapingAPI verfügt über viele weitere Funktionen, wie z. B. Geolokalisierung, Einstellung des zu verwendenden Proxy-Typs oder sogar das Rendern des JavaScript-Codes der Ziel-Webseite. Die API kümmert sich auch um einige Aufgaben, die programmatisch erledigt werden müssten, wie z. B.:

• Geolokalisierung
• IP-Blöcke
• IP-Rotationen
• Captchas
• JavaScript-Rendering
• Vollmachten für Wohnzwecke
• Rechenzentrum-Proxys
• Benutzerdefinierte HTTP-Kopfzeile

Diese Funktionen sind unter verschiedenen Kontoplänen zugänglich. Einzelheiten dazu finden Sie im Abschnitt API-Funktionen.

Sollten Sie Schwierigkeiten bei der Integration von WSA in Ihre Anwendung haben, können Sie sich jederzeit an das Support-Team wenden und um Hilfe bitten.

Ich hoffe, dieser Artikel war hilfreich und hat Ihre Fragen zum Web Scraping beantwortet. Wie Sie sehen, ist die Verwendung eines Web-Scraping-Tools weitaus vorteilhafter als die manuelle Durchführung oder sogar das Schreiben von eigenem Code, da es viel Zeit spart und Sie massenhaft scrapen können. Warum also nicht WebScrapingAPI ausprobieren?