Wie man Bewertungen aus Google Maps einfängt

Andrei Ogiolan am 21. April 2023

Einführung

Google Maps ist einer der weltweit am häufigsten genutzten Karten- und Navigationsdienste, der den Nutzern eine einfache Möglichkeit bietet, Orte, Unternehmen und interessante Punkte zu finden und zu erkunden. Eine der wichtigsten Funktionen von Google Maps ist die Möglichkeit, nach Orten zu suchen und detaillierte Informationen über sie anzuzeigen, z. B. ihren Standort, Bewertungen, Fotos und mehr.

Das Auslesen dieser Daten aus Google Maps kann für Unternehmen nützlich sein, um die Leistung ihrer Standorte zu verfolgen und zu analysieren, für Forscher, um Muster im Verbraucherverhalten zu untersuchen, und für Privatpersonen, um neue Orte zu finden und zu erkunden.

Der Zweck dieses Artikels ist es, eine Schritt-für-Schritt-Anleitung zum Scrapen von Google Maps Reviews mit unserer API unter Verwendung von Node.js bereitzustellen. Wir werden alles abdecken, vom Einrichten der Entwicklungsumgebung bis zum Extrahieren relevanter Daten und der Diskussion möglicher Probleme. Am Ende dieses Artikels verfügen Sie über das Wissen und die Werkzeuge, die Sie benötigen, um Google Maps-Platzierungsergebnisse selbst zu scrapen.

Warum sollten Sie einen professionellen Abstreifer verwenden, anstatt einen eigenen zu bauen?

Die Verwendung eines professionellen Scrapers kann aus mehreren Gründen eine bessere Option sein als die Erstellung eines eigenen Scrapers. Erstens sind professionelle Scraper für die Bewältigung einer Vielzahl von Scraping-Aufgaben ausgelegt und für Leistung, Zuverlässigkeit und Skalierbarkeit optimiert. Sie sind für die Verarbeitung großer Datenmengen ausgelegt und können mit verschiedenen Arten von Websites und Webtechnologien umgehen. Das bedeutet, dass professionelle Scraper Daten oft schneller und genauer extrahieren können als ein individuell angefertigter Scraper.

Darüber hinaus verfügen professionelle Scraper oft über integrierte Funktionen wie CAPTCHA-Lösung, IP-Rotation und Fehlerbehandlung, die den Scraping-Prozess effizienter und weniger fehleranfällig machen können. Sie bieten auch Support und Dokumentation, die bei Problemen hilfreich sein können.

Ein weiterer wichtiger Aspekt ist, dass professionelle Scraper die Scraping-Richtlinien der Websites, die sie scrapen, einhalten und die legale Nutzung der Daten gewährleisten können.

Schließlich müssen Sie in unserem speziellen Fall, um Google Maps Reviews zu scrapen, für beste Ergebnisse einen data_id-Parameter an Ihre Google-URL übergeben. Dieser Parameter sieht normalerweise wie folgt aus: 0x87c0ef253b04093f:0xafdfd6dc1d3a2b4e. Ich weiß, dass dies zunächst einschüchternd klingen mag, da Sie vielleicht keine Ahnung haben, wie Sie die data_id-Eigenschaft für einen bestimmten Ort erhalten können, und Sie haben Recht, denn Google versteckt diese Information und sie ist auf der Seite nicht sichtbar, wenn Sie in Google Maps nach einem Ort suchen. Aber zum Glück kann ein professioneller Scraper wie der unsere diese Daten für Sie finden. Wir werden in den folgenden Abschnitten darüber sprechen, wie man die data_id erhält und wie man Google Maps-Bewertungen mit unserer API scrapen kann.

Unser Ziel definieren

Was sind Google Maps-Bewertungen?

Google Maps-Bewertungen sind die von Nutzern auf Google Maps hinterlassenen Bewertungen und Kommentare zu einem bestimmten Ort. Diese Bewertungen enthalten Informationen wie den Namen des Nutzers, das Datum, an dem die Bewertung abgegeben wurde, die abgegebene Bewertung und den Bewertungstext.

Die Auswertung von Google Maps-Bewertungen kann für Unternehmen nützlich sein, die die Leistung ihrer Standorte verfolgen und analysieren wollen, für Forscher, die Muster im Verbraucherverhalten untersuchen wollen, und für Einzelpersonen, die neue Orte finden und erkunden wollen. Durch die Extraktion der Bewertungsdaten können Unternehmen die Stärken und Schwächen ihrer Standorte ermitteln und entsprechende Verbesserungen vornehmen. Forscher können die Stimmung in den Bewertungen untersuchen und Muster im Verbraucherverhalten erkennen. Auch Einzelpersonen können diese Informationen nutzen, um Entscheidungen darüber zu treffen, wohin sie gehen und was sie unternehmen möchten.

Wie sieht unser Ziel aus?

Einrichten

Bevor Sie mit dem Scrapen von Google Maps-Bewertungen beginnen, müssen Sie über die erforderlichen Tools verfügen. Die wichtigste Voraussetzung ist Node.js, eine JavaScript-Laufzeitumgebung, die die Ausführung von JavaScript auf der Serverseite ermöglicht und die von der offiziellen Website heruntergeladen werden kann. Außerdem ist ein API-Schlüssel erforderlich, den Sie erhalten, wenn Sie hier ein Konto anlegen und den SERP-Dienst aktivieren.

Nachdem Sie Node.js eingerichtet und einen API-Schlüssel erhalten haben, müssen Sie als nächstes eine Node.js-Skriptdatei erstellen. Dies kann durch Ausführen des folgenden Befehls erfolgen:

$ touch scraper.js 

Fügen Sie nun die folgende Zeile in Ihre Datei ein:

console.log("Hallo Welt!")

Führen Sie dann den folgenden Befehl aus:

$ node scraper.js

Wenn Sie die Meldung "Hello World!" auf dem Terminal sehen, bedeutet dies, dass Node.js erfolgreich installiert wurde und Sie mit dem letzten Schritt fortfahren können. Dieser letzte Schritt besteht darin, die Orts-ID des Ortes zu ermitteln, dessen Bewertungen Sie auslesen möchten. Hier kommt unsere API ins Spiel, die einfach zu benutzen ist und keine zusätzlichen Bibliotheken erfordert.

Zunächst müssen Sie in einer js-Datei das in Node.js eingebaute Modul `https` importieren, um Anfragen an unsere API senden zu können. Dies kann wie folgt gemacht werden:

const https = require("https");

Zweitens müssen Sie Ihren API-Schlüssel, einen Suchbegriff und die Koordinaten des Ortes angeben, der Sie interessiert:

const API_KEY = "<YOUR-API-KEY-HERE>" // You can get by creating an account - https://app.webscrapingapi.com/register

const query = "Waldo%20Pizza"

const coords = "@38.99313451901278,-94.59368586441806"

Tipp: So erhalten Sie die Koordinaten für einen Ort auf Google Maps:

Der nächste Schritt besteht darin, die erhaltene Orts-ID in ein Optionsobjekt aufzunehmen, um unserer API mitzuteilen, welche Bewertungen des Standorts Sie abrufen möchten:

const options = {

  "method": "GET",

  "hostname": "serpapi.webscrapingapi.com",

  "port": null,

  "path": `/v1?engine=google_maps&api_key=${API_KEY}&type=search&q=${query}&ll=${coords}`,

  "headers": {}

};

Als Nächstes müssen Sie nun einen Aufruf an unsere API mit all diesen Informationen einrichten:

const req = https.request(options, function (res) {

 const chunks = [];

 res.on("data", function (chunk) {

   chunks.push(chunk);

 });

 res.on("end", function () {

   const body = Buffer.concat(chunks);

   const response = JSON.parse(body.toString());

   const data_id = response.place_results.data_id;

   if (data_id) {

       console.log(data_id);

   }

   else {

       console.log('We could not find a data_id property for your query. Please try using another query')

   }

 });

});

req.end();

Zum Schluss können Sie das soeben erstellte Skript ausführen und auf die Ergebnisse warten:

$ node scraper.js

Sie sollten dann die Eigenschaft data_id auf dem Bildschirm angezeigt bekommen:

$ ​​0x87c0ef253b04093f:0xafdfd6dc1d3a2b4es

Damit ist der Einrichtungsprozess abgeschlossen. Mit der data_id-Eigenschaft haben Sie nun alle notwendigen Informationen, um einen Scraper für Google Maps-Bewertungen unter Verwendung unserer API mit Node.js zu erstellen.

Beginnen wir mit dem Scannen von Google-Bewertungen

Nachdem Sie die Umgebung eingerichtet haben, können Sie mit dem Scrapen von Google Maps-Rezensionen mit unserer API beginnen. Um fortzufahren, müssen Sie den data-Parameter wie zuvor erwähnt einrichten. Wenn alle erforderlichen Informationen verfügbar sind, können Sie den Parameter data_id wie folgt einrichten:

const data_id = "0x87c0ef253b04093f:0xafdfd6dc1d3a2b4e" // die Daten_id, die wir zuvor abgerufen haben

Jetzt müssen Sie nur noch das Options-Objekt ändern und unserer API mitteilen, dass Sie Bewertungen von Google Maps abrufen möchten:

const options = {

  "method": "GET",

  "hostname": "serpapi.webscrapingapi.com",

  "port": null,

  "path": `/v1?engine=google_maps_reviews&api_key=${API_KEY}&data_id=${data_id}`, // there is no need in having a query anymore, data_id is enough to identify a place

  "headers": {}

};

Und das ist alles, was Sie tun müssen. Ihr Skript sollte nun wie folgt aussehen:

const http = require("https");

const API_KEY = "<YOUR-API-KEY-HERE>"

const data_id = "0x87c0ef253b04093f:0xafdfd6dc1d3a2b4e" // the data_id we retrieved earlier

const options = {

  "method": "GET",

  "hostname": "serpapi.webscrapingapi.com",

  "port": null,

  "path": `/v1?engine=google_maps_reviews&api_key=${API_KEY}&data_id=${data_id}`, // there is no need in having a query anymore, data_id is enough to identify a place

  "headers": {}

};

const req = http.request(options, function (res) {

  const chunks = [];

  res.on("data", function (chunk) {

    chunks.push(chunk);

  });

  res.on("end", function () {

    const body = Buffer.concat(chunks);

    const response = JSON.parse(body.toString())

    console.log(response);

  });

});

req.end();

Nach der Ausführung dieses Skripts sollten Sie eine Antwort erhalten, die ähnlich aussieht wie diese:

reviews: [

    {

      link: 'https://www.google.com/maps/reviews/data=!4m8!14m7!1m6!2m5!1sChZDSUhNMG9nS0VJQ0FnSUMyem9pOEdBEAE!2m1!1s0x0:0xafdfd6dc1d3a2b4e!3m1!1s2@1:CIHM0ogKEICAgIC2zoi8GA%7CCgwI1vuBkwYQiKeWyQE%7C?hl=en-US',

      date: '8 months ago',

      rating: 5,

      snippet: 'Wow, if you have dietary restrictions this is absolutely the place to go! Both for the variety of restrictions they cater to as well as the taste of the dishes.The good: great tasting food. Very conscious of dietary restrictions which include multiple types of vegan cheeses as well as gluten free. Decent drink selection.The meh: service is nice but a touch slow. Maybe understaffed? Prices are average for pizzas.The bad: noneFeatures: Did not see any masks on anyone inside. Unsure of cleaning practices so I cannot speak to that.Dine in: Yes\n' +

        'Takeout: Yes\n' +

        'Curbside pickup: YesWow, if you have dietary restrictions this is absolutely the place to go! Both for the variety of restrictions they cater to as well as the taste of the dishes. ...More',

      likes: 3,

      user: [Object],

      images: [Array]

    },

    {

      link: 'https://www.google.com/maps/reviews/data=!4m8!14m7!1m6!2m5!1sChZDSUhNMG9nS0VJQ0FnSURXOUxHSUl3EAE!2m1!1s0x0:0xafdfd6dc1d3a2b4e!3m1!1s2@1:CIHM0ogKEICAgIDW9LGIIw%7CCgwI3OnIkQYQwLGL1gM%7C?hl=en-US',

      date: '9 months ago',

      rating: 5,

      snippet: "We love Waldo Pizza! We have dairy allergies and Waldo offers a wide range of vegan cheeses as well as a ton of different toppings. The vegan dessert here is always excellent as well, super rich in flavor. Of course the traditional pizza, pasta and dessert are also amazing! It's great to have both options under one roof!Dine in: Yes\n" +

        'Outdoor seating: No ...More',

      likes: 1,

      user: [Object],

      images: [Array]

    }

    . . . 

]    

Und das war's! Sie haben mit unserer API erfolgreich Google Maps-Bewertungen gekratzt und können nun die erhaltenen Daten für verschiedene Zwecke wie Datenanalyse, Geschäftsanalyse, maschinelles Lernen und mehr verwenden. Weitere Referenzen und Codebeispiele in anderen 6 Programmiersprachen finden Sie in unserer Dokumentation zu Google Maps-Bewertungen.

Beschränkungen der Google Maps-Bewertungen

Auch wenn die Verwendung eines professionellen Scrapers zum Extrahieren von Google Maps-Bewertungen effizienter und genauer sein kann als die Erstellung eines eigenen Scrapers, gibt es dennoch einige Einschränkungen zu beachten. Eine Einschränkung besteht darin, dass einige professionelle Scraper Nutzungsbeschränkungen haben, was bedeutet, dass Sie nur eine bestimmte Anzahl von Bewertungen pro Tag oder pro Monat scrapen können. Eine weitere Einschränkung ist, dass einige professionelle Scraper nicht in der Lage sind, IP-Sperren oder CAPTCHAs zu umgehen, was es schwierig machen kann, große Datenmengen zu extrahieren, ohne auf Fehler zu stoßen. Glücklicherweise haben wir bei WebScrapingAPI Proxys für Wohngebiete, die die IP-Adressen rotieren lassen, so dass Sie sich keine Sorgen mehr machen müssen, dass Sie gesperrt werden oder eine Tarifbeschränkung erhalten. Eine Sache, die Sie beachten sollten, ist, dass Google Maps-Bewertungen in der Regel in natürlicher Sprache verfasst sind, was ihre Analyse und Interpretation ohne den Einsatz von Techniken zur Verarbeitung natürlicher Sprache schwierig machen kann.

Schlussfolgerung

Zusammenfassend lässt sich sagen, dass das Scraping von Google Maps-Bewertungen ein wertvolles Instrument für Unternehmen, Forscher und Einzelpersonen sein kann. Es ermöglicht Ihnen, Daten in großem Umfang zu sammeln und sie für verschiedene Zwecke zu analysieren. Es ist jedoch wichtig, sich darüber im Klaren zu sein, dass das Scrapen von Google Maps-Bewertungen mit Einschränkungen verbunden ist, darunter Nutzungsbeschränkungen, CAPTCHAs und IP-Sperren sowie natürliche Sprachverarbeitung. Die Verwendung eines professionellen Scrapers kann den Prozess effizienter und genauer machen und einige der Einschränkungen beseitigen. Insgesamt kann das Scrapen von Google Maps-Bewertungen nützliche Informationen liefern, aber es ist wichtig, mit Vorsicht und Sorgfalt vorzugehen.