Wie man Google Shopping Verkäufer in der Nähe mit Node.js scrapen kann

Andrei Ogiolan am 28. Februar 2023

Dieser Artikel führt Sie durch den Prozess der Verwendung unserer API mit Node.js, um Verkäufer in Ihrer Nähe aus Google Shopping zu extrahieren. Zu den Schritten gehören das Einrichten der Entwicklungsumgebung, das Scrapen relevanter Daten und die Erörterung von Problemen, auf die Sie stoßen könnten. Am Ende dieses Tutorials verfügen Sie über das nötige Wissen und die Tools, um selbst Verkäufer in Ihrer Nähe aus Google Shopping zu extrahieren. Bevor wir uns in die technischen Details vertiefen, ist es wichtig zu verstehen, was Google Shopping ist.

Google Shopping ist eine Plattform, die es Verbrauchern ermöglicht, nach Produkten verschiedener Online-Händler zu suchen und diese zu vergleichen. Die Plattform zeigt eine breite Palette von Produkten zusammen mit ihren Preisen an, was sie zu einem benutzerfreundlichen Werkzeug für die Suche nach den besten Angeboten macht. Mit Web-Scraping-Techniken können wir wertvolle Daten, z. B. zu Verkäufern in der Nähe, aus Google Shopping extrahieren, um Erkenntnisse zu gewinnen und fundierte Entscheidungen zu treffen.

Warum sollten Sie einen professionellen Web Scraper verwenden?

Die Erstellung eines eigenen Web Scrapers kann eine zeitaufwändige und komplexe Aufgabe sein. Sie müssen nicht nur über gute Programmierkenntnisse verfügen, sondern auch ein tiefes Verständnis für Web-Scraping-Techniken und -Technologien haben. Für jemanden, der keine Erfahrung mit Web Scraping hat, kann dies eine entmutigende Aufgabe sein, und die Zeit und die Ressourcen, die für die Erstellung eines funktionierenden Scrapers erforderlich sind, sind die Investition möglicherweise nicht wert.

Andererseits bietet die Verwendung eines professionellen Schabers wie dem unseren mehrere Vorteile. Zum einen werden professionelle Scraper von Experten auf diesem Gebiet entwickelt und gewartet, um sicherzustellen, dass sie mit den neuesten Technologien und Techniken vertraut sind. Das bedeutet, dass sie eher in der Lage sind, die Komplexität des modernen Webs, wie CAPTCHAs und dynamische Webseiten, zu bewältigen. Außerdem verfügen professionelle Scraper oft über integrierte Funktionen wie die automatische IP-Rotation, die verhindern kann, dass Ihre IP von der Website, die Sie scrapen, blockiert wird.

Ein weiterer Vorteil der Verwendung eines professionellen Scrapers ist, dass Sie viel Zeit und Ressourcen sparen können. Anstatt Wochen oder gar Monate damit zu verbringen, einen eigenen Scraper zu entwickeln, können Sie sich bei unserem Scraper anmelden, indem Sie hier ein Konto anlegen und sofort mit dem Scrapen beginnen. Dies ist besonders für Unternehmen von Vorteil, die schnell Daten extrahieren müssen, um fundierte Entscheidungen treffen zu können, oder für Einzelpersonen, die Daten für persönliche Projekte scrapen möchten, aber nicht die Zeit oder die Ressourcen haben, um einen eigenen Scraper zu erstellen.

Was sind Google Shopping Nearby-Verkäufer?

Google Shopping Product Nearby Sellers ist eine Funktion, mit der Nutzer Einzelhandelsgeschäfte in der Nähe finden können, die ein bestimmtes Produkt führen. Diese Funktion ist auf der Google Shopping-Website und in der mobilen App verfügbar und ermöglicht es den Nutzern, nach Produkten zu suchen und eine Liste von Verkäufern in der Nähe anzuzeigen, die dieses Produkt führen. Diese Informationen umfassen den Namen des Geschäfts, die Entfernung und die Adresse des Geschäfts sowie die Angabe, ob das Geschäft derzeit geöffnet oder geschlossen ist.

Das Scraping von Google Shopping-Produkten von Verkäufern in der Nähe kann für Unternehmen und Einzelpersonen von Vorteil sein, die Einblicke in lokale Einzelhandelsmärkte gewinnen möchten. Durch das Scraping dieser Daten können Unternehmen ein besseres Verständnis für die Konkurrenz in ihrem Gebiet gewinnen und ihre Preise und Bestände entsprechend anpassen. Darüber hinaus können Unternehmen diese Daten nutzen, um neue Absatzmöglichkeiten zu ermitteln, z. B. indem sie auf Geschäfte zugehen, die ihre Produkte derzeit nicht führen. Für Privatpersonen kann das Scannen von Google Shopping Product Nearby Sellers ein nützliches Tool sein, um die besten Angebote für Produkte zu finden und das nächstgelegene Geschäft zu ermitteln.

Wie sieht unser Ziel aus?

Einrichten

Um mit unserer API nahegelegene Verkäufer aus Google Shopping zu scrapen, müssen Sie über die richtigen Tools verfügen. Zuallererst müssen Sie Node.js installiert haben. Dabei handelt es sich um eine JavaScript-Laufzeitumgebung, mit der Sie JavaScript auf der Serverseite ausführen können, und die Sie von der offiziellen Node.js-Website herunterladen können.

Zusätzlich benötigen Sie einen API-KEY, um unseren Service zu nutzen. Diesen erhalten Sie, indem Sie hier ein Konto anlegen und den SERP-Service aktivieren.

Nachdem Sie Node.js und einen API-KEY haben, erstellen Sie im nächsten Schritt eine Node.js-Skriptdatei, indem Sie den folgenden Befehl ausführen:

$ touch scraper.js 

Fügen Sie nun die folgende Zeile in Ihre Datei ein:

console.log("Hallo Welt!")

Führen Sie dann den folgenden Befehl aus:

$ node scraper.js

Wenn Sie die Meldung "Hello World!" auf dem Terminal sehen, bedeutet dies, dass Node.js erfolgreich installiert wurde und Sie nun mit dem eigentlichen Scraping-Abschnitt fortfahren können.

Beginnen wir mit dem Scannen von Google Shopping Nearby Verkäufern

Nachdem Sie die Umgebung eingerichtet haben, können Sie nun damit beginnen, Google Shopping Nearby Sellers mithilfe unserer API zu scrapen. Dies ist ein unkomplizierter Prozess und abgesehen von dem, was oben besprochen wurde, müssen Sie nur die Produkt-ID des Produkts abrufen, an dem Sie interessiert sind.

Tipp: So können Sie die Produkt-ID eines Produkts von Google Shopping abrufen:

Nachdem Sie Node.js eingerichtet, einen API-Schlüssel und eine Produkt-ID erhalten haben, können Sie nun mit dem Scraping beginnen. Um fortzufahren, erstellen Sie entweder eine neue JavaScript-Datei oder verwenden Sie die zuvor erstellte und importieren Sie das in Node.js eingebaute `https`-Modul, mit dem Sie Anfragen an die API senden können, indem Sie den folgenden Code verwenden:

const https = require("https");

Zweitens müssen Sie Ihren API-Schlüssel und die product_id-Eigenschaft des Produkts, das Sie interessiert, angeben:

const API_KEY = "YOUR-API-KEY-HERE" // Sie können einen erhalten, indem Sie sich hier registrieren

const PRODUCT_ID = "4887235756540435899"

Als Nächstes müssen Sie diese Informationen in einem Options-Objekt übergeben, damit unsere API weiß, um welches Produkt es sich handelt, das Sie abrufen möchten:

const options = {

 "method": "GET",

 "hostname": "serpapi.webscrapingapi.com",

 "port": null,

 "path": `/v1?engine=google_product&api_key=${API_KEY}&product_id=${PRODUCT_ID}`,

 "headers": {}

};

Und schließlich müssen Sie einen Aufruf an unsere API mit all diesen Informationen einrichten:

const req = http.request(options, function (res) {

  const chunks = [];

  res.on("data", function (chunk) {

    chunks.push(chunk);

  });

  res.on("end", function () {

    const body = Buffer.concat(chunks);

    const results = JSON.parse(body.toString());

    const nearbySellers = results.sellers_results.online_sellers;

    console.log(nearbySellers)

  });

});

req.end();

Jetzt müssen Sie nur noch das von Ihnen erstellte Skript ausführen und auf die Ergebnisse warten:

$ node scraper.js

Sie sollten nun Ihre Ergebnisse erhalten:

[

  {

    position: 1,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIZg&usg=AOvVaw3ZevYyiKByTyo_THSF1qUJ',

    additional_details: '460.5 mi · In stock at EulessToday: 10:00 AM - 9:00 PM',

    base_price: '$399.99',

    additional_price: { shipping: 'See website' },

    total_price: '$399.99',

    trusted: true

  },

  {

    position: 2,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIcw&usg=AOvVaw1QiXFtHB6-CApj-HDvbNxl',

    additional_details: '462.6 mi · In stock at ArlingtonToday: 11:00 AM - 8:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 3,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIdg&usg=AOvVaw0CxoqlJzdEZ93B-6U-Jmuf',

    additional_details: '557.6 mi · In stock at HoustonToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 4,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIeQ&usg=AOvVaw2BAlgtL85g1mvOonMQK14U',

    additional_details: '568.6 mi · In stock at PasadenaToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 5,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIfA&usg=AOvVaw3mi7jMt3aMSJde0sQb9yjR',

    additional_details: '591.2 mi · In stock at San AntonioToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

... 

]

Sie haben nun erfolgreich Google Product Nearby Sellers mit unserer API abgefragt. Sie können die erhaltenen Daten für verschiedene Zwecke wie Preisvergleiche, Marktforschung, SEO-Optimierung und mehr verwenden. Weitere Informationen und Codebeispiele in anderen sechs Programmiersprachen finden Sie in unserer Google Product API-Dokumentation.

Beschränkungen von Google Shopping für Verkäufer in der Nähe

Das Scraping von Google Shopping-Verkäufern in der Nähe, um Daten zu sammeln, kann eine nützliche Methode sein, um Informationen über lokale Einzelhändler zu sammeln, die ein bestimmtes Produkt führen. Sie hat jedoch auch einige Einschränkungen. Eine Einschränkung besteht darin, dass die Funktion möglicherweise nicht immer genaue oder aktuelle Ergebnisse liefert. So kann es beispielsweise sein, dass ein aufgelistetes Geschäft ein Produkt bereits ausverkauft ist oder es nicht mehr führt. Außerdem enthält die Funktion möglicherweise nicht alle lokalen Einzelhändler, die das Produkt führen, was zu einer begrenzten Auswahl an Optionen für den Nutzer führt. Schließlich ist der Bereich "Google Shopping - Verkäufer in der Nähe" nur für bestimmte Produkte und Kategorien verfügbar, so dass Nutzer möglicherweise nicht für alle Produkte, an denen sie interessiert sind, lokale Verkäufer finden können.

Schlussfolgerung

Ich hoffe, Sie haben diesen Artikel als hilfreiche Ressource für den Einstieg in das Scraping von Google Shopping Nearby Sellers mit unserer API unter Verwendung von Node.js gefunden. Mit der Einrichtung von Node.js, einem API-Schlüssel für unseren Service und einer Produkt-ID können Sie im Handumdrehen Informationen über Preise und Verfügbarkeit sammeln. Dies kann besonders nützlich für Unternehmen sein, die bei der Preisgestaltung wettbewerbsfähig bleiben wollen, sowie für Verbraucher, die nach den besten Angeboten suchen.