So extrahieren Sie mit Node.js Daten von „Google Shopping“-Anbietern in der Nähe

Die Entwicklung eines eigenen Web-Scrapers kann eine zeitaufwändige und komplexe Aufgabe sein. Sie benötigen nicht nur fundierte Programmierkenntnisse, sondern auch ein tiefgreifendes Verständnis von Web-Scraping-Techniken und -Technologien. Für jemanden ohne Hintergrundwissen im Bereich Web-Scraping kann dies eine gewaltige Aufgabe sein, und der Zeit- und Ressourcenaufwand für die Entwicklung eines funktionierenden Scrapers lohnt sich unter Umständen nicht.

Andererseits bietet die Nutzung eines professionellen Scrapers wie dem unseren mehrere Vorteile. Zum einen werden professionelle Scraper von Experten auf diesem Gebiet entwickelt und gewartet, wodurch sichergestellt ist, dass sie auf dem neuesten Stand der Technik sind. Das bedeutet, dass sie eher in der Lage sind, die Komplexitäten des modernen Webs zu bewältigen, wie beispielsweise CAPTCHAs und dynamische Webseiten. Darüber hinaus verfügen professionelle Scraper oft über integrierte Funktionen wie automatische IP-Rotation, die dazu beitragen können, zu verhindern, dass Ihre IP-Adresse von der Website, die Sie scrapen, blockiert wird.

Ein weiterer Vorteil der Nutzung eines professionellen Scrapers besteht darin, dass Sie dadurch erheblich Zeit und Ressourcen sparen können. Anstatt Wochen oder sogar Monate damit zu verbringen, einen eigenen Scraper zu entwickeln, können Sie unseren Scraper abonnieren, indem Sie hier ein Konto erstellen und sofort mit dem Scraping beginnen. Dies ist besonders vorteilhaft für Unternehmen, die Daten schnell extrahieren müssen, um fundierte Entscheidungen zu treffen, oder für Einzelpersonen, die Daten für persönliche Projekte scrapen möchten, aber nicht über die Zeit oder die Ressourcen verfügen, um einen eigenen Scraper zu entwickeln.

„Google Shopping Product Nearby Sellers“ ist eine Funktion, mit der Nutzer Einzelhandelsgeschäfte in der Nähe finden können, die ein bestimmtes Produkt führen. Diese Funktion ist auf der Google Shopping-Website und in der mobilen App verfügbar und ermöglicht es Nutzern, nach Produkten zu suchen und eine Liste der Verkäufer in der Nähe anzuzeigen, die dieses Produkt führen. Diese Informationen umfassen den Namen des Geschäfts, die Entfernung und die Adresse des Geschäfts sowie Angaben dazu, ob das Geschäft derzeit geöffnet oder geschlossen ist.

Das Web-Scraping von „Google Shopping Product Nearby Sellers“ kann für Unternehmen und Privatpersonen von Vorteil sein, die Einblicke in lokale Einzelhandelsmärkte gewinnen möchten. Durch das Scraping dieser Daten können Unternehmen ein besseres Verständnis für den Wettbewerb in ihrer Region gewinnen und ihre Preise und Lagerbestände entsprechend anpassen. Darüber hinaus können Unternehmen diese Daten nutzen, um neue Absatzmöglichkeiten zu identifizieren, beispielsweise indem sie Geschäfte ansprechen, die ihre Produkte derzeit nicht führen. Für Privatpersonen kann das Web-Scraping von „Google Shopping Product Nearby Sellers“ ein nützliches Werkzeug sein, um die besten Angebote für Produkte zu finden und das Geschäft zu identifizieren, das ihnen am nächsten liegt.

Um mit unserer API nahegelegene Verkäufer aus Google Shopping zu scrapen, benötigen Sie die entsprechenden Tools. Zuallererst muss Node.js installiert sein. Dabei handelt es sich um eine JavaScript-Laufzeitumgebung, die es Ihnen ermöglicht, JavaScript auf der Serverseite auszuführen, und die von der offiziellen Node.js-Website heruntergeladen werden kann.

Außerdem benötigen Sie einen API-Schlüssel, um unseren Dienst zu nutzen. Diesen erhalten Sie, indem Sie hier ein Konto erstellen und den SERP-Dienst aktivieren.

Sobald Sie Node.js und einen API-Schlüssel haben, erstellen Sie im nächsten Schritt eine Node.js-Skriptdatei, indem Sie den folgenden Befehl ausführen:

$ touch scraper.js

Fügen Sie nun die folgende Zeile in Ihre Datei ein:

console.log("Hello World!")

Führen Sie anschließend den folgenden Befehl aus:

$ node scraper.js

Wenn die Meldung „Hello World!“ im Terminal angezeigt wird, bedeutet dies, dass Node.js erfolgreich installiert wurde und Sie nun bereit sind, mit dem eigentlichen Scraping fortzufahren.

Nachdem die Umgebung eingerichtet ist, können Sie nun mit dem Scraping von Google Shopping Nearby Sellers mithilfe unserer API beginnen. Dies ist ein unkomplizierter Vorgang, und abgesehen von dem, was oben besprochen wurde, müssen Sie lediglich die Produkt-ID des Produkts abrufen, an dem Sie interessiert sind.

Tipp: So erhalten Sie die Produkt-ID eines Produkts aus Google Shopping:

Nachdem Sie Node.js eingerichtet, einen API-Schlüssel erhalten und eine Produkt-ID ermittelt haben, sind Sie nun bereit, mit dem Scraping zu beginnen. Erstellen Sie dazu entweder eine neue JavaScript-Datei oder verwenden Sie die zuvor erstellte und importieren Sie das in Node.js integrierte `https`-Modul, mit dem Sie Anfragen an die API senden können, indem Sie den folgenden Code verwenden:

​​const https = require("https");

Zweitens müssen Sie Ihren API-Schlüssel und die Eigenschaft `product_id` des Produkts angeben, an dem Sie interessiert sind:

const API_KEY = "YOUR-API-KEY-HERE" // You can obtain one by registering here

const PRODUCT_ID = "4887235756540435899"

Als Nächstes müssen Sie diese Informationen in einem Options-Objekt übergeben, damit unsere API weiß, welches Produkt Sie scrapen möchten:

const options = {

 "method": "GET",

 "hostname": "serpapi.webscrapingapi.com",

 "port": null,

 "path": `/v1?engine=google_product&api_key=${API_KEY}&product_id=${PRODUCT_ID}`,

 "headers": {}

};

Und schließlich müssen Sie mit all diesen Informationen einen Aufruf an unsere API einrichten:

const req = http.request(options, function (res) {

  const chunks = [];

  res.on("data", function (chunk) {

    chunks.push(chunk);

  });

  res.on("end", function () {

    const body = Buffer.concat(chunks);

    const results = JSON.parse(body.toString());

    const nearbySellers = results.sellers_results.online_sellers;

    console.log(nearbySellers)

  });

});

req.end();

Jetzt müssen Sie nur noch das von Ihnen erstellte Skript ausführen und auf die Ergebnisse warten:

​​$ node scraper.js

Nun sollten Sie Ihre Ergebnisse erhalten:

[

  {

    position: 1,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIZg&usg=AOvVaw3ZevYyiKByTyo_THSF1qUJ',

    additional_details: '460.5 mi · In stock at EulessToday: 10:00 AM - 9:00 PM',

    base_price: '$399.99',

    additional_price: { shipping: 'See website' },

    total_price: '$399.99',

    trusted: true

  },

  {

    position: 2,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIcw&usg=AOvVaw1QiXFtHB6-CApj-HDvbNxl',

    additional_details: '462.6 mi · In stock at ArlingtonToday: 11:00 AM - 8:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 3,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIdg&usg=AOvVaw0CxoqlJzdEZ93B-6U-Jmuf',

    additional_details: '557.6 mi · In stock at HoustonToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 4,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIeQ&usg=AOvVaw2BAlgtL85g1mvOonMQK14U',

    additional_details: '568.6 mi · In stock at PasadenaToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 5,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIfA&usg=AOvVaw3mi7jMt3aMSJde0sQb9yjR',

    additional_details: '591.2 mi · In stock at San AntonioToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

... 

]

Sie haben nun mithilfe unserer API erfolgreich Google Product Nearby Sellers gecrawlt. Sie können die gewonnenen Daten für verschiedene Zwecke nutzen, wie z. B. Preisvergleiche, Marktforschung, SEO-Optimierung und vieles mehr. Weitere Informationen und Code-Beispiele in sechs weiteren Programmiersprachen finden Sie in unserer Google Product API-Dokumentation.

Das Scraping von „Google Shopping Nearby Sellers“ zur Datenerfassung kann eine nützliche Methode sein, um Informationen über lokale Händler zu sammeln, die ein bestimmtes Produkt führen. Es gibt jedoch auch einige Einschränkungen. Eine Einschränkung besteht darin, dass die Funktion möglicherweise nicht immer genaue oder aktuelle Ergebnisse liefert. Beispielsweise kann ein Geschäft, das als Anbieter eines Produkts aufgeführt ist, dieses bereits ausverkauft haben oder nicht mehr führen. Zudem umfasst die Funktion möglicherweise nicht alle lokalen Einzelhändler, die das Produkt führen, was zu einer begrenzten Auswahl an Optionen für den Nutzer führt. Schließlich ist der Bereich „Google Shopping Nearby Sellers“ nur für ausgewählte Produkte und Kategorien verfügbar, sodass Nutzer möglicherweise nicht für alle Produkte, an denen sie interessiert sind, lokale Anbieter finden können.

Ich hoffe, Sie fanden diesen Artikel hilfreich, um mit dem Scraping von „Google Shopping Nearby Sellers“ mithilfe unserer API und Node.js zu beginnen. Mit einer Node.js-Installation, einem API-Schlüssel für unseren Dienst und einer Produkt-ID können Sie im Handumdrehen Informationen zu Preisen und Verfügbarkeit sammeln. Dies kann besonders nützlich sein für Unternehmen, die preislich wettbewerbsfähig bleiben möchten, sowie für Verbraucher, die nach den besten Angeboten suchen.