Wie man eBay-Seiten nach Preisinformationen durchsucht

Gabriel Cioci am 10. August 2021

Lassen Sie mich ein Bild für Sie malen. Sie haben gerade Ihren Onlineshop für seltene Retro-Videospielkassetten eröffnet und wissen nicht so recht, wie Sie die Produktpreise gestalten sollen.

Die Festlegung des Preises für ein Produkt ist immer eine Herausforderung: Ist der Preis zu niedrig, verringert sich die Gewinnspanne. Wenn der Preis zu hoch ist, sind die Kunden nicht an dem Produkt interessiert und kaufen es bei einem Konkurrenten.

Beschlüsse, Beschlüsse. Was können wir tun? Für dieses Problem gibt es zwei Lösungen:

Jeden Tag Stunden damit verbringen, die Preise von Wettbewerbern zu recherchieren
Machen Sie sich schlau und erstellen Sie ein automatisches Skript, das diese alltägliche Aufgabe automatisch für Sie erledigt

Können Sie erraten, für welche Option wir uns in diesem Artikel entscheiden werden? Da Zeit Geld ist und ich mein Leben gerne einfacher mache, wann immer ich kann, entscheiden wir uns für die zweite Option.

Wenn Ihnen die erste Option mehr Spaß macht, können Sie diesen Artikel trotzdem lesen. Es ist klar, dass Sie zu viel freie Zeit haben.

Wie das Scannen von eBay Ihrem Online-Shop hilft

eBay ist der zweitgrößte Online-Händler in den USA und deckt 19,7 % des Marktes ab. Mit 182 Millionen aktiven Nutzern ist eBay eine der besten Websites, die wir für Preisinformationen nutzen können.

In diesem Beispiel werden wir nur den Preis des Produkts auslesen, aber eBay ist ein Datenschatz. Sie können jederzeit den Abschnitt mit den Bewertungen auslesen, negative Schlüsselwörter extrahieren, eine Stimmungsanalyse durchführen und feststellen, warum Kunden mit dem gekauften Produkt unzufrieden sind.

Sie können auch den Abschnitt " Personen, die diesen Artikel angesehen haben, haben auch diesen Artikel angesehen " durchsuchen, um herauszufinden, was Kunden wünschen. Sie können diese Informationen nutzen, um Ihrem Shop neue Produkte hinzuzufügen oder rabattierte Pakete mit mehr Produkten zu erstellen. Die Kunden werden sie lieben!

Wie man eBay mit WebScrapingAPI scrapen kann

Eine der größten Hürden beim Web-Scraping besteht darin, eine Sperrung der Website zu vermeiden, an der Sie interessiert sind. Glücklicherweise müssen Sie sich darüber keine Sorgen machen, wenn Sie das richtige Tool haben. In diesem Fall ist die WebScrapingAPI aus drei einfachen Gründen die beste Lösung:

Wir bieten 1.000 Anfragen pro Monat mit dem kostenlosen Paket, keine Karte erforderlich.
Die API verfügt über einen Proxy-Pool mit mehr als 100 Mio. rotierenden IPs, der garantiert, dass sich keine Anfragen überschneiden.
Mit einer einzigen Zeile Code können Sie die API integrieren.

Sie fragen sich vielleicht, warum wir eine Scraping-API verwenden, anstatt eine eigene zu entwickeln. Der Grund ist ganz einfach: Die Erstellung eines Scraping-Tools von Grund auf kann einige Wochen dauern.

Das größte Problem ist nicht die Entwicklung des Tools selbst, sondern seine Feinabstimmung, damit es von den Websites nicht als Bot eingestuft wird.

API-Zugangsschlüssel und Authentifizierung

Rufen Sie die WebScrapingAPI-Website auf und erstellen Sie ein Konto. Sie erhalten einen API-Schlüssel und 1.000 Anfragen kostenlos.

Installieren Sie die Abhängigkeiten

Unser Lieblingsprojekt ist leichtgewichtig und benötigt nur zwei Abhängigkeiten: axios und cheerio. Axios ist ein auf Versprechen basierender HTTP-Client für Node.JS. Wir verwenden diese Bibliothek, um die WebScrapingAPI aufzurufen. Die zweite Bibliothek, cheerio, ist eine schlanke Implementierung von jQuery für den Server, die wir zum Parsen der Produktseite verwenden. Verwenden Sie diesen Befehl, um die Abhängigkeiten zu installieren:

npm install axios cheerio

Bootstrap für das Projekt

Erstellen Sie eine index.js-Datei und fügen Sie den folgenden Code darin ein:

const cheerio = require('cheerio');
const axios = require('axios');

const api_key = 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX';
const product_url = 'https://www.ebay.com/itm/174620280276?epid=4444&hash=item28a82e05d4:g:UpMAAOSwfY5gYDr6';
const api_url = `https://api.webscrapingapi.com/v1?api_key=${api_key}&url=${encodeURIComponent(product_url)}`;
const hour_in_ms = 1000 * 60 * 60;

let product_price = null;

const check_price = async () => {

	// Scrape the document

	// Parse the document

	// Process the results

	// Check for any price change in one hour
	setTimeout(check_price, hour_in_ms)

}

(async () => check_price())()

Wie Sie sehen können, verwenden wir eine rekursive Funktion mit einer Zeitüberschreitung, um die Produktseite jede Stunde zu durchsuchen und auf Preisänderungen zu prüfen.

Scrapen Sie die Seite(n)

Ersetzen // Scrapen Sie das Dokument mit diesem Code:

let response;

try {
	response = await axios.get(api_url);
} catch (error) {
	console.log(error);
	process.exit();
}

const $ = cheerio.load(response.data);

Dieser Code verwendet die WebScrapingAPI, um die eBay-Produktseite zu scrapen und konvertiert die Ergebnisse in eine Cheerio-Instanz.

Prüfen Sie den Quellcode

Wir haben die gesamte Produktseite gecrawlt, aber wir brauchen nur den Produktpreis. Wir können die Cheerio-Instanz verwenden, um den Preiswert zu erhalten. Der Selektor für den Produktpreis ist #mainContent [itemprop="price"].

Parsen Sie das HTML

Ersetzen Sie // Parsen Sie das Dokument mit dem folgenden Code:

let price = $('#mainContent [itemprop="price"]').html()

Verarbeiten Sie die Ergebnisse

Der Preis wird in diesem Format angegeben: WÄHRUNGSSYMBOL BETRAG. Wir müssen nur den Betrag extrahieren. Ersetzen // Verarbeiten Sie die Ergebnisse mit diesem Code:

price = parseInt(price
	.split(' ')[1]
	.replace('$', '')
	.replace('&nbsp;', '')
	.split(',').join('')
	.split('.')[0])

if(!product_price) {
	console.log(`Initial product price:`, price)
} else {
	if(product_price !== price) {
    		console.log('New price for product:', price)
	}
}

product_price = price

Dieser Code bereinigt den Preis, indem er die folgenden Aktionen durchführt:

Entfernen Sie die Währung (US)
Entfernen Sie das Währungssymbol ($)
Entfernen Sie alle Leerzeichen ( )
Kommas aus der Zahl entfernen
Entfernen Sie die Dezimalstellen

Sobald der Preis analysiert wurde, werden die ursprünglichen Kosten oder der neue Preis protokolliert, wenn er sich zwischen den Scraping-Sitzungen geändert hat.

Schlussfolgerung

Mit ein paar Zeilen Code und einem fantastischen Tool wie WebScrapingAPI ist es uns gelungen, ein Skript zu erstellen, das den Preis eines beliebigen Produkts bei eBay abruft. Von hier aus sind dem Himmel keine Grenzen gesetzt. Sie können das Skript auf die nächste Stufe heben und die folgenden Verbesserungen implementieren:

Scrapen Sie den Produkttitel für eine einfachere Preisklassifizierung
Scrapen Sie mehrere Produkte und vergleichen Sie den Preis
Scrapen Sie eine andere eBay-Website (z. B. ebay.de oder ebay.ca) und vergleichen Sie den Preis für dasselbe Produkt
Drehen Sie die Tabelle um, scrapen Sie die Amazon-Produktseite und machen Sie einen Preisvergleich zwischen den beiden Websites für dasselbe Produkt
Implementieren Sie E-Mail-Benachrichtigungen; dazu sollten Sie nodemailer verwenden
Implementierung von Slack-Benachrichtigungen; Sie können diese Bibliothek verwenden, um die Aufgabe zu erledigen

Das Beste an dieser angewandten Lösung für einen realen Anwendungsfall ist, dass Sie all dies tun können, ohne Geld oder wertvolle Zeit zu investieren. Das liegt daran, dass WebScrapingAPI eine zweiwöchige kostenlose Testphase anbietet, in der Sie alle Funktionalitäten kostenlos nutzen können!