Wie man eBay-Seiten nach Preisinformationen durchsucht

eBay ist der zweitgrößte Online-Händler in den USA und deckt 19,7 % des Marktes ab. Mit 182 Millionen aktiven Nutzern ist eBay eine der besten Websites, die wir für Preisinformationen nutzen können.

In diesem Beispiel werden wir nur den Preis des Produkts auslesen, aber eBay ist ein Datenschatz. Sie können jederzeit den Abschnitt mit den Bewertungen auslesen, negative Schlüsselwörter extrahieren, eine Stimmungsanalyse durchführen und feststellen, warum Kunden mit dem gekauften Produkt unzufrieden sind.

Sie können auch den Abschnitt " Personen, die diesen Artikel angesehen haben, haben auch diesen Artikel angesehen " durchsuchen, um herauszufinden, was Kunden wünschen. Sie können diese Informationen nutzen, um Ihrem Shop neue Produkte hinzuzufügen oder rabattierte Pakete mit mehr Produkten zu erstellen. Die Kunden werden sie lieben!

Eine der größten Hürden beim Web-Scraping besteht darin, eine Sperrung der Website zu vermeiden, an der Sie interessiert sind. Glücklicherweise müssen Sie sich darüber keine Sorgen machen, wenn Sie das richtige Tool haben. In diesem Fall ist die WebScrapingAPI aus drei einfachen Gründen die beste Lösung:

• Wir bieten 1.000 Anfragen pro Monat mit dem kostenlosen Paket, keine Karte erforderlich.
• Die API verfügt über einen Proxy-Pool mit mehr als 100 Mio. rotierenden IPs, der garantiert, dass sich keine Anfragen überschneiden.
• Mit einer einzigen Zeile Code können Sie die API integrieren.

Sie fragen sich vielleicht, warum wir eine Scraping-API verwenden, anstatt eine eigene zu entwickeln. Der Grund ist ganz einfach: Die Erstellung eines Scraping-Tools von Grund auf kann einige Wochen dauern.

Das größte Problem ist nicht die Entwicklung des Tools selbst, sondern seine Feinabstimmung, damit es von den Websites nicht als Bot eingestuft wird.

Rufen Sie die WebScrapingAPI-Website auf und erstellen Sie ein Konto. Sie erhalten einen API-Schlüssel und 1.000 Anfragen kostenlos.

Unser Lieblingsprojekt ist leichtgewichtig und benötigt nur zwei Abhängigkeiten: axios und cheerio. Axios ist ein auf Versprechen basierender HTTP-Client für Node.JS. Wir verwenden diese Bibliothek, um die WebScrapingAPI aufzurufen. Die zweite Bibliothek, cheerio, ist eine schlanke Implementierung von jQuery für den Server, die wir zum Parsen der Produktseite verwenden. Verwenden Sie diesen Befehl, um die Abhängigkeiten zu installieren:

npm install axios cheerio

Erstellen Sie eine index.js-Datei und fügen Sie den folgenden Code darin ein:

const cheerio = require('cheerio');
const axios = require('axios');

const api_key = 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX';
const product_url = 'https://www.ebay.com/itm/174620280276?epid=4444&hash=item28a82e05d4:g:UpMAAOSwfY5gYDr6';
const api_url = `https://api.webscrapingapi.com/v1?api_key=${api_key}&url=${encodeURIComponent(product_url)}`;
const hour_in_ms = 1000 * 60 * 60;

let product_price = null;

const check_price = async () => {

	// Scrape the document

	// Parse the document

	// Process the results

	// Check for any price change in one hour
	setTimeout(check_price, hour_in_ms)

}

(async () => check_price())()

Wie Sie sehen können, verwenden wir eine rekursive Funktion mit einer Zeitüberschreitung, um die Produktseite jede Stunde zu durchsuchen und auf Preisänderungen zu prüfen.

Ersetzen // Scrapen Sie das Dokument mit diesem Code:

let response;

try {
	response = await axios.get(api_url);
} catch (error) {
	console.log(error);
	process.exit();
}

const $ = cheerio.load(response.data);

Dieser Code verwendet die WebScrapingAPI, um die eBay-Produktseite zu scrapen und konvertiert die Ergebnisse in eine Cheerio-Instanz.

Wir haben die gesamte Produktseite gecrawlt, aber wir brauchen nur den Produktpreis. Wir können die Cheerio-Instanz verwenden, um den Preiswert zu erhalten. Der Selektor für den Produktpreis ist #mainContent [itemprop="price"].

Ersetzen Sie // Parsen Sie das Dokument mit dem folgenden Code:

let price = $('#mainContent [itemprop="price"]').html()

Der Preis wird in diesem Format angegeben: WÄHRUNGSSYMBOL BETRAG. Wir müssen nur den Betrag extrahieren. Ersetzen // Verarbeiten Sie die Ergebnisse mit diesem Code:

price = parseInt(price
	.split(' ')[1]
	.replace('$', '')
	.replace(' ', '')
	.split(',').join('')
	.split('.')[0])

if(!product_price) {
	console.log(`Initial product price:`, price)
} else {
	if(product_price !== price) {
    		console.log('New price for product:', price)
	}
}

product_price = price

Dieser Code bereinigt den Preis, indem er die folgenden Aktionen durchführt:

• Entfernen Sie die Währung (US)
• Entfernen Sie das Währungssymbol ($)
• Entfernen Sie alle Leerzeichen ( )
• Kommas aus der Zahl entfernen
• Entfernen Sie die Dezimalstellen

Sobald der Preis analysiert wurde, werden die ursprünglichen Kosten oder der neue Preis protokolliert, wenn er sich zwischen den Scraping-Sitzungen geändert hat.

Mit ein paar Zeilen Code und einem fantastischen Tool wie WebScrapingAPI ist es uns gelungen, ein Skript zu erstellen, das den Preis eines beliebigen Produkts bei eBay abruft. Von hier aus sind dem Himmel keine Grenzen gesetzt. Sie können das Skript auf die nächste Stufe heben und die folgenden Verbesserungen implementieren:

• Scrapen Sie den Produkttitel für eine einfachere Preisklassifizierung
• Scrapen Sie mehrere Produkte und vergleichen Sie den Preis
• Scrapen Sie eine andere eBay-Website (z. B. ebay.de oder ebay.ca) und vergleichen Sie den Preis für dasselbe Produkt
• Drehen Sie die Tabelle um, scrapen Sie die Amazon-Produktseite und machen Sie einen Preisvergleich zwischen den beiden Websites für dasselbe Produkt
• Implementieren Sie E-Mail-Benachrichtigungen; dazu sollten Sie nodemailer verwenden
• Implementierung von Slack-Benachrichtigungen; Sie können diese Bibliothek verwenden, um die Aufgabe zu erledigen

Das Beste an dieser angewandten Lösung für einen realen Anwendungsfall ist, dass Sie all dies tun können, ohne Geld oder wertvolle Zeit zu investieren. Das liegt daran, dass WebScrapingAPI eine zweiwöchige kostenlose Testphase anbietet, in der Sie alle Funktionalitäten kostenlos nutzen können!