So verwenden Sie WebScrapingAPI zum Sammeln von Yelp-Daten

Robert Sfichi am 12. August 2021

Haben Sie sich jemals gefragt, wie Unternehmen die Konkurrenz im Auge behalten? Natürlich mögen Doppelagenten, Privatdetektive und Ferngläser lustig klingen, aber das wirkliche Leben ist nicht wie im Film. Die tatsächliche Konkurrenzanalyse ist ein langwieriger Prozess, den man besser der Software überlässt. Auf diese Weise können Sie sich darauf konzentrieren, Ihren Kunden den größtmöglichen Nutzen zu bieten.

Heutzutage haben Ihre Konkurrenten bereits alle Informationen, die Sie benötigen, offen vor sich liegen. Da die sozialen Medien in den letzten Jahrzehnten stark an Bedeutung gewonnen haben, versuchen die Unternehmen, durch eine Online-Präsenz mehr Präsenz im Leben ihrer Kunden zu zeigen. Die Informationen sind bereits vorhanden. Wir müssen nur einen Weg finden, den Prozess der Datenerfassung zu automatisieren.

Im folgenden Artikel werden wir ein Skript erstellen, das uns hilft, alle Informationen über unsere Konkurrenten zu sammeln, indem wir ihre öffentlichen Yelp-Profile nutzen.

Warum Sie Daten von Mitbewerbern scrapen sollten

Die Untersuchung der Produktpreise von Konkurrenten, der Überblick über ihre Produktpalette und Kategorien oder die Analyse ihrer Social-Media-Strategie sind nur drei der wertvollsten Taktiken, die Sie zur Verbesserung Ihres Unternehmens einsetzen können.

Das Finden und Vergleichen von Produktpreisen ist keine besonders schwierige Aufgabe, aber sie ist zeitaufwändig. Mit einem Web-Scraping-Tool können Sie automatisch aktualisierte Informationen über die Preisstrategie und Blitzverkäufe Ihrer Konkurrenten erhalten.

Wenn Sie die Produktlinien und Kategorien Ihrer Konkurrenten durchforsten, können Sie die Trends, die den Markt bestimmen, besser verstehen. Wenn Sie z. B. ein Restaurant besitzen, können Sie herausfinden, dass ein bestimmtes Gericht wie der vegane Burger in Ihrer Stadt im Trend liegt, so dass Sie Ihr Menü anpassen können, um den Umsatz zu steigern.

Soziale Medien sind nicht nur nützlich, um die Bindung zwischen Unternehmen und Kunden zu stärken. Wenn Sie die Social-Media-Strategie Ihrer Konkurrenten analysieren, können Sie in wenigen Minuten herausfinden, was funktioniert und was nicht. Sie können ganz einfach Antworten auf Fragen wie "Wie oft posten sie pro Woche?" oder "Welche visuellen Elemente sorgen für ein hohes Engagement?" finden, indem Sie die Daten auswerten.

Warum Yelp der perfekte Ort ist, um Daten von Mitbewerbern auszuspionieren

Yelp ist eine der beliebtesten Online-Plattformen, auf der Nutzer ihre Erfahrungen teilen und anderen helfen können, fundierte Entscheidungen über lokale Unternehmen zu treffen. Wenn Sie ein Unternehmen besitzen oder eines gründen möchten, können Sie Ihre Erfolgsquote erheblich verbessern, wenn Sie wertvolle Informationen über die Konkurrenz erfahren. Informationen über den genauen Standort, die Arbeitszeiten, den Lieferservice oder die Art des Geschäfts sind nur einige der Informationen, die Sie auf Yelp finden können.

Noch besser ist, dass Sie die Zeit, die Sie mit der Analyse der Konkurrenz verbringen, durch den Einsatz eines Web-Scraping-Tools verringern können und sich mehr auf den Aufbau eines besseren Unternehmens konzentrieren können. Diese Strategie wird sich langfristig auszahlen, da die Automatisierung der Datenerfassung zu einer der mühsamsten und zeitraubendsten Aufgaben werden kann.

Wie man mit WebScrapingAPI Daten von Yelp extrahiert

Im folgenden Abschnitt werden wir Node.js und einige Bibliotheken wie got und jsdom verwenden, um ein Skript zu erstellen, das alle Daten von einer Yelp-Seite abruft und sie so aufbereitet, dass sie so verständlich wie möglich sind. Schauen wir uns an, wie all die oben dargestellten Informationen in greifbare Ergebnisse umgewandelt werden können:

1. Finden Sie die benötigten Daten

Nehmen wir an, wir möchten ein Restaurant in New York City eröffnen. Wir würden eine Liste von Mitbewerbern erstellen wollen, die hilfreiche Informationen enthält wie:

Anzahl der Bewertungen
Restaurant Typ
Preisgestaltung
Standort

Die URL, die wir abrufen werden, lautet: https://www.yelp.ie/search?find_desc=restaurant&find_loc=New+York%2C+NY%2C+United+States&ns=1.

Sie können parallel zum Artikel scrapen, wenn Sie Ihre kostenlose Testversion mit 5000 Anfragen und Zugang zu allen Funktionen beginnen, um unser Produkt zu testen. Sie können jedes Scraping-Tool verwenden, mit dem Sie sich am wohlsten fühlen. Sie sollten nur wissen, dass sich das Tutorial von nun an darauf konzentriert, wie Sie die Ergebnisse mit WebScrapingAPI erhalten.

Nachdem Sie erfolgreich ein kostenloses Konto erstellt haben, rufen Sie die API Playground-Seite auf, indem Sie auf der Dashboard-Seite auf die Schaltfläche "Use API Playground" klicken. Die Seite sollte wie folgt aussehen:

Wie der Name schon sagt, ist dies der Ort, an dem wir das Scraping-Tool testen können, bevor wir unser Skript erstellen. Kopieren Sie die oben dargestellte URL in die URL-Eingabe (linke Spalte), scrollen Sie ein wenig nach unten und klicken Sie auf die Schaltfläche "API-Anfrage senden". Diese Aktion sollte ein Ergebnis liefern, das wie folgt aussieht:

Lassen Sie uns nun das Skript erstellen, das den größten Teil der Arbeit für uns erledigen wird.

2. Einrichtung des Projekts

Erstellen Sie den Projektordner, öffnen Sie ein Terminalfenster und navigieren Sie dorthin. Wie bereits erwähnt, werden wir die Bibliothek "got" für die Anfragen und "jsdom" für das Parsing verwenden. Nachdem Sie auf den Projektordner zugegriffen haben, führen Sie die folgenden Befehle im Terminal aus:

npm init -y
npm install got jsdom

Das Projekt sollte nun die "package.json"-Dateien enthalten. Erstellen Sie eine neue Datei namens "index.js" und öffnen Sie sie mit Ihrer bevorzugten IDE. Wenn Sie noch keine IDE installiert haben, empfehlen wir Ihnen, Visual Studio Code herunterzuladen, da es derzeit als die beliebteste IDE gilt.

3. Einen Antrag stellen

Setzen wir die Parameter, stellen wir die Anfrage und analysieren wir das HTML. Schreiben Sie die folgenden Zeilen in die neu erstellte Datei "index.js":

const {JSDOM} = require("jsdom")

const got = require("got")

(async () => {
const params = {
    api_key: "YOUR_API_KEY,”
    url:"https://www.yelp.ie/search?find_desc=restaurant&find_loc=New+York%2C+NY%2C+United+States&ns=1"
}

const response = await got('https://api.webscrapingapi.com/v1', {searchParams: params})


const {document} = new JSDOM(response.body).window

const competitors = document.querySelectorAll('.container__09f24__sxa9-')

console.log(competitors)

})()

Ersetzen Sie die Zeichenfolge "YOUR_API_KEY" durch den API-Schlüssel, den Sie von unserem Dienst erhalten haben. Sie finden ihn auf der Dashboard-Seite.

Wenn wir das Skript ausführen, stellen wir eine Anfrage an den WebScrapingAPI-Dienst, um den HTML-Code der Yelp-Seite zu erhalten. Anschließend sammeln wir alle Elemente auf der Seite, die Informationen über unsere Konkurrenten enthalten, und geben sie mit der Funktion "console.log" auf dem Bildschirm aus.

4. Prüfen der Seite

Kehren wir zur Yelp-Seite zurück und finden wir heraus, wie wir nur die Informationen auswählen können, die wir brauchen. Klicken Sie mit der rechten Maustaste auf den Namen des ersten Restaurants und klicken Sie auf "Inspizieren".

Es öffnet sich ein neues Fenster, das den HTML-Quellcode enthält:

Wir finden alle benötigten Informationen, indem wir nach den HTML-Elementen suchen, die sie enthalten. In der obigen Abbildung können wir leicht erkennen, dass das Element, das den Namen des Restaurants enthält, die CSS-Klasse "css-166la90" hat. Um alle Namen unserer Mitbewerber zu erhalten, müssen wir alle Elemente auf der Seite mit dieser Klasse auswählen. Das Gleiche gilt für alle zuvor vorgestellten Details wie die Anzahl der Bewertungen, die Art des Restaurants, die Preise und den Standort.

5. Formatierung der Informationen

Wir werden nun alle Informationen, die wir benötigen, aus der resultierenden API-Antwort abrufen. Wir werden den Namen des Restaurants, die Bewertung, den Restauranttyp, die Preisspanne und den Standort abrufen und formatieren. Fügen Sie die folgenden Codezeilen in die Datei "index.js" ein.

competitors.forEach((Mitbewerber) => {
 if (Mitbewerber) {
 const name = Mitbewerber.querySelector('.css-166la90')
 if (name) Mitbewerber.name = name.innerHTML

 const reviewScore = Mitbewerber.querySelector('.reviewCount__09f24__EUXPN')
 if (reviewScore) competitor.review_score = `${reviewScore.innerHTML}/100`

 const types = competitor.querySelectorAll('.css-1hx6l2b')
 if (types) {
 competitor.types = []
 for (type of types) competitor.types.push(type.innerText)
 }

 const priceRange = competitor.querySelector('.priceRange__09f24__2O6le')
 if (priceRange) competitor.price_range = priceRange.innerHTML

 const locationContainer = competitor.querySelector('.priceCategory__09f24__Ylk7h')
 if (locationContainer) {
let location = locationContainer.querySelector('.css-e81eai')
competitor.location = location
 }

 results.push(competitor)
 }
})

console.log(results)

Am Ende werden wir ein Array von Objekten haben, und jedes von ihnen wird jeden Teilnehmer auf der Seite und seine spezifischen Daten enthalten.

Wie Sie sehen, ist das Scrapen von Yelp-Daten mit WebScrapingAPI recht einfach. Wir müssen eine Scraping-API verwenden, um den HTML-Inhalt zu erhalten, die Antwort zu analysieren, die relevanten Informationen von jedem Element auf der Seite zu erhalten und alles zu einer Liste hinzuzufügen.

Kennenlernen Ihrer Konkurrenz ohne zusätzlichen Aufwand

Um heutzutage ein neues Unternehmen zu gründen, braucht man viel mehr als nur ein tolles Produkt. Es gibt unendlich viele Möglichkeiten, je nachdem, wie kreativ man sein kann. Einige der wertvollsten Strategien, auf die Unternehmer achten sollten, sind:

Schaffung einer herausragenden Online-Präsenz
Wir arbeiten daran, den größten Wert für den niedrigsten Preis zu bieten.
ein umfassendes Verständnis der Vorteile der Konkurrenz

All diese Strategien können sich für das eigene Unternehmen als lebenswichtig erweisen. Es ist gut zu wissen, dass Web Scraper eine große Hilfe bei der Bewältigung dieser Probleme sind. Die Automatisierung des Datenerfassungsprozesses kann der einfachste Schritt zur Verbesserung ihres Geschäfts sein.

Wir versuchen, eine helfende Hand zu bieten, indem wir die notwendigen Werkzeuge für diese Art von Aufgaben schaffen. Vielen Dank, dass Sie alles gelesen haben, und denken Sie daran, dass WebScraping API eine kostenlose Testversion hat, nach der die Benutzer auf den kostenlosen Plan zurückgestuft werden, damit Sie die API nach Herzenslust testen können, ohne einen Cent auszugeben.