Wie Sie Leads für Ihr Unternehmen abgreifen

Robert Munceanu am 24. April 2021

Wenn Sie ein erstaunliches Produkt oder eine revolutionäre Idee haben, die Sie mit der Welt teilen möchten, wäre es dann nicht schade, wenn die Menschen nichts davon wüssten?

Hallo und herzlich willkommen zu unserem heutigen Special! Die Lead-Generierung wird das Hauptgericht dieses Artikels sein, und wir werden herausfinden, warum die Verwendung eines Web-Scraping-Tools uns helfen kann, effizient Leads zu sammeln.

Wenn Sie bis zum Ende durchhalten, werden Sie ein kurzes Beispiel für einen Web Scraper in Aktion sehen und wie er Unternehmen hilft, potenzielle Kunden zu finden. Lassen Sie uns ohne weiteres die Messer wetzen und mit der Vorspeise beginnen!

Wie Web Scraping Ihnen helfen kann, Leads zu sammeln

Der Aufbau eines großen Pools von Leads kann einige Zeit in Anspruch nehmen, denn Sie brauchen eine ganze Reihe von Kontakten, um Ihr Geschäft auszubauen, und die manuelle Suche auf jeder Website ist zeitaufwändig. Sie wollen auch nicht die Telefonnummer von jedem, sondern nur von denen, die für Ihr Unternehmen von Interesse sind, so dass die Qualitätsauswahl noch mehr Zeit in Anspruch nimmt.

Was können wir dagegen tun?

Es gibt Leute, die ihr Geschäft um dieses Thema herum aufbauen, d. h. sie sammeln Leads und verkaufen sie an andere Unternehmen zur Nutzung. Das klingt nach einer schnellen und einfachen Lösung, aber die Qualität des Lead-Pools entspricht möglicherweise nicht Ihren Anforderungen. Außerdem bedeutet diese Option zweifellos, dass Sie etwas Geld ausgeben müssen.

Wie können Sie das also schnell und effizient selbst tun? Hier kommt ein Web-Scraping-Tool ins Spiel, um den Tag zu retten. Auf diese Weise können Sie nur die Leads auswählen, an denen Sie interessiert sind, z. B. indem Sie sie nach ihren Bewertungen sortieren.

Eine schrittweise Anleitung zur Generierung von Leads mit Web Scraping API

Stellen wir uns vor, wir sind eine neue Kleinbrauerei in der Stadt und möchten, dass die Leute unsere Produkte kennenlernen. Um dieses Ziel zu erreichen, müssen wir lokale Restaurants oder Kneipen kontaktieren und fragen, ob sie daran interessiert sind, unsere Produkte in ihrem Geschäft zu verkaufen.

Wie Sie das anstellen, bleibt Ihnen überlassen. Wir helfen Ihnen mit dem Schaben, nicht mit dem Reden!

Zunächst müssen wir wissen, wo wir die benötigten Informationen finden können, und das Internet ist der beste Weg, dies zu tun. Es gibt Verzeichnis-Websites mit Listen von Unternehmen, die nach Nische, Standort, Tätigkeit und sogar Größe geordnet sind. In diesem Beispiel werden wir Yell verwenden.

Als Nächstes werden wir unser WebScrapingAPI-Konto erstellen und mit dem Beispiel fortfahren.

Erstellen Sie Ihr WebScrapingAPI-Konto

Dieser Schritt ist einfach, denn die Erstellung eines Kontos ist ziemlich unkompliziert und - keine Sorge - sie ist kostenlos! Nachdem Sie Ihre Anmeldung per E-Mail bestätigt haben, können wir mit dem nächsten Schritt fortfahren.

Verwenden Sie Ihren Zugangsschlüssel

Nach der Anmeldung werden Sie zum Dashboard weitergeleitet, wo Sie Informationen finden, die Ihnen beim Scrapen des Webs helfen werden. Im Abschnitt "Spielplatz" können Sie die Ergebnisse mit verschiedenen Parametern testen, und wenn Sie mehr über die Verwendung der API erfahren möchten, können Sie einen Blick in die Dokumentation werfen.

Im Moment interessieren wir uns für den Zugangsschlüssel. Dieser Schlüssel wird in unserem Projekt als Parameter verwendet, um sich bei der API zu authentifizieren.

Achten Sie darauf, ihn niemandem mitzuteilen, da er Ihr kleines Geheimnis ist, aber wenn Sie glauben, dass der Zugangsschlüssel kompromittiert wurde, können Sie den API-Schlüssel jederzeit zurücksetzen, indem Sie die oben gezeigte Schaltfläche drücken.

Integrieren Sie WebScrapingAPI in Ihr Projekt

In diesem Schritt müssen wir unser Projekt für das Scraping vorbereiten. Sie können die IDE und Programmiersprache verwenden, die Ihnen am besten gefällt. Für dieses Beispiel werden wir WebStorm als IDE verwenden und den Code in NodeJS schreiben.

1. Installieren Sie die folgenden Pakete:

• got: wird verwendet, um HTTP-Anfragen zu stellen
• jsdom: hilfreich bei der HTML-Analyse
• csv-writer: zum Speichern der extrahierten Daten in einer csv-Datei

Um die oben genannten Pakete zu installieren, verwenden Sie einfach die folgende Befehlszeile im Terminal Ihres Projekts: npm install got jsdom csv-writer

2. Legen Sie Parameter für Ihre Anfragen fest

Hier geben wir die URL der Website an, die wir scrapen wollen, in unserem Fall ist es Yell, und natürlich den Zugangsschlüssel, damit WebScrapingAPI funktioniert.

const url = "https://www.yell.com/ucs/UcsSearchAction.do?keywords=restaurants%26location=United+Kingdom%26scrambleSeed=1024089043"
const params = {
   api_key: "XXXXX",
   url: url
}

3. Stellen Sie den Antrag

const response = await got('https://api.webscrapingapi.com/v1', {searchParams: params})

Die Anfrage wird zusammen mit den zuvor festgelegten Parametern an WebScrapingAPI gesendet, und wir erhalten eine Antwort mit dem Roh-HTML der gescrapten Seite. Als Nächstes müssen wir herausfinden, wie wir die benötigten Informationen in der HTML-Datei finden können.

4. Elemente inspizieren

Hier müssen wir die Website durchsuchen, die wir scrapen möchten, und die Developer Tools verwenden, um nach den Elementen zu suchen, die die Informationen der einzelnen Unternehmen enthalten, in unserem Fall hat jedes Element die Klasse "businessCapsule--mainRow".

In den oben gezeigten Bildern haben wir das Element "business item" genauer untersucht und festgestellt, dass der Name jedes Unternehmens im Tag mit der Klasse "businessCapsule--name" enthalten ist.

Wenn wir diesen Vorgang wiederholen, finden wir die Telefonnummer in dem Element mit der Klasse "business--telephoneNumber" und die Durchschnitts- und Gesamtbewertung in den Elementen mit den Klassen "startRating--average" bzw. "starRating--total".

5. Parsen des HTML

JSDOM wird uns helfen, die von WebScrapingAPI gelieferten Informationen zu analysieren, da es die vollständige Seite im HTML-Format zurückgibt.

const {document} = new JSDOM(response.body).window

6. Filterung der Ergebnisse

In dieser Phase durchlaufen wir alle Elemente der Klasse "businessCapsule--mainRow" und extrahieren die Informationen aus den Elementen, über die wir zuvor gesprochen haben. Die extrahierten Daten werden dann als Objekt in eine Liste eingefügt.

const relatedElements = document.querySelectorAll('.businessCapsule--mainRow')
relatedElements.forEach(el => {
   const businessName = el.querySelector('.businessCapsule--name')
   const businessRatingAverage = el.querySelector('.starRating--average')
   const businessRatingTotal = el.querySelector('.starRating--total span')
   const businessContact = el.querySelector('.business--telephoneNumber')
   leads.push({
       businessName: businessName ? businessName.innerHTML : 'No business name',
       businessRatingAverage: businessRatingAverage ? businessRatingAverage.innerHTML : 'No ratings',
       businessRatingTotal: businessRatingTotal ? businessRatingTotal.innerHTML : 'No ratings',
       businessContact: businessContact ? businessContact.innerHTML : 'No phone number'
   })
})

7. Speichern Sie die Daten

Die Speicherung der Daten in einer csv-Datei klingt nach einer guten Lösung, und dabei wird uns csv-writer helfen. Wir müssen den Pfad und den Namen der csv-Datei im Pfad-Parameter und im Header-Parameter angeben, und wir müssen eine Liste von Objekten angeben. Jedes Objekt steht für eine Spalte unserer csv-Datei. Die title-Eigenschaft dieser Objekte steht für den Titel der jeweiligen Spalte, während die id-Eigenschaft mit den Eigenschaften der Objekte in unserer Liste von Leads übereinstimmen muss.

Wenn wir nun den gesamten Code in eine asynchrone Funktion verpacken und eine Schleife hinzufügen, um die ersten 5 Seiten nach Unternehmen zu durchsuchen, sollte der Code wie folgt aussehen:

const {JSDOM} = require("jsdom");
const got = require("got");

(async () => {

   const leads = []
   const nrPages = 5

   for (let page = 1; page <= nrPages; page++) {
       const url = "https://www.yell.com/ucs/UcsSearchAction.do?keywords=restaurants%26location=United+Kingdom%26scrambleSeed=1024089043%26pageNum=" + page
       const params = {
           api_key: "XXX",
           url: url
       }
       const response = await got('https://api.webscrapingapi.com/v1', {searchParams: params})
       const {document} = new JSDOM(response.body).window
       const relatedElements = document.querySelectorAll('.businessCapsule--mainRow')

       if (relatedElements) {
           relatedElements.forEach(el => {
               const businessName = el.querySelector('.businessCapsule--name')
               const businessRatingAverage = el.querySelector('.starRating--average')
               const businessRatingTotal = el.querySelector('.starRating--total span')
               const businessContact = el.querySelector('.business--telephoneNumber')
               leads.push({
                   businessName: businessName ? businessName.innerHTML : 'No business name',
                   businessRatingAverage: businessRatingAverage ? businessRatingAverage.innerHTML : 'No ratings',
                   businessRatingTotal: businessRatingTotal ? businessRatingTotal.innerHTML : 'No ratings',
                   businessContact: businessContact ? businessContact.innerHTML : 'No phone number'
               })
           })
       }
   }

   const csvWriter = require('csv-writer').createObjectCsvWriter({
       path: 'leads.csv',
       header: [
           {id: 'businessName', title: 'Business Name'},
           {id: 'businessRatingAverage', title: 'Business Average Rating'},
           {id: 'businessRatingTotal', title: 'Business No. of Ratings'},
           {id: 'businessContact', title: 'Business Phone Number'},
       ]
   })

   csvWriter.writeRecords(leads).then(() => console.log('Success!!'))

})();

Erfolg!!!

Gut gemacht! Sie haben die Sammlung von Informationen über potenzielle Kunden abgeschlossen.

Lassen Sie WebScrapingAPI beste Freunde mit Ihrem Unternehmen werden

Auf diese Weise können Sie schnell Ihren eigenen Pool an Leads und potenziellen Geschäftspartnern aufbauen. Neben der Generierung von Leads kann die WebScrapingAPI Ihnen auch in anderen Situationen helfen. Sie können mehr darüber in unserem Blog erfahren .

Basierend auf Ihrem Projekt bietet WebScrapingAPI verschiedene Pakete an, die Ihren Bedürfnissen entsprechen. Wenn Sie noch nicht davon überzeugt sind, wie unser Produkt Ihr Geschäft bereichern kann, warum probieren Sie nicht zuerst den kostenlosen Plan aus? Es bietet Ihnen 1000 kostenlose API-Aufrufe für den Einstieg.