Zum Inhalt springen
Zurück zum Blog

So extrahieren Sie Daten von Twitter (X) für die Stimmungsanalyse

Raluca PenciucZuletzt aktualisiert am 21 min read
So extrahieren Sie Daten von Twitter (X) für die Stimmungsanalyse

Ein Marketingteam möchte wissen, wie die Nutzer von X (Twitter) zu seiner Marke, einer Produkteinführung oder einem Wettbewerber stehen, und jemand muss die Beiträge sammeln und bewerten. Unter dem Datenscraping auf Twitter (X) versteht man das programmgesteuerte Sammeln öffentlicher Beiträge, Profile und Interaktionszahlen von X, um diese anschließend in großem Umfang analysieren zu können. Bevor Sie mit dem Scraping auf Twitter beginnen, sollten Sie wissen, dass X das Scraping in seinen Nutzungsbedingungen einschränkt. Dieser Leitfaden beginnt mit der Frage, was Sie erfassen dürfen und was die Regeln von X besagen, vergleicht die offizielle API, verwaltete Daten und gerenderte öffentliche Seiten und behandelt anschließend den Teil, den die meisten Leitfäden auslassen: die Bereinigung der Beiträge, die Bewertung der Stimmung in Python und die Umwandlung der Bewertungen in Kennzahlen, die ein Marketingteam nutzen kann.

Wichtige Erkenntnisse

  • Die Nutzungsbedingungen von X verbieten das Crawlen oder Scrapen ohne vorherige schriftliche Zustimmung; wählen Sie daher Ihren Zugriffsweg, bevor Sie Code schreiben.
  • Die offizielle X-API ist der dokumentierte Weg für die Stichwortsuche und die fortlaufende Überwachung.
  • Auf Seiten, auf denen man nicht angemeldet ist, werden nur begrenzte Daten angezeigt. Die Suche, vollständige Timelines und Follower-Listen sind nur nach der Anmeldung zugänglich.
  • Speichern Sie jeden Beitrag mit seiner ID und zwei Zeitstempeln: dem Zeitpunkt der Veröffentlichung und dem Zeitpunkt der Erfassung.
  • Beginnen Sie mit einer VADER-Baseline, wechseln Sie zu einem auf Twitter abgestimmten Transformer und aggregieren Sie die Ergebnisse anschließend zu einer Netto-Stimmung und einem Share of Voice.

Welche X- (Twitter-)Daten können Sie erfassen?

Twitter wurde 2023 in X umbenannt, und twitter.com leitet nun zu x.com weiter. Die Plattform, die Daten und die meisten Entwicklertools sind unverändert geblieben, weshalb API-Pfade und Bibliotheken weiterhin den Begriff „Tweet“ verwenden. Dieser Leitfaden verwendet den Beitrag (Tweet) als Dateneinheit und verwendet im Folgenden den Begriff „Beitrag“.

Was Sie abrufen können, hängt davon ab, ob Sie die Website im nicht angemeldeten Zustand nutzen oder die offizielle API verwenden:

Daten

Website ohne Anmeldung

Offizielle X-API

Hinweise

Einzelner öffentlicher Beitrag (Text, Zeit, Anzahl der Aufrufe, Medien)

Normalerweise sichtbar

Ja

Zahlen sind Momentaufnahmen, die sich ständig ändern.

Öffentliches Profil (Biografie, Standort, URL, Beitrittsdatum, Follower-Zahlen)

Normalerweise sichtbar

Ja

Profilfelder sind personenbezogene Daten.

Neueste Beiträge in einem Profil

Eine begrenzte Auswahl

Ja (Benutzer-Timeline)

Bei nicht angemeldeten Nutzern werden nur wenige angezeigt.

Antworten und Unterhaltungen

Teilweise

Ja (Suche nach conversation_id)

Im nicht angemeldeten Zustand werden in der Regel nur die ersten Antworten angezeigt.

Suche nach Stichworten oder Hashtags

Nein (Anmeldebarriere)

Aktuelle Suche (letzte 7 Tage), vollständiges Archiv für Pay-per-Use und Enterprise

Die Suche ist das Herzstück der Stimmungsanalyse.

Follower- und Follow-Listen

Nein

Ja (Abrechnung pro Ressource)

Für die Stimmungsanalyse selten erforderlich.

Private Konten und Direktnachrichten

Nein

Nicht für diesen Anwendungsfall

Fällt nicht in den Geltungsbereich dieses Leitfadens.

X ändert ohne Vorankündigung, was nicht angemeldete Besucher sehen können; betrachten Sie die mittlere Spalte daher als Tendenz und nicht als Garantie. In der Praxis erfordert die Stimmungsanalyse eine Suche, und die Suche auf der Website setzt ein Konto voraus. Das führt dazu, dass die meisten realen Projekte auf die API oder eine verwaltete Datenquelle zurückgreifen.

Warum Teams X-Daten sammeln: von der Stimmungsanalyse bis zum Marketing

X ist einer der wenigen Orte, an denen Kunden, Kritiker, Journalisten und Wettbewerber öffentlich und in Echtzeit miteinander kommunizieren, was es zu einer gängigen Quelle für öffentliche Social-Media-Daten für Marketing- und Forschungsteams macht. Die Tabelle ordnet jedem Ziel eine Kennzahl und die dafür erforderlichen Felder zu.

Ziel

Kennzahl

Benötigte Felder

Stimmung zu Marke und Kampagne

Netto-Stimmung pro Tag

text, created_at, lang

Wettbewerbs- und Marktforschung

Share of Voice, Themenmix

text, author ID, query

Support- und Krisensignale

Anstieg des Negativvolumens im Vergleich zur Basislinie

Text, Erstellungszeitpunkt, Anzahl der Antworten

Ermittlung von Erstellern und Partnern

Interaktionsrate nach Konto

Autor-Metriken, Anzahl der Beiträge

Datensätze für NLP und KI

Größe des beschrifteten Korpus, Klassenverteilung

Text, Sprache, Quell-URL

Wenn man bei der Metrik ansetzt, bleibt die Datensammlung überschaubar. Wenn man nur die Netto-Stimmung pro Tag benötigt, braucht man keine Follower-Listen oder Profilbeschreibungen, und eine geringere Datenerfassung ist sowohl kostengünstiger als auch leichter zu rechtfertigen.

Stimmung zu Marken und Kampagnen

Die häufigste Aufgabe: Verfolgen Sie, wie sich der Ton der Beiträge über Ihre Marke von Tag zu Tag verändert und ob eine Kampagne, eine Preisänderung oder eine Produkteinführung diesen beeinflusst. Sie benötigen den Beitragstext, den Zeitpunkt der Veröffentlichung und die Sprache, damit Sie jeden Beitrag bewerten und die Ergebnisse nach Tagen gruppieren können.

Wettbewerbs- und Marktforschung

Führen Sie dieselben Abfragen für Ihre Marke und zwei oder drei Wettbewerber durch, und Sie können Umfang und Tonfall direkt nebeneinander vergleichen. Der Share of Voice (Ihr Anteil an allen Beiträgen der erfassten Marken) und die Themen, die im Zusammenhang mit den einzelnen Marken angesprochen werden, fließen direkt in die Marktforschung und die Positionierungsarbeit ein.

Kundensupport und Krisensignale

Ein plötzlicher Anstieg negativer Beiträge zeigt sich oft zuerst auf X, bevor er die Support-Warteschlange erreicht. Vergleichen Sie das heutige negative Volumen mit einem gleitenden Durchschnittswert und lassen Sie sich benachrichtigen, sobald dieser überschritten wird. Dieselbe Überwachung deckt gefälschte Support-Konten und Nachahmer auf, die Ihren Kunden antworten – hier überschneiden sich die X-Daten mit dem Markenschutz.

Entdeckung von Creators und NLP-Datensätze

Marketingteams nutzen die Interaktionsraten pro Konto, um Creator und Partner in die engere Wahl zu ziehen, die bereits über ihre Kategorie sprechen. Datenteams verwenden öffentliche Beiträge als Trainings- und Bewertungstext für Klassifikatoren. Bewahren Sie in beiden Fällen die Quell-URL und die Sprache bei jedem Datensatz auf, damit Sie nachprüfen können, woher die Daten stammen.

Dieser Abschnitt enthält allgemeine Informationen und stellt keine Rechtsberatung dar. In den Nutzungsbedingungen von X heißt es: „Das Crawlen oder Scrapen der Dienste in jeglicher Form und zu jeglichem Zweck ohne unsere vorherige schriftliche Zustimmung ist ausdrücklich untersagt.“ Daher sind die sichersten Wege die offizielle API, eine lizenzierte oder verwaltete Quelle oder eine Nutzung, die Ihr Anwalt geprüft hat.

Die Nutzungsbedingungen von X. Die Nutzungsbedingungen von X (gültig ab dem 9. Oktober 2026 zum Zeitpunkt der Erstellung dieses Artikels) beschränken den Zugriff auf „derzeit verfügbare, veröffentlichte Schnittstellen“, und die oben genannte Klausel ist in der Liste der verbotenen Verwendungszwecke aufgeführt. Die Zusammenfassung am Anfang der Nutzungsbedingungen fügt hinzu, dass man – „sofern nicht durch geltendes Recht vorgeschrieben“ – die Dienste nicht ohne die ausdrückliche schriftliche Genehmigung von X scrapen oder „versuchen darf, von uns auferlegte technische Einschränkungen zu umgehen“.

robots.txt. Die robots.txt-Datei von X sperrt alle Pfade für generische Crawler (User-agent: * gefolgt von Disallow: /) und enthält eine separate Zeile mit Einstellungen zum KI-Training, die die Nutzung zu Trainingszwecken ausschließt. „robots.txt“ ist eine Konvention, um Crawlern mitzuteilen, welche Pfade sie abrufen dürfen, wie in RFC 9309 beschrieben. Es handelt sich dabei nicht um ein Gesetz, sondern um eine klare Erklärung der Absichten des Website-Betreibers.

Gerichte. US-Gerichte haben den Zugriff auf öffentliche Daten im Rahmen des Anti-Hacking-Rechts anders behandelt als Ansprüche, wonach ein Scraper gegen die Vertragsbedingungen einer Website verstoßen habe. Die Urteile in den Fällen „hiQ gegen LinkedIn“ sind das bekannteste Beispiel. Die Ergebnisse hängen von den Sachverhalten, den Ansprüchen und der Gerichtsbarkeit ab, daher bedeutet nichts davon, dass das Scraping von X erlaubt ist.

Personenbezogene Daten. Beiträge und Profile beschreiben identifizierbare Personen; daher gelten sie in der EU und im Vereinigten Königreich als personenbezogene Daten im Sinne der DSGVO. Sie benötigen eine rechtmäßige Grundlage gemäß Artikel 6 der DSGVO, wie z. B. berechtigte Interessen, und Sie sollten nur die Felder erfassen, die für Ihre Metrik erforderlich sind, sowie eine Aufbewahrungsfrist festlegen. Die öffentliche Sichtbarkeit hebt diese Pflichten nicht auf.

Praktische Schlussfolgerung. Nutzen Sie nach Möglichkeit die offizielle API oder eine lizenzierte bzw. verwaltete Quelle. In allen anderen Fällen sollten Sie vor Beginn eine rechtliche Prüfung Ihres Zwecks, Ihrer Quelle und Ihres Datenumfangs vornehmen lassen und eine verantwortungsvolle Webdatenerhebung planen, die sich an einem klaren Zweck und dem für Sie erforderlichen Mindestdatensatz orientiert.

Vier Wege, um an X-Daten (Twitter) zu gelangen

Es gibt vier realistische Wege, die sich eher in Bezug auf Position und Wartung als im Code unterscheiden:

Möglichkeit

Was Sie erhalten

Aufwand

Position in den Nutzungsbedingungen

Am besten geeignet für

Offizielle X-API

JSON-Beiträge, Benutzer und Suchergebnisse

Low-Code, nutzungsabhängige Abrechnung

Die dokumentierte Schnittstelle von X

Suche und fortlaufende Überwachung

Verwaltete X-Daten (WebScrapingAPI Data API)

Abgegrenzte, strukturierte Datensätze: IDs, Text, Zählwerte, Threads, Profile

Keine Ausführung erforderlich

Umfang wird pro Projekt vereinbart

Teams, die Datensätze wollen, nicht Datensammler

Gerenderte öffentliche Seiten (Scraper-API oder Browser-API)

HTML oder ausgewählte Felder aus einer öffentlichen URL

Mäßig

Es gelten die Bedingungen von X. Einholung einer Einwilligung oder einer rechtlichen Prüfung

Stichprobenprüfung bestimmter öffentlicher URLs

Selbst erstellte Browser oder Open-Source-Bibliotheken

Was auch immer Sie entwickeln und betreuen

Hoch, fällt oft aus

Erfordert oft angemeldete Konten und steht im Widerspruch zu den Nutzungsbedingungen von X

Derzeit selten die richtige Wahl

Für die Stichwortsuche und -überwachung sollten Sie mit der offiziellen API beginnen, die im nächsten Abschnitt anhand von Code behandelt wird. Wenn Ihr Team fertige Datensätze anstelle eines zu wartenden Collectors wünscht, liefert die X (Twitter)-Daten-API strukturierte öffentliche Beiträge, Profile, Threads, Antworten und Suchergebnisse, wobei WebScrapingAPI den Zugriff auf die Quelle, die Extraktion, Parser-Updates und die Qualitätsüberwachung übernimmt. Sie vereinbaren Seiten, Felder, Umfang und Aktualisierungshäufigkeit, nachdem Sie ein Beispiel geprüft haben. Für eine kleine Anzahl spezifischer öffentlicher URLs, die Ihre rechtliche Prüfung abdeckt, nimmt die Scraper-API eine URL entgegen und gibt HTML, JSON oder ausgewählte Felder zurück, mit optionaler JavaScript-Darstellung für Seiten, die dies benötigen.

Ein kurzer Hinweis zu kostenlosen Bibliotheken: Die X-Module von snscrape funktionieren seit 2023 nicht mehr, und twint ist archiviert. Die Tools, die noch funktionieren, sind auf angemeldete Konten und Sitzungs-Cookies angewiesen, was zusätzlich zum Problem der Nutzungsbedingungen ein Konto-Risiko mit sich bringt. Puppeteer und Playwright können x.com ebenfalls öffnen, doch das ist der „Do-it-yourself“-Weg, auf den dieser Leitfaden nicht eingeht.

Wenn Sie sich nicht sicher sind, welcher Weg der richtige ist, beantworten Sie drei Fragen: Benötigen Sie eine Stichwortsuche über das gesamte X oder nur für bestimmte Konten und Beiträge? Möchte Ihr Team einen Collector selbst betreiben oder lediglich Datensätze erhalten? Und wie oft müssen die Daten aktualisiert werden? Eine Suche in Verbindung mit einem kleinen Entwicklerteam spricht in der Regel für die API. Wiederkehrende Aufgaben aus mehreren Quellen ohne ein Team zur Pflege von Collectors sprechen für verwaltete Daten. Nur bei einer Handvoll bekannter öffentlicher URLs ist das Rendern von Seiten sinnvoll.

Aktuelle Beiträge mit der offiziellen X-API suchen

Die offizielle X-API ist die dokumentierte Schnittstelle, auf die die Nutzungsbedingungen von X verweisen, und ihre Such-Endpunkte sind genau für diese Aufgabe konzipiert: In der Dokumentation von X selbst werden Markenüberwachung, Trendanalyse und Recherche als Anwendungsfälle aufgeführt.

Richten Sie den Zugriff ein und machen Sie sich mit der nutzungsabhängigen Abrechnung vertraut

Erstellen Sie ein Projekt und eine App in der X-Entwicklerkonsole und kopieren Sie das Bearer-Token der App. Speichern Sie es in einer Umgebungsvariablen statt in Ihrem Code:

export X_BEARER_TOKEN="your-bearer-token"

Die X-API verwendet eine nutzungsabhängige Abrechnung: Sie kaufen Credits im Voraus in der Entwicklerkonsole, und diese Credits werden abgezogen, sobald Anfragen Ressourcen zurückgeben – zu unterschiedlichen Sätzen pro Endpunkt. Das erneute Aufrufen desselben Beitrags innerhalb desselben UTC-Tages verursacht keine zusätzlichen Kosten, da X Ressourcen innerhalb eines 24-Stunden-UTC-Fensters dedupliziert (X bezeichnet dies als „Soft Guarantee“). Zwei Such-Endpunkte sind hier von Bedeutung:

  • Aktuelle Suche (GET /2/tweets/search/recent) deckt die letzten 7 Tage ab und steht allen Entwicklern zur Verfügung, mit bis zu 100 Beiträgen pro Anfrage.
  • Die Vollarchiv-Suche (GET /2/tweets/search/all) reicht bis ins Jahr 2006 zurück und steht Pay-per-Use- sowie Enterprise-Kunden zur Verfügung.

Die Preise ändern sich, daher sollten Sie die aktuellen Zahlen in der Entwicklerkonsole überprüfen, bevor Sie ein Projekt kalkulieren, und ein Ausgabenlimit festlegen.

Bevor Sie Code zur Datenerfassung schreiben, sollten Sie festlegen, wie eine gute Abfrage aussieht, da die Abfrage sowohl Ihre Kosten als auch die Qualität Ihrer Stimmungsdaten beeinflusst. Dabei helfen einige Vorgehensweisen:

  • Berücksichtigen Sie die Art und Weise, wie Nutzer Ihre Marke tatsächlich schreiben: (AcmeCo OR "Acme Co" OR #acmeco).
  • Schließen Sie die Beiträge Ihres eigenen Kontos aus, -from:AcmeCo , damit Ihre Marketingtexte die positive Stimmung nicht künstlich erhöhen.
  • Fügen Sie -is:retweet hinzu, um Reposts zu überspringen, und erwägen Sie -is:reply , ob Sie nur Originalbeiträge berücksichtigen möchten.
  • Filtern Sie nach Sprache mit lang:en , wenn Ihr Modell nur Englisch verarbeitet.

Aktuelle Suchanfragen dürfen bis zu 512 Zeichen lang sein; teilen Sie daher lange Listen mit Produktnamen daher auf mehrere Suchanfragen auf.

Beiträge mit Tweepy suchen

Tweepy verpackt die v2-Endpunkte in eine Client Klasse. Das folgende Skript durchsucht aktuelle englische Beiträge, in denen eine Marke erwähnt wird, überspringt Reposts und blättert durch die Ergebnisse bis zu einer festen Obergrenze, sodass eine weit gefasste Abfrage Ihre Credits nicht aufbrauchen kann:

import os
from datetime import datetime, timezone

import tweepy

client = tweepy.Client(
    bearer_token=os.environ["X_BEARER_TOKEN"],
    wait_on_rate_limit=True,  # sleep until the window resets on a 429
)

QUERY = '"AcmeCo" lang:en -is:retweet'
MAX_POSTS = 500  # hard cap: every returned post costs credits

records = []
collected_at = datetime.now(timezone.utc).isoformat()

for page in tweepy.Paginator(
    client.search_recent_tweets,
    query=QUERY,
    tweet_fields=["created_at", "lang", "public_metrics", "conversation_id", "author_id"],
    expansions=["author_id"],
    user_fields=["username", "public_metrics"],
    max_results=100,
):
    users = {user.id: user for user in (page.includes or {}).get("users", [])}
    for post in page.data or []:
        metrics = post.public_metrics or {}
        author = users.get(post.author_id)
        username = author.username if author else "i"
        records.append({
            "post_id": str(post.id),
            "author_id": str(post.author_id),
            "text": post.text,
            "lang": post.lang,
            "created_at": post.created_at.isoformat(),
            "collected_at": collected_at,
            "like_count": metrics.get("like_count", 0),
            "reply_count": metrics.get("reply_count", 0),
            "repost_count": metrics.get("retweet_count", 0),
            "quote_count": metrics.get("quote_count", 0),
            "conversation_id": str(post.conversation_id),
            "source": "x_api",
            "source_url": f"https://x.com/{username}/status/{post.id}",
            "query": QUERY,
        })
    if len(records) >= MAX_POSTS:
        break

records = records[:MAX_POSTS]
print(f"Collected {len(records)} posts")

Drei Details sind wichtig. Die Suchoperatoren (lang:en, -is:retweet, exakte Phrasen in Anführungszeichen) werden auf der Seite von X ausgeführt, sodass das Filtern dort weniger kostet als das Filtern nach dem Herunterladen. Felder wie created_at und public_metrics werden nur zurückgegeben, wenn du sie in tweet_fields. Und die author_id Erweiterung gibt die passenden Benutzerobjekte in page.includes, wodurch du Benutzernamen erhältst, ohne für jeden Beitrag eine zweite Anfrage stellen zu müssen.

Umgang mit Ratenbeschränkungen

Ratenbegrenzungen werden pro Endpunkt und pro Zeitfenster festgelegt, in der Regel 15 Minuten oder 24 Stunden. Jede Antwort enthält drei Header: x-rate-limit-limit, x-rate-limit-remaining, sowie x-rate-limit-reset (ein Unix-Zeitstempel für den Zeitpunkt, zu dem das Zeitfenster zurückgesetzt wird). Bei Überschreitung des Limits wird der HTTP-Status 429 zurückgegeben, bis das Zeitfenster zurückgesetzt wird.

Tweepy wait_on_rate_limit=True übernimmt dies für Sie. Wenn Sie den Endpunkt direkt aufrufen, lesen Sie die Header selbst aus:

import os
import time

import requests

URL = "https://api.x.com/2/tweets/search/recent"
HEADERS = {"Authorization": f"Bearer {os.environ['X_BEARER_TOKEN']}"}


def get_page(params, max_retries=3):
    for _ in range(max_retries):
        resp = requests.get(URL, headers=HEADERS, params=params, timeout=30)
        if resp.status_code != 429:
            resp.raise_for_status()
            print("Requests left in this window:", resp.headers.get("x-rate-limit-remaining"))
            return resp.json()
        reset_at = int(resp.headers.get("x-rate-limit-reset", time.time() + 60))
        time.sleep(max(reset_at - time.time(), 1) + 1)
    raise RuntimeError("Still rate limited after retries")


page = get_page({"query": '"AcmeCo" lang:en -is:retweet', "max_results": 100})

Das Warten auf den Reset ist das dokumentierte Verhalten. Verteilen Sie einen Auftrag nicht auf mehrere Apps oder Tokens, um die Begrenzung zu umgehen. Genau diese Art von Workaround ist gemäß den Nutzungsbedingungen von X untersagt.

Warum eine einfache HTTP-Anfrage auf X eine leere Seite zurückgibt

Wenn du eine POST-URL auf x.com mit einem einfachen HTTP-Client aufrufst, erhältst du eine Seite, die fast keinen Beitragstext enthält. x.com ist eine clientseitig gerenderte App: Die erste HTML-Antwort ist eine Hülle, und die Beiträge kommen erst danach über JSON-Anfragen im Hintergrund an, die das JavaScript der Seite ausführt. Um den Inhalt zu sehen, benötigt man eine echte Browser-Engine, die die Skripte ausführt – genau das tut ein Headless-Browser – und muss warten, bis das Post-Element vorhanden ist.

Viele Tutorials zum Scraping von X umgehen den Browser und rufen diese JSON-Endpunkte im Hintergrund direkt auf, wobei sie Gast-Token und interne Abfrage-IDs verwenden, die aus dem Netzwerkverkehr der Website kopiert wurden. Dieser Leitfaden verfährt nicht so. Diese Endpunkte sind keine veröffentlichte Schnittstelle, und ihr Reverse-Engineering ist genau die Art von Umgehung „technischer Einschränkungen“, die die Nutzungsbedingungen von X verbieten. Wenn Sie Daten in großem Umfang benötigen, sind die offizielle API und verwaltete Daten die zuverlässigen Wege.

Weitere Möglichkeiten: verwaltete Daten und gerenderte öffentliche Seiten

Falls die offizielle API nicht geeignet ist, gibt es zwei weitere Möglichkeiten, für die Sie keinen Code schreiben müssen. Teams, die fertige Datensätze benötigen, können über die oben beschriebene X (Twitter) Data API begrenzte, verwaltete X-Daten anfordern. Für bestimmte öffentliche URLs, die durch die Zustimmung von X oder Ihre rechtliche Prüfung abgedeckt sind, rendert die Browser-API die Seite und gibt ausgewählte Felder als JSON zurück. Dies funktioniert als Request-Response-Aufruf und nicht als Live-Browsersitzung, die Sie offen halten müssen. Sie senden die URL sowie einen wait_for_css Selektor, der vorhanden sein muss, damit die Seite als bereit gilt, sowie extract_rules eine Zuordnung von Feldnamen zu CSS-Selektoren. Als Ergebnis erhalten Sie gerenderten HTML-Code, JSON, ausgewählte Felder oder einen Screenshot. Die WebScrapingAPI führt den Browser aus.

Die Browser-API ist ausschließlich für berechtigte öffentliche Seiten vorgesehen, und die WebScrapingAPI fordert Sie auf, die Nutzungsbedingungen der Quelle, die geltenden Anforderungen und deren Dienstleistungsvereinbarung zu prüfen, bevor Sie sie nutzen. Die Nutzungsbedingungen von X verbieten das Scraping ohne vorherige schriftliche Zustimmung; holen Sie daher zunächst diese Zustimmung oder eine rechtliche Prüfung ein, halten Sie das Volumen gering und melden Sie sich niemals an oder übermitteln Sie keine Cookies. Für Such- und Überwachungszwecke nutzen Sie bitte die API.

X-Attribute „data-testid“ (nur als Referenz)

Neben generierten Klassennamen, die sich häufig ändern, enthält das Markup von X data-testid Attribute, die als stabilere Anknüpfungspunkte dienen. Falls Sie diese sehen, haben die gängigen folgende Bedeutung:

Feld

Attribut

Beitragscontainer

article[data-testid="tweet"]

Beitragstext

[data-testid="tweetText"]

Name und Benutzername des Autors

[data-testid="User-Name"]

Zeitpunkt der Veröffentlichung

time[datetime]

Schaltflächen für „Antworten“, „Teilen“ und „Gefällt mir“ (Zählungen in aria-label)

[data-testid="reply"], [data-testid="retweet"], [data-testid="like"]

Bilder

[data-testid="tweetPhoto"] img

Profilbeschreibung

[data-testid="UserDescription"]

Standort, URL und Beitrittsdatum des Profils

[data-testid="UserLocation"], [data-testid="UserUrl"], [data-testid="UserJoinDate"]

Dies sind interne Test-Hooks von X, keine öffentlich zugängliche Schnittstelle, und sie können sich ohne Vorankündigung ändern. Die Veröffentlichungszeit befindet sich im datetime Attribut, da die sichtbare Bezeichnung relativ („2h“) und lokalisiert ist. Informationen zur Selektor-Syntax für die Attributzuordnung finden Sie in unserem CSS-Selektor-Spickzettel.

Speichern Sie Beiträge in einem bereinigten Datensatz

Unabhängig davon, welche Route Sie verwenden: Normalisieren Sie jeden Beitrag in denselben Datensatz, bevor Sie irgendetwas analysieren. Die meisten Sentiment-Dashboards, bei denen Fehler auftreten, scheitern an dieser Stelle – durch doppelt gezählte Beiträge oder durcheinandergebrachte Zeitstempel – und nicht am Modell.

Feld

Bedeutung

post_id

Die Beitrags-ID von X und Ihr Duplikatsschlüssel

author_id

Stabile Konto-ID (Handles können sich ändern)

text, lang

Beitragstext und Sprach-Tag von X

created_at

Zeitpunkt der Veröffentlichung des Beitrags in UTC

collected_at

Zeitpunkt der Erfassung in UTC

like_count, reply_count, repost_count, quote_count

Momentaufnahme um collected_at. Diese ändern sich ständig

conversation_id

Gruppiert einen Beitrag mit seinen Antworten

source, source_url, query

Woher der Datensatz stammt und welche Abfrage ihn gefunden hat

Behalten created_at und collected_at getrennt. Die tägliche Stimmung sollte nach dem Veröffentlichungszeitpunkt der Beiträge gruppiert werden, während Interaktionszahlen nur im Verhältnis zum Zeitpunkt des Lesens Sinn ergeben. Speichere Datensätze als JSON-Zeilen, einen Beitrag pro Zeile, und behalte nur den aktuellsten Snapshot jedes Beitrags:

import json
from pathlib import Path


def upsert_jsonl(path, new_records):
    path = Path(path)
    latest = {}
    if path.exists():
        with path.open(encoding="utf-8") as f:
            for line in f:
                rec = json.loads(line)
                latest[rec["post_id"]] = rec
    for rec in new_records:
        old = latest.get(rec["post_id"])
        if old is None or rec["collected_at"] >= old["collected_at"]:
            latest[rec["post_id"]] = rec
    with path.open("w", encoding="utf-8") as f:
        for rec in latest.values():
            f.write(json.dumps(rec, ensure_ascii=False) + "\n")
    return len(latest)


total = upsert_jsonl("posts.jsonl", records)
print(f"{total} unique posts stored")

ISO-8601-Zeitstempel in UTC lassen sich als Zeichenfolgen korrekt vergleichen, was die Überprüfung der Momentaufnahmen vereinfacht. Falls Sie mit dem Format noch nicht vertraut sind, finden Sie hier eine Anleitung zum Parsen von JSON in Python. Entfernen Sie schließlich Felder, die Ihre Metrik nicht verwendet, und legen Sie eine Aufbewahrungsfrist fest, damit sich der Datensatz nicht unbemerkt in ein Profilarchiv verwandelt.

Führe eine Stimmungsanalyse für X Beiträge durch

Die Sentimentanalyse weist jedem Beitrag eine Kennzeichnung (positiv, negativ oder neutral) oder einen Wert zu. Die folgenden Beispiele verwenden fiktive Beiträge über eine erfundene Marke, AcmeCo, sodass du sie offline ausführen kannst, ohne Daten zu erfassen.

Reinigen Sie den Text zunächst

Beiträge sind kurz und enthalten viel Rauschen. Eine kleine Bereinigung sorgt für konsistentere Werte:

  • Ersetzen Sie URLs durch http und @Handles durch @user. Dies entspricht der Vorverarbeitung, mit der das unten stehende, auf Twitter optimierte Modell trainiert wurde, und sorgt dafür, dass Benutzernamen aus Ihrem Analysetext herausgehalten werden.
  • Behalte Emojis bei. Sowohl VADER als auch das Transformer-Modell nutzen sie als Signale.
  • Entfernen Sie exakte Duplikate und reine Reposts, die eine Meinung mehrfach wiederholen.
import re

URL_RE = re.compile(r"https?://\S+")
HANDLE_RE = re.compile(r"@\w+")


def clean_text(text):
    text = URL_RE.sub("http", text)
    text = HANDLE_RE.sub("@user", text)
    return " ".join(text.split())


samples = [
    "Just tried the new AcmeCo cold brew and wow, I'm hooked 😍",
    "@acmeco_help my refund request has been ignored for 9 days. Not great.",
    "AcmeCo is opening a store near the station next month https://example.com/news",
    "Oh great, another AcmeCo app update that logs me out. Love that for me.",
]
cleaned = [clean_text(s) for s in samples]

Beginnen Sie mit einer VADER-Baseline

VADER ist ein regelbasiertes Tool zur Stimmungsanalyse, das für Social-Media-Texte entwickelt wurde. Es ist schnell, läuft überall und benötigt keine Trainingsdaten, was es zu einer guten Basis macht. Sein compound Wert reicht von -1 bis 1, und gemäß der Konvention in der VADER-Dokumentation gilt: 0,05 oder höher ist positiv, -0,05 oder niedriger ist negativ und alles dazwischen ist neutral.

from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer

analyzer = SentimentIntensityAnalyzer()


def vader_label(text):
    compound = analyzer.polarity_scores(text)["compound"]
    if compound >= 0.05:
        return "positive", compound
    if compound <= -0.05:
        return "negative", compound
    return "neutral", compound


for text in cleaned:
    label, score = vader_label(text)
    print(f"{label:8} {score:+.3f}  {text}")

Führen Sie das Tool aus und schauen Sie sich das vierte Beispiel genau an. Ausdrücke wie „Oh toll“ und „Das finde ich super“ lenken einen lexikonbasierten Wert in Richtung positiv, obwohl es sich bei dem Beitrag um eine Beschwerde handelt. Behalte dieses Beispiel in deinem Testdatensatz: Sarkasmus ist für jedes Modell eine Herausforderung, auch für den Transformer im nächsten Schritt, und es ist eine nützliche Erinnerung daran, dass kein Wert das Lesen eines Beispiels der Beiträge ersetzen kann.

Wechseln Sie zu einem für Twitter optimierten Transformer

cardiffnlp/twitter-roberta-base-sentiment-latest ist ein RoBERTa-Base-Modell, das auf etwa 124 Millionen Tweets aus den Jahren 2018 bis 2021 trainiert und mit dem TweetEval-Benchmark auf Sentiment-Erkennung feinabgestimmt wurde. Es liefert negative, neutraloder positive mit einem Konfidenzwert, und in seiner Modellbeschreibung wird es als für Englisch geeignet beschrieben.

from transformers import pipeline

sentiment = pipeline(
    "sentiment-analysis",
    model="cardiffnlp/twitter-roberta-base-sentiment-latest",
    truncation=True,
)

for text, result in zip(cleaned, sentiment(cleaned, batch_size=32)):
    print(f"{result['label']:8} {result['score']:.3f}  {text}")

Der Transformer liest Wörter im Kontext und kommt daher in der Regel besser mit umgangssprachlichen Formulierungen, Slang und Emojis zurecht als eine Wortliste. Der Nachteil ist die Geschwindigkeit: Auf einer CPU ist er deutlich langsamer als VADER, und bei großen Batches ist eine GPU hilfreich. Ein gängiges Vorgehen ist es, VADER als schnelle Plausibilitätsprüfung beizubehalten und den Transformer für die Zahlen zu verwenden, die Sie ausweisen. Wenn die beiden bei Ihren Daten stark voneinander abweichen, ist das ebenfalls eine nützliche Information: Sehen Sie sich eine Stichprobe der Abweichungen an, denn diese deuten oft auf Sarkasmus, Produktnamen, die das Lexikon falsch interpretiert, oder Beiträge hin, die überhaupt nichts mit Ihrer Marke zu tun haben.

Wo Sentiment-Modelle X falsch einschätzen

Achte auf diese Fehlerquellen, bevor du Zahlen in ein Dashboard einfügst:

  • Sarkasmus und Ironie. „Das finde ich toll“ nach einer Beschwerde wird von vielen Modellen als positiv gewertet.
  • Zitat-Beiträge. Ein Zitat-Beitrag kann die Bedeutung des zitierten Beitrags umkehren, und bei der Bewertung des Textes allein wird dies übersehen.
  • Bots und Spam-Spitzen. Gewinnspiele, koordinierte Kampagnen und Copy-Paste-Antworten können die Ergebnisse eines ganzen Tages überschwemmen. Filtern Sie Beinahe-Duplikate heraus und betrachten Sie das Volumen pro Konto.
  • Nicht-englische Beiträge. Beide oben genannten Modelle sind auf Englisch abgestimmt. Filtern Sie nach dem lang Feld oder verwenden Sie ein mehrsprachiges Modell.
  • Kleine Stichproben. Ein Tag mit 12 Beiträgen kann von sehr positiv bis sehr negativ schwanken. Zeigen Sie das Volumen neben der Stimmung an und verwenden Sie breitere Kategorien, wenn die Anzahl gering ist.

Bevor Sie einem der beiden Modelle in Bezug auf Ihr Thema vertrauen, kennzeichnen Sie etwa 200 Beiträge aus Ihren eigenen Daten manuell und vergleichen Sie die Ergebnisse. Markennamen, Produktslang und Fachbegriffe beeinflussen die Interpretation des Textes, und eine kurze Überprüfung zeigt Ihnen, welches Modell und welche Schwellenwerte geeignet sind.

Wandeln Sie die Stimmung in Marketingkennzahlen um

Werte für einzelne Beiträge helfen einem Marketingteam nicht weiter. Tägliche Aggregate hingegen schon. Angenommen, jeder Datensatz enthält nun eine label Spalte aus dem Modell enthält, berechnet dieses Pandas-Skript vier Kennzahlen pro verfolgter Suchanfrage: Netto-Stimmung, Share of Voice, engagementgewichtete Stimmung und eine Warnmeldung bei negativen Spitzenwerten.

import numpy as np
import pandas as pd

df = pd.read_json("posts_scored.jsonl", lines=True)
df["day"] = pd.to_datetime(df["created_at"], utc=True).dt.floor("D")
df["polarity"] = df["label"].map({"positive": 1, "neutral": 0, "negative": -1})
df["engagement"] = df[["like_count", "reply_count", "repost_count", "quote_count"]].sum(axis=1)
df["weight"] = 1 + np.log1p(df["engagement"])
df["weighted_polarity"] = df["polarity"] * df["weight"]

daily = df.groupby(["query", "day"]).agg(
    posts=("post_id", "count"),
    pos=("polarity", lambda s: (s == 1).sum()),
    neg=("polarity", lambda s: (s == -1).sum()),
    weighted_polarity=("weighted_polarity", "sum"),
    weight=("weight", "sum"),
)
daily["net_sentiment"] = (daily["pos"] - daily["neg"]) / daily["posts"]
daily["share_of_voice"] = daily["posts"] / daily.groupby(level="day")["posts"].transform("sum")
daily["weighted_sentiment"] = daily["weighted_polarity"] / daily["weight"]

daily["neg_share"] = daily["neg"] / daily["posts"]
by_query = daily.groupby(level="query")["neg_share"]
baseline = by_query.transform(lambda s: s.rolling(14, min_periods=7).mean().shift(1))
spread = by_query.transform(lambda s: s.rolling(14, min_periods=7).std().shift(1))
daily["alert"] = daily["neg_share"] > baseline + 2 * spread

print(daily[["posts", "net_sentiment", "share_of_voice", "weighted_sentiment", "alert"]].tail(10))

Die Nettostimmung ergibt sich aus der Differenz zwischen positiven und negativen Beiträgen, geteilt durch die Gesamtzahl der Beiträge, und reicht somit von -1 bis 1. Der Share of Voice ist nur aussagekräftig, wenn alle Abfragen im Vergleich auf dieselbe Weise und mit denselben Filtern erfasst wurden. Die logarithmische Gewichtung verhindert, dass ein viraler Beitrag alles andere übertönt, und die Warnmeldung vergleicht jeden Tag mit den vorherigen 14 Tagen für diese Suchanfrage statt mit einer festen Zahl. Denken Sie daran, dass Engagement-Zahlen Momentaufnahmen sind: Ein Beitrag, der eine Stunde nach der Veröffentlichung erfasst wurde, wirkt ruhiger als einer, der einen Tag später erfasst wurde. Erfassen Sie die Zahlen daher nach einem festen Zeitplan oder erfassen Sie die Zahlen für aktuelle Beiträge erneut, bevor Sie Tage miteinander vergleichen.

Wenn Sie diese Zahlen präsentieren, setzen Sie die Anzahl der Beiträge neben jede Stimmungszahl und verknüpfen Sie jeden Ausschlag mit einer Stichprobe der zugrunde liegenden Beiträge, damit die Betrachter nachlesen können, was ihn ausgelöst hat. Ein Dashboard, das anzeigt, dass „die Nettostimmung um 0,3 gesunken ist“, ohne die dahinterstehenden Beiträge zu zeigen, lädt zu falschen Schlussfolgerungen ein. Kennzeichnen Sie bekannte Ereignisse wie Produkteinführungen, Ausfälle, Preisänderungen und Kampagnen, damit das Team eine Reaktion von Rauschen unterscheiden kann. Überprüfen Sie außerdem alle paar Monate Ihre manuell gekennzeichnete Stichprobe erneut, da sich die Art und Weise, wie Menschen über eine Marke sprechen, ändert und ein Modell, das im letzten Quartal noch gut passte, möglicherweise abweicht.

FAQ

Die Nutzungsbedingungen von X verbieten das Crawlen oder Scrapen ohne vorherige schriftliche Zustimmung, und die robots.txt-Datei untersagt generische Crawler. Gerichte haben den Zugriff auf öffentliche Daten und vertragliche Ansprüche unterschiedlich behandelt, und die Ergebnisse hängen vom jeweiligen Sachverhalt ab. Verwenden Sie nach Möglichkeit die offizielle API oder eine lizenzierte Quelle und holen Sie rechtlichen Rat ein, bevor Sie etwas anderes versuchen.

Kann man X ohne die API scrapen?

Renderte öffentliche Seiten zeigen einige Beiträge und Profile an, aber die Suche, vollständige Timelines und Follower-Listen sind hinter einer Anmeldung verborgen, und die Nutzungsbedingungen von X verbieten das Scraping ohne Zustimmung. Für die Stichwortsuche und Überwachung ist die offizielle X-API oder eine verwaltete Datenquelle der zuverlässige Weg; sie liefert Ihnen strukturierte Felder anstelle von HTML zum Parsen.

Kann man X-Beiträge sehen, ohne sich anzumelden?

Ausgeloggte Besucher können in der Regel einen einzelnen öffentlichen Beitrag und ein öffentliches Profil mit einer begrenzten Anzahl aktueller Beiträge aufrufen. Die Suche und die meisten Listen erfordern ein Konto, und X ändert ohne Vorankündigung, was sichtbar ist. Prüfen Sie, was tatsächlich verfügbar ist, bevor Sie etwas entwickeln, das auf den Zugriff im ausgeloggten Zustand angewiesen ist, und planen Sie ein, dass sich dies ändern kann.

Funktioniert snscrape noch für Twitter?

Nein. Die Twitter-Module von snscrape funktionieren seit 2023 nicht mehr, und twint ist archiviert. Die gepflegten Alternativen sind auf angemeldete Konten und Sitzungs-Cookies angewiesen, was zusätzlich zum Problem mit den Nutzungsbedingungen ein Konto-Risiko mit sich bringt. Die offizielle X-API mit ihren Endpunkten für die Suche in den letzten Beiträgen und im vollständigen Archiv ist der dokumentierte Ersatz für die Stichwortsuche.

Ist X in Bezug auf das Scraping dasselbe wie Twitter?

Ja. Twitter wurde 2023 in X umbenannt, und twitter.com leitet auf x.com weiter. Die Plattform, die Daten und die API sind identisch, und viele Endpunktpfade, Bibliotheksmethoden und Modellnamen verwenden weiterhin „tweet“. Suchen Sie bei der Suche nach Dokumentation nach beiden Namen, da in älteren Anleitungen durchgehend von Twitter die Rede ist.

Was ist das beste Sentiment-Modell für Tweets?

Beginnen Sie mit VADER, um eine schnelle, regelbasierte Basis zu erhalten, die überall läuft. Für bessere Ergebnisse bei informellen Beiträgen verwenden Sie ein auf Tweets trainiertes Modell, wie beispielsweise „Twitter RoBERTa“ von cardiffnlp. Egal, für welches Modell Sie sich entscheiden: Testen Sie es anhand einiger hundert manuell gekennzeichneter Beiträge aus Ihrem eigenen Themenbereich, bevor Sie Ergebnisse daraus veröffentlichen.

Wie viel kostet die X-API?

Die X-API arbeitet nach einem Pay-per-Use-Preismodell. Sie kaufen Credits in der Entwicklerkonsole, und bei jeder Anfrage werden Credits entsprechend den zurückgegebenen Ressourcen abgezogen, wobei die Tarife je nach Endpunkt variieren. Da sich die Tarife ändern können, sollten Sie die Preisseite für Entwickler von X überprüfen und ein Ausgabenlimit festlegen, bevor Sie die Kosten für ein Projekt schätzen.

Fazit

Der Weg von X-Beiträgen zu einer Marketing-Erkenntnis ist ein Kettenprozess: Wählen Sie einen Zugriffsweg, der den Bedingungen von X entspricht, speichern Sie jeden Beitrag als sauberen Datensatz mit einer ID und zwei Zeitstempeln, bewerten Sie ihn zunächst mit einem Basis-Modell und anschließend mit einem auf Twitter abgestimmten Modell und aggregieren Sie die Bewertungen zu täglicher Netto-Stimmung, Share of Voice und Benachrichtigungen. Die offizielle API deckt die Suche ab, verwaltete Daten richten sich an Teams, die fertige Datensätze wünschen, und das Rendern bleibt auf bestimmte öffentliche Seiten beschränkt, die Ihre rechtliche Prüfung abdeckt. Die Analyseschritte sind unabhängig vom gewählten Weg identisch, sodass Sie später den Weg wechseln können, ohne Ihr Dashboard neu erstellen zu müssen.

Öffentliche Seiten rendern und bereinigte Felder zurückerhalten

Senden Sie eine öffentliche URL an die Scraper-API und erhalten Sie HTML oder ausgewählte Felder als JSON, wobei JavaScript die Darstellung übernimmt, wenn die Seite dies erfordert. Beginnen Sie mit 5.000 kostenlosen Anfragen. Fehlgeschlagene Anfragen werden nicht in Rechnung gestellt, und es fallen keine zusätzlichen Kosten für die JavaScript-Darstellung oder Geotargeting an.

Preise für die Scraper-API anzeigen

Über den Autor

Raluca Penciuc, Full-Stack-Entwickler @ WebScrapingAPI

Raluca Penciuc

Full-Stack-Entwickler

Raluca Penciuc ist Full-Stack-Entwicklerin bei WebScrapingAPI. Sie entwickelt Scraper, verbessert Umgehungsstrategien und findet zuverlässige Wege, um die Erkennung auf Zielwebsites zu verringern.

Web-Scraping mit AWS Lambda: Leitfaden für Python und Java 2026
Anleitungen

Web-Scraping mit AWS Lambda: Leitfaden für Python und Java 2026

TL;DR: Kurz gesagt: Web-Scraping mit AWS Lambda funktioniert am besten, wenn jeder Aufruf kurz, begrenzt und unabhängig wiederholbar ist. Beginnen Sie mit direktem HTTP, AWS SAM und S3 und fügen Sie erst dann SQS, Container, Browser-Rendering, Proxys oder eine verwaltete Abrufebene hinzu, wenn sich im Rahmen der Arbeitslast herausstellt, dass diese erforderlich sind.

Suciu Dan26 min read
Artikel lesen
So verwenden Sie GoSpider: Crawlen, URLs bereinigen und Daten extrahieren
Anleitungen

So verwenden Sie GoSpider: Crawlen, URLs bereinigen und Daten extrahieren

TL;DR: GoSpider ist ein Befehlszeilen-Crawler zum Auffinden von URLs, kein vollständiger Scraper für strukturierte Daten. Diese Anleitung zur Verwendung von GoSpider zeigt einen begrenzten Crawl, die saubere Verarbeitung der Ausgabe, die Übergabe von Colly an CSV sowie einen Diagnosepfad für 403-Antworten oder Seiten, die eine JavaScript-Darstellung erfordern.

Suciu Dan20 min read
Artikel lesen
Wie man Redfin scrappt: Python-Leitfaden für Immobiliendaten
Anleitungen

Wie man Redfin scrappt: Python-Leitfaden für Immobiliendaten

TL;DR: Redfin stellt versteckte API-Endpunkte zur Verfügung, die strukturiertes JSON für Immobilienangebote zurückgeben, wodurch das fragile HTML-Parsing vollständig übersprungen werden kann. Diese Anleitung führt Sie durch den Aufbau eines Python-Scrapers, der Miet- und Verkaufsdaten extrahiert, nach Standort sucht, neue Angebote über XML-Sitemaps überwacht und saubere Ergebnisse in CSV oder JSON exportiert.

Suciu Dan11 min read
Artikel lesen

Los geht’s

Sind Sie bereit, Ihre Datenerfassung zu erweitern?

Schließen Sie sich den über 2.000 Unternehmen an, die WebScrapingAPI nutzen, um Webdaten im Unternehmensmaßstab ohne zusätzlichen Infrastrukturaufwand zu extrahieren.