Wie man Walmart.com scrapen kann: 2026 End-to-End-Anleitung

Walmart ist die Art von Katalog, die eine vollständige Pipeline für Preis- oder Wettbewerbsanalysen rechtfertigt. Wenn Sie nur ein Produkt benötigen, reicht ein 10-zeiliges Skript aus. Wenn Sie jedoch Tausende von SKUs benötigen, die täglich aktualisiert werden, ändert sich das Bild schnell: versteckte JSON-Daten, Paginierungsbeschränkungen, ZIP-abhängige Preisgestaltung und ein Anti-Bot-Stack, der weit mehr als nur Ihren User-Agent prüft. Dieses Tutorial aus dem Jahr 2026 behandelt, wie man Walmart-Produktdaten so webscrapt, wie Teams dies tatsächlich in der Produktion umsetzen, einschließlich des Punktes, an dem es sinnvoll ist, den Kampf gegen die Anti-Bot-Schicht aufzugeben und stattdessen auf eine verwaltete API umzusteigen.

Bevor wir uns damit befassen, wie man Walmart per Code web-scrapt, ist es hilfreich, sich darüber im Klaren zu sein, warum man das tut. Die Anwendungsfälle konzentrieren sich in der Regel auf eine Handvoll Aufgaben: Preisintelligenz und MAP-Überwachung bei Wiederverkäufern, Katalog- und Kategoriezuordnung, Nachschubbenachrichtigungen, Analyse der Bewertungsstimmung und Abdeckung der SKUs von Wettbewerbern. Walmarts eigene Angebote und die von Drittanbietern auf dem Marktplatz verwenden dasselbe Schema für Produktseiten, was den Datensatz besonders nützlich macht, um in Echtzeit zu verstehen, wie eine gesamte Kategorie preislich gestaltet ist und versendet wird. Über Titel und Preise hinaus zeigen Produktseiten auch Bewertungen, die Anzahl der Rezensionen, Variantenmatrizen, Verkäuferinformationen und Fulfillment-Daten pro Postleitzahl an – also genau die Felder, die Preismodelle tatsächlich speisen.

Zunächst ein kurzer Haftungsausschluss: Dies ist eine allgemeine Orientierungshilfe, keine Rechtsberatung. Öffentliche Produktdaten auf walmart.com gelten im Allgemeinen als zulässig, wenn sie in langsamen, respektvollen Raten erfasst werden, die den Dienst nicht beeinträchtigen; das rechtliche Risiko ist jedoch jurisdiktions- und vertragsabhängig (die Nutzungsbedingungen von Walmart spielen eine Rolle). Lesen Sie walmart.com/robots.txt und beachten Sie die dortigen Disallow Richtlinien. Halten Sie sich fern von allem, was eine Anmeldung erfordert oder personenbezogene Daten enthält, einschließlich E-Mail-Adressen von Rezensenten, Bestellnummern und Zahlungsdetails. Die DSGVO und der CCPA schränken den Umgang mit personenbezogenen Daten ein, selbst wenn diese technisch erreichbar sind. Eine sichere Vorgehensweise: Beschränken Sie sich auf Felder zu Produkt, Preis, Bewertungen und Lagerbestand, drosseln Sie die Abfrage aggressiv und konsultieren Sie einen Anwalt vor jeder kommerziellen Nutzung. (Wenn Sie sich eingehender informieren möchten, behandelt unser umfassender Leitfaden zur Rechtmäßigkeit von Web Scraping die einschlägige Rechtsprechung.)

Sie benötigen Python 3.11+ und eine saubere virtuelle Umgebung. Die Mindestausstattung:

python -m venv .venv && source .venv/bin/activate
pip install requests httpx beautifulsoup4 pandas loguru

• requests (oder httpx falls Sie Async verwenden möchten): der HTTP-Client
• beautifulsoup4: HTML-Parsing für das sichtbare DOM
• pandas: Tabellarischer Export und pd.json_normalize für verschachteltes JSON
• loguru: strukturierte Protokolle, die auch bei langen Läufen erhalten bleiben

Eine sinnvolle Ordnerstruktur:

walmart-scraper/
├── walmart/
│   ├── fetch.py        # request + retry layer
│   ├── parse.py        # __NEXT_DATA__ extractor
│   ├── discover.py     # sitemap + search crawler
│   └── scaler.py       # async runner
├── data/
└── main.py

Walmart.com ist eine Next.js-Anwendung. Wenn du eine Produktseite aufrufst, gibt der Server eine minimale HTML-Shell sowie ein <script id="__NEXT_DATA__"> Element, das den gesamten vorgerenderten Zustand der Seite als JSON enthält. Der Browser füllt diesen Zustand dann in den React-Baum ein, den Sie sehen; CSS-Selektoren erfassen nur das, was die Einbindung übersteht, was bei Walmart eine kleine Teilmenge des zugrunde liegenden Datensatzes ist.

Das ist wichtig, weil die meisten „Mein Walmart-Scraper funktioniert nicht mehr“-Tickets von reinen CSS-Scrapern stammen, die nach Klassennamen suchen, die sich mit jedem Release ändern. Das strukturierte JSON in __NEXT_DATA__ ist weitaus stabiler: Es enthält das kanonische Produktobjekt einschließlich Preisstufen, Varianten, Bewertungen, Verkäufern, Versandoptionen und ZIP-abhängiger Verfügbarkeit. Behandeln Sie es als primäres Parsing-Ziel und das gerenderte DOM als Fallback für Felder, die Sie im JSON nicht finden können.

Fang klein an. Wähle eine kanonische URL der Form https://www.walmart.com/ip/<slug>/<id> und lernen Sie, wie man Walmart mit einem einzigen GET-Request scrapt, bevor Sie sich mit Parallelität oder Proxys beschäftigen.

import requests

URL = "https://www.walmart.com/ip/AT-T-iPhone-14-128GB-Midnight/1756765288"
HEADERS = {
    "User-Agent": (
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 13_5) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/124.0.0.0 Safari/537.36"
    ),
    "Accept-Language": "en-US,en;q=0.9",
}

resp = requests.get(URL, headers=HEADERS, timeout=20)
print(resp.status_code, len(resp.text))

Zwei Antworten sind hier interessant: ein 200 mit dem Produkt-HTML oder ein 200 mit einem „Robot or human?“-Interstitial. Das Interstitial ist eine weiche Blockierung, kein 4xx-Fehler, also überprüfe immer den Body, nicht nur den Statuscode. Wenn die Antwort die Interstitial-Zeichenkette enthält oder ungewöhnlich kurz ausfällt (ein paar KB), behandle die Anfrage als fehlgeschlagen und zieh dich zurück.

Eine minimalistische Python-Anfrage wird sofort als verdächtig markiert. Sende mindestens einen aktuellen Chrome- oder Firefox-Header User-Agentsowie Accept, Accept-Language, Sec-Ch-Uasowie eine glaubwürdige Referer (ein Google-Suchergebnis oder die entsprechende Walmart-Kategorieseite). Halte einen kleinen Pool an UA-Strings bereit und wechsle diese pro Sitzung, nicht pro Anfrage. Beachte außerdem, dass Walmart zusätzlich zu den Headern den TLS-Handshake (JA3/JA4-Fingerabdrücke) überprüft, sodass ein perfekter Header-Stack von requests kann dennoch fehlschlagen, da das zugrunde liegende TLS-Profil „Python“ schreit. Tools wie curl_cffi helfen dabei, einen echten Browser-Fingerabdruck nachzuahmen, wenn dies zum Engpass wird.

Für schnelle Überprüfungen und für Felder, die das eingebettete JSON nicht offenlegt, reicht BeautifulSoup völlig aus.

from bs4 import BeautifulSoup

soup = BeautifulSoup(resp.text, "html.parser")

title = soup.find("h1", attrs={"itemprop": "name"})
price = soup.find("span", attrs={"itemprop": "price"})
images = [
    img.get("src")
    for img in soup.select("img[loading='lazy']")
    if img.get("src")
]

print(title.get_text(strip=True) if title else None)
print(price.get_text(strip=True) if price else None)

Dies funktioniert für den Titel und den sichtbaren Preis, ist jedoch anfällig. Walmart tauscht häufig itemprop Markup gegen Utility-Klassen aus, und der sichtbare Preis weicht oft vom kanonischen Preis ab (Abonnentenpreise, Preisrücknahme, lokal im Laden). Verwenden Sie dies als Plausibilitätsprüfung. Wenn Sie sich tiefer in die von uns verwendeten BeautifulSoup-Abfragemuster einarbeiten möchten, ist unser spezielles BeautifulSoup-Tutorial eine gute Lektüre. Behandeln Sie das __NEXT_DATA__ JSON, das wir als Nächstes extrahieren, als die Quelle der Wahrheit.

Wer es ernst meint mit dem Web-Scraping bei Walmart, sollte __NEXT_DATA__ seine erste Anlaufstelle machen. Der vollständige Produktdatensatz befindet sich in diesem einzigen Skript-Tag.

import json

raw = soup.find("script", id="__NEXT_DATA__")
payload = json.loads(raw.string)

product = (
    payload["props"]["pageProps"]
    ["initialData"]["data"]["product"]
)

print(product["name"])
print(product["priceInfo"]["currentPrice"]["price"])
print(product["averageRating"], product["numberOfReviews"])

Sie haben nun ein Wörterbuch mit Name, Preisstufen, Marke, Modell, Bildergalerie, Beschreibungen, Durchschnittsbewertung, Anzahl der Bewertungen, Verkäuferblock und einem Fulfillment-Knoten. Durchlaufen Sie es einmal mit pprint, und schreiben Sie dann die Schlüssel, die Sie tatsächlich benötigen, in eine kleine Extraktionsfunktion. Umschließen Sie den indizierten Zugriff mit try/except KeyError, da Walmart die Baumstruktur umgestaltet (initialData.data.product im Gegensatz initialData.data.contentLayout) ohne Vorwarnung um.

Eine URL reicht aus, um den Parser zu erlernen; in der Produktion werden viele benötigt. Das leichtgewichtige Muster ist httpx.AsyncClient mit einer begrenzten asyncio.Semaphore (beginnen Sie mit 5 bis 10 gleichzeitigen Anfragen), einem Jitter von 1 bis 3 Sekunden zwischen den Anfragen und der Wiederverwendung von Sitzungen pro Host, damit Cookies erhalten bleiben. Halten Sie die Parallelität konservativ: Walmart bevorzugt gleichmäßige, langsame Aufrufe gegenüber Spitzenlasten. Legen Sie Abruf und Parsen in separate Aufgabengruppen, damit eine Parsing-Ausnahme die Abrufschleife nicht unterbricht. Das gleiche Muster findet sich in unserer Anleitung zum Scraping von Amazon, falls Sie einen direkten Vergleich für einen anderen großen Katalog wünschen.

Sie finden URLs auf zwei sich ergänzende Arten. Erstens walmart.com/robots.txt listen Sie Sitemap-Indizes auf; die Kategorie-Sitemap ist am dichtesten, mit Millionen von /ip/ nach Abteilungen gruppierten URLs. Rufen Sie den Index ab, holen Sie jede untergeordnete Sitemap und fügen Sie die URLs in Ihre Warteschlange ein. Zweitens akzeptiert der Such-Endpunkt auf der Website Abfrageparameter wie q, page, sortund eine lange Liste von Facetten. Die HTML-Antwort enthält eine JSON-Nutzlast mit der Produktliste, also parsen Sie dieses JSON, anstatt gerenderte Karten zu scrapen. Kombinieren Sie beides: Sitemaps für die Breite, die Suche für eine ranking-bewusste Abdeckung einer bestimmten Kategorie. (Unser ultimativer Walmart-Leitfaden geht tiefer auf die Sitemap-Topologie ein, falls Sie eine Referenzkarte benötigen.)

Laut öffentlich berichteten Tests begrenzt Walmart eine einzelne Suchanfrage auf etwa 25 Ergebnisseiten, unabhängig davon, wie viele Ergebnisse tatsächlich übereinstimmen. Testen Sie erneut, bevor Sie sich auf eine bestimmte Zahl verlassen, da sich die Obergrenze im Laufe der Jahre verschoben hat. Die Lösung ist Segmentierung: Teilen Sie eine breite Suchanfrage nach Kategorie, Markenfacette, Preisklasse und Zustand auf und greifen Sie dann auf jedes Segment unterhalb der Obergrenze pro Suchanfrage zu. Umgekehrtes Sortieren (sort=price_high plus sort=price_low) und das Kombinieren von Facetten können die erreichbare Abdeckung grob auf etwa 50 Seiten oder 2.000 Produkte pro Suchanfrage verdoppeln, wiederum laut Tests von Drittanbietern. Planen Sie Ihre Erkundung als Baum aus gezielten Suchanfragen, nicht als flache Schleife mit Seitenzahlen.

Sobald Sie __NEXT_DATA__, liegen die wertvollen Felder direkt vor Ihnen. Bewertungen und Gesamtbewertungen befinden sich unter product.idmlInfo und product.reviews; das Array pro Bewertung enthält, sofern vorhanden, die Anzahl der Sterne, den Titel, den Text und das Flag für verifizierte Käufe. Varianten befinden sich unter product.variantsMap nach SKU sortiert, mit Attributen wie Farbe und Kapazität. Die Versanddaten befinden sich unter product.fulfillmentOptions, mit voraussichtlichen Lieferterminen, der Möglichkeit zur Abholung im Laden und einem storeId Feld. Preise und Verfügbarkeit variieren je nach Postleitzahl, also setze das assortmentStoreId und customer-zip Cookies vor jeder Anfrage, um lokalisierte Daten abzusichern.

reviews = product.get("reviews", {}).get("customerReviews", [])
variants = product.get("variantsMap", {})
fulfillment = product.get("fulfillmentOptions", [])

Sobald Sie eine Liste von Produkt-Dicts haben, erledigt pandas den Rest:

import pandas as pd

df = pd.json_normalize(records, sep="_")
df.to_csv("walmart_products.csv", index=False)
df.to_parquet("walmart_products.parquet", index=False)

json_normalize Es glättet verschachtelte Schlüssel in Spalten wie priceInfo_currentPrice_price, was für SQL vorteilhaft ist. Speichern Sie Bewertungen und Varianten in separaten Tabellen mit der übergeordneten Produkt-ID als Fremdschlüssel, da das Abflachen von Eins-zu-Viele-Feldern in eine einzige Zeile fast immer später Probleme verursacht.

Die meisten Teams, die das Web-Scraping von Walmart als wiederkehrendes Problem betrachten, setzen einen mehrschichtigen Anti-Block-Stack mit vier beweglichen Teilen ein.

• Proxys. Private IP-Adressen sind von denen regulärer Walmart-Käufer kaum zu unterscheiden; IP-Adressen von Rechenzentren werden in großem Maßstab markiert. Von Anbietern veröffentlichte Erfolgsraten sind Marketingzahlen, also führen Sie einen Benchmark mit Ihren eigenen URLs durch, bevor Sie sich festlegen.
• Rotationshäufigkeit. Rotieren Sie pro Sitzung für Crawl-artige Erkundung, pro Anfrage für Überwachung mit hohem Datenaufkommen. Halten Sie Sitzungen mindestens für die Dauer eines mehrstufigen Ablaufs (Suche, Produkt, Bewertungen) aufrecht, damit Cookies konsistent bleiben.
• Wiederholungsversuche mit exponentiellem Backoff. Bei 403 oder bei einem 429 (dem in RFC 6585 definierten HTTP-Statuscode) warten Sie 2^n + jitter Sekunden auf bis zu 5 Versuche, bevor die URL für einen späteren Durchlauf zurückgestellt wird.
• Header- und Cookie-Disziplin. Rotieren Sie UA-Pools zusammen mit IPs und bewahren Sie Cookies innerhalb eines requests.Session() , sodass Walmart einen einheitlichen Besucher sieht.

proxies = {
    "http":  "http://USER:PASS@gate.example.com:7777",
    "https": "http://USER:PASS@gate.example.com:7777",
}
resp = requests.get(URL, headers=HEADERS, proxies=proxies, timeout=20)

Ein verwalteter Proxy-Pool mit Sticky Sessions spart mehr Zeit als eine selbst erstellte Rotation, sobald du mehrere hundert Seiten pro Tag überschreitest. Unser ausführlicher Leitfaden zur Proxy-Rotation in Python behandelt genau die Rotationsmuster, die sich bei den Anti-Bot-Updates von Walmart bewährt haben.

Bei einigen Tausend Seiten pro Tag dreht sich das Blatt. Sie geben mehr für Entwicklungsstunden aus, um JA3-Fingerabdrücke zu patchen, UA-Pools zu aktualisieren und Layoutänderungen nachzuverfolgen, als Sie für einen verwalteten Endpunkt ausgeben würden. Eine Walmart-Scraper-API wie die WebScrapingAPI Scraper API verwaltet das Proxy-Netzwerk, den Header-Stack, das JavaScript-Rendering und die CAPTCHA-Lösung hinter einer einzigen URL und berechnet Ihnen nur erfolgreiche Antworten. Sie behalten Ihren __NEXT_DATA__ Parsing-Code; Sie tauschen lediglich die Abrufebene aus. Wenn Sie Anmeldeabläufe oder interaktives Crawling benötigen (Durchklicken von Größenvarianten, Erweitern von Bewertungsseiten), erweitert eine gehostete Browser-API dasselbe Modell auf einen Remote-Chrome, den Sie mit Puppeteer oder Playwright skripten.

Speichern Sie den Roh-HTML-Code für jeden fehlgeschlagenen Parsing-Vorgang und vergleichen Sie dann Woche für Woche die Schlüsselpfade, da Walmart JSON-Schlüssel stillschweigend ändert. Wenn Preise falsch erscheinen, überprüfen Sie das ZIP-Cookie. Wenn Bewertungs-Arrays leer zurückkommen, sind Sie wahrscheinlich blockiert, nicht fertig. Protokollieren Sie immer die Antwortlänge: Eine 4-KB-Seite mit der Frage „Roboter oder Mensch?“ ist Ihr frühestes Signal, dass sich etwas geändert hat.

Du hast nun einen vollständigen Plan, wie du Walmart von Anfang bis Ende webscrapen kannst. Wähle das kleinste Teil aus, das du noch nicht hast (Sitemap-Erkennung, Wiederholungsversuche, den JSON-Parser), und setze das als Nächstes um.

• Behandeln Sie __NEXT_DATA__ JSON, nicht das gerenderte DOM, als Ihr primäres Parsing-Ziel auf den Produkt- und Suchseiten von Walmart.
• Die Erkennung besteht aus zwei kombinierten Systemen: walmart.com/robots.txt Sitemaps für die Katalogbreite und den Such-Endpunkt für eine rankingorientierte Abdeckung.
• Das von Walmart gemeldete Suchlimit von ca. 25 Seiten wird durch die Segmentierung von Suchanfragen nach Kategorie, Facette, Preisklasse und umgekehrter Sortierung gelöst.
• Ein echter Anti-Block-Stack ist mehrschichtig aufgebaut: Residential-Proxys, Rotationsrhythmus, exponentieller Backoff bei 403/429 und kohärente Session-Cookies.
• Sobald Ihr tägliches Volumen einige Tausend Seiten überschreitet, ist eine verwaltete Scraper-API in der Regel kostengünstiger als die Wartung eines selbst erstellten Anti-Bot-Systems.

Im Allgemeinen ja, für öffentliche Produkt-, Preis- und Bewertungsdaten, mit Einschränkungen. Die US-Rechtsprechung (insbesondere hiQ gegen LinkedIn) hat gezeigt, dass das Scraping öffentlicher Webdaten nicht automatisch einen Verstoß gegen den CFAA darstellt, aber die Nutzungsbedingungen von Walmart, das Urheberrecht an Bewertungstexten und Gesetze wie die DSGVO und der CCPA gelten weiterhin. Vermeiden Sie Seiten, für die eine Anmeldung erforderlich ist, sowie personenbezogene Daten, drosseln Sie die Abfragehäufigkeit angemessen und konsultieren Sie einen Anwalt vor der kommerziellen Nutzung.

Walmart betreibt eine Affiliate-API und eine Marketplace-Seller-API, aber keine davon ist eine allgemein zugängliche Produktdaten-API für die Öffentlichkeit. Die Affiliate-API ist an eine Programmzulassung gebunden und in Bezug auf Felder und Rate begrenzt, und die Marketplace-API stellt nur Daten für Artikel bereit, die Sie selbst auf Walmart verkaufen. Für eine umfassende Abdeckung von Katalog, Preisen und Bewertungen ist das Scraping zum Zeitpunkt der Erstellung dieses Artikels die praktikabelste Option.

Diese Seite ist Walmarts Anti-Bot-Prüfung, die ausgelöst wird, wenn ein oder mehrere Signale auf einen Bot hindeuten: eine Rechenzentrums-IP, ein Python-TLS-Fingerabdruck, ein fehlender Sec-Ch-Ua Header, eine ungewöhnliche Anfragekadenz oder fehlende First-Party-Cookies. Es handelt sich um einen Soft-200-Fehler, nicht um einen 403-Fehler, überprüfen Sie also den Antworttext. Die Lösung ist mehrschichtig: private IP-Adresse, TLS auf Browserebene, vollständiger Header-Stack und Anfragekadenz.

Für die meisten Produkt-, Such- und Bewertungsseiten reicht requests plus BeautifulSoup aus, da die Daten im servergerenderten __NEXT_DATA__ JSON. Greifen Sie nur dann auf Playwright oder Puppeteer zurück, wenn Sie durch interaktive Elemente (Größenauswahl, verzögert geladene Bewertungsseiten) klicken müssen oder wenn die Anti-Bot-Prüfung eine echte JavaScript-Umgebung erfordert, um bestanden zu werden.

Denken Sie nicht mehr in Seitenzahlen, sondern in Segmenten. Teilen Sie die Abfrage nach Kategorie, Marke, Preisklasse ($0 to 25, $25 to 50usw.), Abteilung und Zustand auf, sodass jede einzelne Abfrage unter das Limit pro Abfrage fällt. Kombiniere aufsteigende und absteigende Sortierungen, um jedes Segment zu erweitern. Gliedere die Ergebnisse anhand der Kategorie-Sitemap ab, um alles zu ergänzen, was bei der Segmentierung übersehen wurde.

Das Scraping von Walmart im Jahr 2026 ist ein lösbares technisches Problem, wenn man die Struktur der Website berücksichtigt. Parsen Sie das eingebettete __NEXT_DATA__ JSON, anstatt gegen die Fluktuation der Klassennamen anzukämpfen. Finden Sie URLs gemeinsam über Sitemaps und den Such-Endpunkt, segmentieren Sie Ihre Abfragen, um die Seitenbegrenzung zu umgehen, und sichern Sie die Abrufebene mit Residential-Proxys, Sticky Sessions und exponentiellem Backoff bei 403 und 429. Exportieren Sie über pd.json_normalize , damit die nachgelagerte Analyseebene zufrieden ist, und bewahren Sie das rohe HTML auf, damit Sie wichtige Pfade nach Walmarts nächster stiller Änderung vergleichen können.

Die ehrliche Entscheidung fällt bei Skalierung. Wenn Sie mehr für Entwicklungsstunden zur Korrektur der Anti-Bot-Logik ausgeben, als die Daten wert sind, ist das Ihr Signal. Unsere WebScrapingAPI Scraper API übernimmt die Abruf-, Proxy- und CAPTCHA-Ebene hinter einem Endpunkt, sodass Sie den gerade erstellten Parser behalten und nur für erfolgreiche Antworten bezahlen. Welchen Weg Sie auch wählen, Sie haben nun das Playbook, um noch diese Woche eine funktionierende Walmart-Pipeline bereitzustellen.