Ist Web Scraping im Jahr 2026 noch legal? Rahmen für die Einhaltung der Vorschriften

Wenn Sie vor dem Einsatz eines Scrapers innegehalten und sich gefragt haben: „Ist Web-Scraping in meinem Fall legal?“, stellen Sie die richtige Frage. Web-Scraping ist das automatisierte Sammeln von Daten von Websites mithilfe von Skripten, die menschliches Surfen nachahmen, und an sich ist es in den USA, der EU, Großbritannien oder Kanada nicht illegal. Kein Gesetz nennt „Web-Scraping“ als Straftat.

Was reguliert wird, ist alles rund um das Scraping: die Daten, die Sie abrufen, wie Sie an sie gelangt sind, wo sich die Personen und Server befinden und was Sie anschließend mit den Daten machen. Ein Scraper, der öffentliche Produktpreise abruft, befindet sich in einer ganz anderen rechtlichen Lage als einer, der sich in ein soziales Netzwerk einloggt, um Profile zu sammeln.

Dieser Leitfaden richtet sich an Entwickler, Dateningenieure, Growth- und SEO-Teams sowie Gründer, die vor dem Start eine fundierte Antwort benötigen. Wir behandeln das Urteil, den Rechtsrahmen, die Übersicht über die Rechtslage in verschiedenen Ländern, die Präzedenzfälle (einschließlich des Urteils von 2024, das in den meisten älteren Leitfäden übersehen wird) und eine praktische Checkliste zur Einhaltung der Vorschriften.

Ja, in den meisten Fällen, mit wichtigen Einschränkungen. Scraping ist an sich nicht illegal, und viele legitime Unternehmen (Suchmaschinen, Preisvergleichsseiten, akademische Forscher) nutzen es. Die Aktivität wird riskant und manchmal rechtswidrig, wenn sie mit anderen Vorschriften kollidiert: dem US-amerikanischen CFAA, Datenschutzrahmenwerken wie der DSGVO, dem britischen Data Protection Act, dem kalifornischen CCPA und dem kanadischen PIPEDA sowie dem Urheber- und Vertragsrecht.

Die Antwort auf die Frage „Ist Web-Scraping im Jahr 2026 legal?“ hängt also von drei Faktoren ab, die Sie selbst beeinflussen können: dem Datentyp, der Zugriffsmethode (öffentliche URL vs. Login oder Paywall) und der geltenden Rechtsordnung.

Bevor Sie einen Selektor schreiben, gehen Sie mit Ihrem Ziel diese fünf Fragen durch.

1. Datentyp. Öffentliches HTML, eingebettetes JSON, personenbezogene Daten, urheberrechtlich geschützte Medien oder Inhalte hinter einer Paywall? Jede Kategorie weist ein anderes Risikoprofil auf.
2. Zugriffspfad. Kann ein nicht angemeldeter Besucher diese URL aufrufen? Wenn Sie sich anmelden, eine Clickwrap-Vereinbarung akzeptieren oder eine Paywall umgehen müssen, befinden Sie sich nicht mehr im Bereich rein öffentlicher Daten.
3. Rechtsraum. Wo wird die Website gehostet, wo leben die betroffenen Personen und von wo aus werden Sie operieren?
4. Verwendungszweck. Interne Analysen, öffentliches Dashboard, Weiterverkauf oder KI-Training? Die nachgelagerte Nutzung verändert die Risiken in Bezug auf Urheberrecht und Datenschutz.
5. Speicherung und Aufbewahrung. Wie lange werden Sie Aufzeichnungen aufbewahren, und gibt es einen Löschweg, falls eine betroffene Person dies verlangt?

Jedes „Ich bin mir nicht sicher“ ist ein Auslöser für eine rechtliche Prüfung.

Es gibt kein globales „Web-Scraping-Gesetz“. Sie unterliegen den Verpflichtungen jeder Rechtsordnung, die Ihren Betrieb betrifft. Die folgenden fünf Punkte decken die meisten Produktionsprojekte ab und zeigen auf, wann die Rechtmäßigkeit von Web-Scraping von „ja“ zu „es kommt darauf an“ wechselt.

In den USA ist der Computer Fraud and Abuse Act das Gesetz, das am häufigsten gegen Scraper angeführt wird. Es wurde zur Bestrafung von Hacking verfasst, und der Dreh- und Angelpunkt ist der „unbefugte Zugriff“. Bundesgerichte haben in der Rechtssache hiQ Labs gegen LinkedIn und verwandten Fällen signalisiert, dass das Scraping des offenen Webs ohne Login- oder Passwortbarriere nicht als unbefugter Zugriff angesehen wird. Das Abrufen von Inhalten hinter einer Barriere, für die Anmeldedaten erforderlich sind, ist eine andere Sache.

Die seit dem 25. Mai 2018 geltende DSGVO verbietet das Scraping nicht. Sie regelt die Verarbeitung personenbezogener Daten von EU-Bürgern, unabhängig davon, wo sich der Scraper befindet. Wenn Ihr Datensatz Namen, E-Mail-Adressen, IP-Adressen oder andere Felder enthält, die eine Person identifizieren, benötigen Sie eine rechtmäßige Grundlage, müssen die Datenerhebung auf ein Minimum beschränken und Löschungs- sowie Auskunftsersuchen nachkommen. Eine öffentliche E-Mail-Adresse gilt weiterhin als personenbezogene Daten; deren Erfassung ohne klaren Zweck ist ein bekanntes Ziel von Durchsetzungsmaßnahmen.

Das britische Datenschutzgesetz spiegelt in Verbindung mit der britischen DSGVO die EU-Vorschriften in fast allen hier relevanten Punkten wider. Wenn Ihre Zielgruppen Daten über Einwohner des Vereinigten Königreichs enthalten oder Ihr Scraper vom Vereinigten Königreich aus operiert, gelten dieselben Verpflichtungen hinsichtlich rechtmäßiger Grundlage, Zweckbindung, Datenminimierung und Auskunftsrechten der betroffenen Personen. Zum Zeitpunkt der Erstellung dieses Artikels sind die Abweichungen geringfügig.

Wenn Ihr Scraping kalifornische Verbraucher betrifft, gilt der California Consumer Privacy Act, auch wenn sich Ihre Server an einem anderen Ort befinden. Der CCPA gewährt Verbrauchern das Recht zu erfahren, welche personenbezogenen Daten Sie speichern, dem Verkauf oder der Weitergabe dieser Daten zu widersprechen, deren Löschung zu verlangen und Vergeltungsmaßnahmen zu vermeiden. Im Gegensatz zur DSGVO stützt sich der CCPA eher auf Offenlegung und Widerspruchsrecht als auf eine vorherige Einwilligung, doch die operativen Auswirkungen auf einen gescrapten Datensatz sind ähnlich: Halten Sie eine Löschpipeline bereit.

Kanadas Gesetz zum Schutz personenbezogener Daten und elektronischer Dokumente (PIPEDA) regelt den Umgang mit personenbezogenen Daten kanadischer Nutzer. PIPEDA setzt auf Einwilligung: Erheben Sie personenbezogene Daten nur mit fundierter Kenntnis und Einwilligung und nur für Zwecke, die eine vernünftige Person als angemessen erachten würde. Behandeln Sie kanadische personenbezogene Daten genauso wie personenbezogene Daten aus der EU.

Gerichtsurteile machen die abstrakte Frage, ob Web-Scraping legal ist, konkret. Behandeln Sie die unten aufgeführten Daten und Details als berichtet und überprüfen Sie sie anhand einer Primärquelle, bevor Sie sich darauf verlassen.

Die ersten Verhandlungsrunden in der Rechtssache hiQ Labs gegen LinkedIn werden weithin als gute Nachricht für Scraper gewertet: Ein Bundesgericht entschied Berichten zufolge, dass das Abrufen öffentlich zugänglicher LinkedIn-Profildaten keinen unbefugten Zugriff im Sinne des CFAA darstelle, da diese Seiten nicht durch ein Passwort geschützt waren. Bis Ende 2022 einigten sich die Parteien laut öffentlicher Berichterstattung, und es wurde eine dauerhafte Unterlassungsverfügung gegen hiQ erlassen, nachdem Beweise für gefälschte „Turker“-Konten vorlagen, die hinter Logins scraping betrieben. Der rein öffentliche Zugriff blieb vertretbar; gefälschte Konten hingegen nicht.

Ryanair hat die Grenzen des Scrapings auf beiden Seiten des Atlantiks ausgelotet. In Ryanair gegen PR Aviation befand ein niederländisches Gericht Berichten zufolge, dass kein gültiger Vertrag zustande gekommen sei, sodass Ryanairs Browsewrap-AGB dort nicht durchsetzbar waren. In Ryanair gegen Expedia deuteten US-Gerichte an, dass der CFAA auch international tätige US-Unternehmen erfassen könnte; der Fall wurde später beigelegt. Eine passive Seite mit Nutzungsbedingungen ist schwächer als ein Clickwrap, und ein CFAA-Haken aus den USA kann weit reichen.

Der jüngste Präzedenzfall, der Aufschluss darüber gibt, ob Web-Scraping in großem Umfang legal ist, ist Meta gegen Bright Data. Basierend auf der weitreichenden Berichterstattung über das US-Bundesurteil von 2024 hat das Gericht offenbar gegen Meta entschieden, nachdem es keine Beweise dafür gefunden hatte, dass Bright Data Daten von angemeldeten Facebook- oder Instagram-Nutzern gescrapt hatte; das gescrapte Material befand sich im öffentlichen, nicht authentifizierten Web. Die Entscheidung bekräftigte die Unterscheidung aus der hiQ-Ära: Öffentliche Seiten lassen sich nur schwer als Verstoß gegen den CFAA umdeuten. Überprüfen Sie die Entscheidung anhand der Aktenlage, bevor Sie sie zitieren.

Die meisten rechtlichen Risiken ergeben sich aus der Art der Daten, nicht aus dem Akt des Scrapings. Bevor Sie fragen: „Ist Web-Scraping in diesem Bereich legal?“, gehen Sie die Vier-Quadranten-Matrix durch.

Die Quadranten überschneiden sich (ein Artikel hinter einer Paywall ist gesperrt und urheberrechtlich geschützt), und eine einzelne Seite kann mehrere davon enthalten. Treffen Sie eine Entscheidung für jeden Bereich einzeln, statt von einer pauschalen Annahme auszugehen.

Ein Verstoß gegen die Nutzungsbedingungen einer Website ist in der Regel ein vertragliches Problem, kein strafrechtliches. Gerichte in den USA und der EU unterscheiden zwischen „Browsewrap“ (einer passiven Seite mit den Nutzungsbedingungen, die über die Fußzeile verlinkt ist) und „Clickwrap“ (einem expliziten Kontrollkästchen „Ich stimme zu“ vor dem Zugriff). „Browsewrap“ wird routinemäßig als nicht durchsetzbar angesehen, wenn sich der Scraper nie angemeldet oder durchgeklickt hat; „Clickwrap“ lässt sich viel schwerer abtun.

Ein Verstoß kann dennoch eskalieren. Wenn das Scraping die Umgehung von Zugriffskontrollen, gefälschte Konten oder das Ignorieren einer Unterlassungsaufforderung beinhaltet, nutzen Kläger diese Tatsachen, um CFAA-Klagen zu untermauern. Eine Unterlassungsaufforderung ist kein Gerichtsbeschluss, aber sie ist der Moment, in dem dokumentierte Absicht eine Rolle spielt: Unterbrechen Sie das Crawling, bewahren Sie das Schreiben auf und konsultieren Sie einen Anwalt, bevor Sie fortfahren.

Moderne Anti-Scraping-Lösungen gehen über CAPTCHAs hinaus. Browser-Fingerprinting über JavaScript-Entropieprüfungen (Canvas-Rendering, WebRTC), User-Agent-Analyse, Verfolgung der Anfragerate und Anomalieerkennung auf Session-Ebene erzeugen allesamt Protokolle, die ein Kläger später nutzen kann, um zu argumentieren, dass Sie wussten, dass Sie unerwünscht waren. Dasselbe gilt für robots.txt, formalisiert in RFC 9309: Das Ignorieren einer Disallow Regel an sich kein Verbrechen, aber Gerichte und Aufsichtsbehörden führen dies als Beweis für Vorsatz an. Drosseln Sie Anfragen, senden Sie einen echten User-Agent mit einer Kontakt-E-Mail und halten Sie sich an robots.txt.

Trainingskorpora werfen erneut die Frage auf, ob Web-Scraping für eine bestimmte Pipeline legal ist. Zu den üblichen Abwägungen kommen drei weitere Belastungen hinzu. Erstens das Urheberrecht: Das Einlesen von Volltextartikeln, Bildern oder Code in ein Modell, das diese reproduzieren kann, führt zu Lizenzstreitigkeiten, die den Großteil der aktuellen Rechtsstreitigkeiten im Bereich KI-Training ausmachen. Zweitens der Datenschutz: Die Datenminimierung gemäß DSGVO gilt auch für Trainingsdatensätze, sodass das „nur für den Fall“ Abgreifen von personenbezogenen Daten aus der EU eine bekannte Schwachstelle darstellt. Drittens der gesetzliche Druck: Der EU-KI-Gesetz, der 2024 veröffentlicht wurde und bis 2026 schrittweise in Kraft tritt, erlegt Anbietern von Allzweckmodellen Transparenzpflichten auf, einschließlich der Offenlegung von Trainingsdaten.

<!-- Zusätzliche Recherche erforderlich: aktuelle Ergebnisse von Rechtsstreitigkeiten zu KI-Trainingsdaten in den USA und der EU sowie endgültige Durchführungsrechtsakte zum EU-KI-Gesetz, bevor konkrete Aussagen veröffentlicht werden. -->

Bevor Sie einen Crawler auf den Produktionsdatenverkehr richten, gehen Sie diese Liste durch. Wenn alle folgenden Punkte zutreffen, haben Sie eine stichhaltige Antwort auf die Frage „Ist Web Scraping für dieses Projekt legal?“

• Dateninventar. Dokumentieren Sie jedes Feld, das Sie extrahieren möchten, und ordnen Sie es der Vier-Quadranten-Matrix zu.
• Länderkarte. Listen Sie die Länder der Website, die betroffenen Personen, Ihre Server und Ihr Team auf.
• ToS-Protokoll. Erstellen Sie einen Snapshot der aktuellen Nutzungsbedingungen, speichern Sie die URL und planen Sie eine erneute Überprüfung ein.
• Robots.txt-Snapshot. Speichern Sie die Version, unter der Sie gescrapt haben, mit einem Zeitstempel.
• Identifizierbarer User-Agent. Eine echte Zeichenfolge, idealerweise mit einer Kontakt-E-Mail-Adresse.
• Ratenbegrenzung. Sekunden zwischen den Anfragen, zufällig verteilt; keine Millisekunden-Bursts.
• Aufbewahrungsrichtlinie. Definierte Speicherfristen und ein funktionierender Endpunkt für die Löschung.
• Auslöser für rechtliche Überprüfung. Anmeldungen, personenbezogene Daten, urheberrechtlich geschützter Text, KI-Training, bezahlte Wiederveröffentlichung, Umfang über Ihrem internen Schwellenwert.

Wenn sich ein Ziel im geschützten oder urheberrechtlich geschützten Bereich befindet, ist Scraping nicht Ihr einziger Weg. Prüfen Sie, ob die Website eine offizielle API bereitstellt, ob ein Anbieter einen lizenzierten Datensatz anbietet, ob eine direkte Partnerschaft oder eine Vereinbarung zur Datenweitergabe realistisch ist oder ob ein Managed-Scraping-Anbieter mit dokumentierten Compliance-Verfahren den rechtlichen Aufwand übernehmen kann.

Die Rechtmäßigkeit von Web-Scraping ist kontextabhängig, nicht kategorisch. Klassifizieren Sie die Daten, dokumentieren Sie Entscheidungen, überprüfen Sie regelmäßig die Nutzungsbedingungen jedes Ziels und eskalieren Sie bei bekannten Auslösern an einen Rechtsbeistand.

• Die Standardantwort lautet „Ja, mit Einschränkungen“. Scraping ist an sich nicht illegal; die Rechtmäßigkeit hängt von Datentyp, Zugriffspfad und Rechtsordnung ab.
• Öffentliche, nicht authentifizierte Seiten sind die sicherste Kategorie. Jüngste Urteile, darunter Meta gegen Bright Data (2024) wie berichtet, stützen diese Unterscheidung weiterhin.
• Personenbezogene Daten lösen die meisten Vorschriften aus. DSGVO, CCPA, UK DPA und PIPEDA gelten alle für Scraper, unabhängig davon, wo sich der Scraper befindet.
• Verstöße gegen Nutzungsbedingungen sind standardmäßig zivilrechtlicher, nicht strafrechtlicher Natur, eskalieren jedoch bei gefälschten Konten, Umgehung der Anmeldung oder ignorierten Unterlassungsaufforderungen.
• Dokumentieren Sie alles. Snapshots von robots.txt, den aktuellen Nutzungsbedingungen, Ihrem Dateninventar und Ihren Zugriffsprotokollen sind die günstigste Versicherung, die Sie abschließen können.

Manchmal, aber „öffentlich sichtbar“ ist nicht gleichbedeutend mit „frei wiederverwendbar“. Fakten sind nicht urheberrechtlich geschützt, aber die Darstellung dieser Fakten in der Regel schon, und bei personenbezogenen Daten greifen Datenschutzgesetze. Vergewissern Sie sich vor dem Weiterverkauf, dass die Daten nicht personenbezogen sind, nicht durch das Urheberrecht oder Datenbankrecht geschützt sind und nicht unter eine von Ihnen akzeptierte Clickwrap-Vereinbarung fallen.

Das hängt vom Korpus ab. Urheberrechtlich geschützte Texte, Bilder und Codes bergen das größte Risiko und sind Gegenstand der meisten aktuellen Rechtsstreitigkeiten im Bereich KI-Training. EU-personenbezogene Daten ziehen die Minimierungsverpflichtungen der DSGVO in die Trainingsphase hinein. Bevorzugen Sie lizenzierte Datensätze, dokumentieren Sie die Herkunft pro Quelle und beachten Sie die Transparenzpflichten des EU-KI-Gesetzes, sobald diese schrittweise in Kraft treten.

Stoppen Sie den Crawler noch am selben Tag, bewahren Sie die Aufforderung und Ihre Zugriffsprotokolle auf und vermeiden Sie Antworten, die als Trotz interpretiert werden könnten. Prüfen Sie, ob der Zugriff öffentlich oder authentifiziert war, ob gefälschte Konten beteiligt waren und welche Rechtsordnungen gelten. Ziehen Sie einen Rechtsbeistand hinzu, bevor Sie antworten.

Nein. Rotierende Proxys, IP-Pools für Privathaushalte und die Automatisierung von Stealth-Browsern sind gängige, rechtmäßige Infrastrukturen, die von SEO-Tools, Plattformen zur Anzeigenüberprüfung und Forschern genutzt werden. Sie werden erst dann problematisch, wenn sie mit eigenständigen rechtswidrigen Handlungen einhergehen: Anmeldungen über gefälschte Konten, Umgehung von Zugriffskontrollen oder das Ignorieren einer dokumentierten Unterlassungsaufforderung.

Nur so lange, wie Sie über eine rechtmäßige Grundlage und einen definierten Zweck verfügen. Die Speicherbeschränkung der DSGVO verlangt die Löschung oder Anonymisierung, sobald die Daten nicht mehr erforderlich sind; der CCPA gewährt Verbrauchern das Recht, die Löschung zu verlangen. Legen Sie für jeden Datensatz einen Aufbewahrungszeitraum fest, dokumentieren Sie die Begründung und führen Sie einen getesteten Löschvorgang nach einem Zeitplan durch.

Wenn Sie mit der Frage „Ist Web-Scraping legal?“ hereinkamen, lautet die vertretbare Antwort: In der Regel ja, wenn Sie sich an öffentliche Seiten halten, robots.txt und Ratenbeschränkungen respektieren, personenbezogene Daten vermeiden, die Sie nicht benötigen, und jede Entscheidung dokumentieren. Zu den schwierigen Fällen gehören Anmeldungen, Paywalls, urheberrechtlich geschützte kreative Werke oder Ambitionen im Bereich Trainingsdaten; diese profitieren von einer echten rechtlichen Prüfung vor dem Start.

Teams, die ohne Probleme ihre Produkte auf den Markt bringen, behandeln Compliance wie jedes andere technische Anliegen: Sie klassifizieren die Eingaben, erstellen den Löschpfad, erstellen einen Snapshot der Nutzungsbedingungen, implementieren den Crawler und führen eine lückenlose Dokumentation.

Wenn Sie den Compliance-Aufwand lieber auslagern möchten, führt unser Team bei WebScrapingAPI eine verwaltete Web-Datenextraktion mit dokumentierten Verfahren für die rechtliche Überprüfung, den Umgang mit robots.txt und die Filterung personenbezogener Daten durch, sodass sich Ihre Entwickler darauf konzentrieren können, was sie mit den Daten tun, anstatt darauf, wie sie diese gesammelt haben.