01 · Die EntdeckungDokumentiert
News result
Ein an die Suchanfrage gebundenes Ergebnis, das in der Google News-Vertikale angezeigt wird.
- Headline and destination
- Source and snippet
- Query and request context
News & Artikel
Daten-Scraping für Nachrichten und Artikel
Erfassen Sie Nachrichtenergebnisse und öffentliche Artikelinhalte für Medienbeobachtung und Forschung. Behalten Sie Schlagzeilen, Herausgeber, Daten, Quellenlinks und Überarbeitungen zusammen.
Story-Record-Modell
Verknüpfen Sie Nachrichtenergebnisse, Artikel und Überarbeitungen.
Modellentdeckung, Veröffentlichung, Inhalt, Menschen, Revisionen und Themen getrennt, so dass ein Ergebnis-Snippet nie als vollständiger Artikel maskiert.
02 · SourceDokumentiert
Veröffentlichung
Die öffentliche Verlegeridentität und Quelle Seite, die mit einer Beobachtung verbunden sind.
- Source name and URL
- Section or channel
- Language and locale
03 · ContentPilot first
Artikel
Überschrift, Unterschrift, Körper, Metadaten und Medienverweise, die mit der zugelassenen Seite verlinkt sind, wo sie aufgedeckt werden.
- Canonical URL
- Visible article fields
- Author or byline
04 · ChangePilot first
Ausgabe oder Revision
Eine aufeinanderfolgende Beobachtung ausgewählter Artikelfelder, nie eine abgeleitete redaktionelle Absicht.
- Content hash
- First and last seen
- Changed field set
05 · MeaningPilot first
Thema oder Entität
Eine Bereicherungsschicht, die nach vereinbarten Modellen oder Regeln hergestellt und von den Ursprungsfakten getrennt gehalten wird.
- Named entity cue
- Topic label
- Rule or model version
Object boundaryNot assumed
Ein Entdeckungsergebnis ist kein vollständiger Artikel.
Entdeckung ist nicht das gleiche wie Vollartikel-Extraktion. Ein Ausschnitt, eine Artikelseite, eine Autor-Byline, ein Verleger, eine Revision und ein Thema tragen jeweils eine andere Beweisgrenze.
Deckungsvertrag
Prüfen Sie Quellen und Feldabdeckung.
Prüfen Sie Quelle, Seitentyp, Markt und benötigte Felder, bevor Sie eine API oder individuelle Erfassung wählen.
Engine or familyEingabeKontextStaat
Record-Schema
Sehen Sie sich die Felder in einem Beispieldatensatz an.
Die Angaben der Quelle sind getrennt von den Angaben der Sammlung und den Schlussfolgerungen einer Nachströmenreicherung.
Ergebniskontext
- query
- Die übermittelte Discovery-Abfrage.
- rank
- Position in dieser Ergebnisseite und Anfragekontext.
- result_url
- Das Ziel, das durch das Ergebnis freigelegt wird.
Quellsichtbare Felder
- headline
- Überschrift, die auf der qualifizierten Seite angezeigt wird.
- byline
- Öffentliche Autoren-Zeichenfolge, nicht automatisch eine aufgelöste Person.
- body_state
- Anwesend, abwesend, ausgeschlossen, fehlgeschlagen, geändert oder überprüft.
Veröffentlichung und Beobachtung
- published_at
- Zeit, die von der Quelle zugeschrieben wird, wenn sie ausgesetzt ist.
- observed_at
- Zeit die Sammlung produzierte diese Beobachtung.
- first_seen_at
- Erstes Auftreten innerhalb des eingeschränkten Überwachungsfensters.
Rückverfolgbarkeit und Status
- source_url
- Öffentliche Seite, die dem Datensatz zugeordnet ist.
- content_hash
- Optionaler Fingerabdruck für aufeinanderfolgende Beobachtungen.
- schema_version
- Version der vereinbarten Ausgabeform.
{
"record_id": "story_0042",
"object_type": "article_observation",
"discovery": {
"query": "energy outlook",
"surface": "google_news",
"rank": 3
},
"article": {
"headline": "Grid investment accelerates",
"publication": "Example Daily",
"body_state": "observed"
},
"published_at": "YYYY-MM-DDT06:10:00Z",
"observed_at": "YYYY-MM-DDT08:42:00Z",
"source_url": "https://news.example/story/42",
"schema_version": "news.v1"
}Two clocks, two meanings.
published_at is source-attributed publication time; observed_at is collection time. Neither should overwrite the other.
Identität und Abstammung
Gruppieren Sie verwandte Datensätze, ohne jede Quelle zu löschen.
Bewahren Sie den Publisher, die URL, den Entdeckungskontext und die Artikelbeobachtung, bevor Sie kanonische URLs, Clusters, Entitäten oder Themenlabels hinzufügen.
- 01
Discovery Key
Abfrage + Ergebnis-URL
Anforderungskontext wird beibehalten. - 02
Quellen-Cues
Kanonische URL + Publisher
Wird verwendet, wenn es ausgesetzt und verifiziert ist. - 03
Inhaltszustand
Überschrift + Hash + Zeit
Vergleicht unter einer benannten Regelversion. - 04
Beziehung
Gleicher Artikel, gleiche Revision oder gleicher Kandidaten-Cluster
Mehrdeutigkeit bleibt explizit.
Frischesemantik
Eine kürzlich veröffentlichte Geschichte und eine kürzlich beobachtete Seite sind unterschiedliche Fakten.
Setzen Sie die Sammelungs-Kadenz nach Workflow und speichern Sie dann die von der Quelle zugeteilte Zeit neben Anfrage-, Beobachtungs-, Liefer- und Veränderungszeiten.
- Quellenzeitpublished_at
Die angezeigte Veröffentlichungszeit, genau wie im Vertrag ausgelegt.
- Collectedobserved_at
Der Artikel oder das Ergebnis wurde im gewünschten Kontext beobachtet.
- Delivereddelivered_at
Der Datensatz wurde dem Kunden zur Verfügung gestellt.
- Changedfirst_seen / last_seen
Die Beobachtung ist in die überwachte Historie eingetreten oder ist aus ihr ausgetreten.
Qualität und Fehlerfreiheit
Verwandeln Sie einen nicht verfügbaren Artikel nicht in eine leere Geschichte.
Führen Sie den Zustand, der erklärt, warum ein Feld fehlt, so dass Entdeckung, Analyse, Quelleverfügbarkeit und Ausnahmen von Richtlinien unterscheidbar bleiben.
Erforderliche Struktur vorhanden
Der Datensatz hat die vereinbarten Discovery- oder Artikelfeldprüfungen bestanden.
Feld nicht belichtet
Die Quelle-Seite zeigte nicht die gewünschte Zeitspanne, Zeit oder Körperfeld.
Vorlage oder Abstammung ist mehrdeutig
Die Seite oder die Beziehung muss nach den vertraglich festgelegten Regeln überprüft werden.
Keine unterstützte Beobachtung
Ausgeschlossen, eingeschränkt, fehlgeschlagen oder nicht verfügbar ist ein anderer als ein leeres Produkt.
Strukturelle Prüfungen
Erforderliche Schlüssel, Typen, Ergebniszahlen, Körper-Stand-Rasons, Zeitstempelform und Schema-Version.
Feldkontrollen
URL-Format, Quelleattribution, Veröffentlichungszeit-Parse-Status, Sprache und optionales Content-Hash.
Akzeptanzgrenze
Ihr Team genehmigt repräsentative Aufzeichnungen, Quellen, zulässige Verwendung und Entscheidungsschwellen. Wir führen die vereinbarten technischen Kontrollen durch.
Lieferoptionen und Versand
Wählen Sie, wie Sie Ihre Daten erhalten.
Nutzen Sie eine API in Ihrer Anwendung, erhalten Sie regelmäßig Datensätze oder überlassen Sie uns die Erfassung.
Proxys
Behalten Sie Ihre Collector und nutzen Sie unser Proxy-Netzwerk.
Nutzen Sie Residential-, Datacenter- oder ISP-Proxies mit den Collectors, die Ihr Team bereits betreibt.
FunktionDetails
Sie erhaltenProxy-Zugang für Ihre eigenen Anfragen
Wir übernehmenProxy-Netzwerk und Zugang
Ihr BeitragErfassung, Extraktion, Speicherung und Analyse
Geeignet für · Teams mit bestehenden Collectors.
Proxy-Dienste vergleichenAnwendungen
Nutzen Sie diese Datensätze.
Planen Sie Ihre Analyse, Ihr Produkt oder Ihr Monitoring anhand der folgenden Felder und Beispiele.
Medienbeobachtung
Verfolgen Sie benannte Abfragen, Quellen und öffentliche Story-Felder im Zeitverlauf.
Results · articles · revisionsMarkt- und Themenrecherche
Erstellen Sie überprüfbare Korpora für Trend-, Narrativ- und Quellenanalysen.
Articles · topics · provenanceKI-Abruf und -Erdung
Bereiten Sie zeitgerechte, mit der Quelle verknüpfte Eingaben für genehmigte Abrufs-Workflows vor.
Text state · source URL · timestampsReputations- und Risikosignale
Erhebt eine neue öffentliche Berichterstattung für menschliche Überprüfung, ohne sie als Schlussfolgerung zu präsentieren.
Discovery · entities · review statePublisher Intelligence
Vergleichen Sie öffentliche Veröffentlichungsmuster, Abschnitte und Revisionsverhalten.
Publication · article · first seenForschungsarchive
Speichern Sie vereinbarte Metadaten und zulässige Inhalte mit nachverfolgbaren Sammelgeschichten.
Schema version · provenance · change historyRepräsentativer Pilot
Testen Sie ein Muster in Ihrem eigenen Workflow.
Verwenden Sie echte Abfragenkontexte und repräsentative öffentliche Artikelseiten, einschließlich gewöhnlicher Geschichten, Revisionen, fehlenden Feldern, veränderten Vorlagen und eingeschränkten Zuständen.
- 01
Define
Abfragen, Quellen, Artikelfelder, Kontexte, Kadenz und zulässige Verwendung.
- 02
Sample
Ergebnisse und Seiten, die Quellevorlagen, fehlende Felder und Änderungen darstellen.
- 03
Inspect
Quellenbeweise, Zeiten, Körperzustände, Abstammungskandidaten und Ausnahmen.
- 04
Akzeptieren
Genehmigen Sie das Schema, die Quellgruppe, das Betriebsmodell und die technischen Schwellenwerte.
Häufige Fragen zu
Fragen vor dem Start
Welche Nachrichtendaten werden heute dokumentiert?
Entdecken Sie Artikel über die Nachrichtenergebnisse von Google Search API. Nutzen Sie Scraper API oder Browser API für öffentliche Artikelseiten oder fordern Sie einen regelmäßigen Feed an.
Ist ein Nachrichtenergebnis dasselbe wie ein vollständiger Artikel?
Entdeckung ist nicht das gleiche wie vollständige Artikel-Extraktion. Ein Ergebnis kann eine Überschrift, eine Ziel-URL, eine Quelle, einen Ausschnitt und eine angezeigte Publikations-Kee ohne den vollständigen Artikelkörper zu enthüllen, enthüllen. Artikelfelder erfordern eine separate berechtigte öffentliche Seite und einen Quelle-spezifischen Extraktionsvertrag.
Welche Artikelfelder können geliefert werden?
Ein Scope-Artikel-Erfassung kann die Quelle URL, kanonische URL, wenn exponiert, Titel, Standfirst, Byline, angezeigte Veröffentlichungszeit, Abschnitt, sichtbare Körper, Medienreferenzen, Tags, Sprache und Herkunft enthalten. Feldpräsenz variiert je nach Verleger und Vorlage, so dass Quelle-agnostische normalisierte Schemata sind Pilot-erst.
Wie werden die Veröffentlichungszeit und die Sammlungszeit dargestellt?
published_at erfasst die von der Quelle für den Artikel angegebene Zeit, sofern sie angezeigt wird. observed_at erfasst den Zeitpunkt, zu dem bei der Erfassung die Beobachtung entstand. Beide bleiben getrennt, da ein Artikel erst lange nach seiner Veröffentlichung entdeckt, überarbeitet oder erfasst werden kann.
Kann eine doppelte Berichterstattung über dasselbe Ereignis zusammengefasst werden?
Matching kann in einem Feed oder betreuten Programm enthalten sein. Das Muster bestätigt Kennungen, Vergleichsregeln und die Darstellung unsicherer oder widersprüchlicher Zuordnungen.
Können Artikelaktualisierungen und -revisionen überwacht werden?
Die Historie beginnt mit dem Monitoring. Frühere Abdeckung hängt von verfügbaren Quelldatensätzen oder Archivaufnahmen ab. Prüfen Sie Zeiträume und Lücken in einem Muster.
Wie werden fehlende Körper und Abholungsausfälle behandelt?
Das Muster unterscheidet fehlende Felder, nicht verfügbare Seiten, fehlgeschlagene Anfragen und prüfbedürftige Werte. Vereinbaren Sie den Umgang mit jedem Zustand vor der regelmäßigen Lieferung.
Sind Artikel mit Paywall oder nur für Anmeldung enthalten?
Ein öffentliches Entdeckungsresultat oder eine öffentliche Metadatenseite erlaubt nicht die Erhebung von eingeschränkten Inhalten hinter ihr.
Kann der Artikeltext ohne Einschränkungen weiterverbreitet werden?
Es ist kein umfassendes Urheberrechtsrecht zur Umverteilung impliziert. Kunden sind weiterhin für die Quellbedingungen, Urheberrechtsrechte, Lizenzierungen, Speicherung, Zugriffskontrollen und zugelassenen Nachstromverwendung verantwortlich. Eine Lieferung kann sich bei Bedarf auf Metadaten, Links, Auszüge oder andere vereinbarte Felder beschränken.
Wer pflegt die Quellcodeänderungen?
Ihr Team pflegt Collector bei Proxies und eigene Parser bei Seitenzugriffs-APIs. Wir pflegen die unterstützte Data-API-Extraktion und die in Feeds oder Managed Data enthaltene Erfassung.
News und Artikel
Beginnen Sie mit Discovery-Zugriff oder erweitern Sie den Umfang eines gepflegten Story-Feeds.
Wir werden helfen, das Dokumentarisierte von dem zu trennen, was der Pilot beweisen muss.