de.wedoany.com-Bericht: Am 8. Juli starteten das US-amerikanische Cloud-Service- und Netzwerk-Infrastruktur-Unternehmen Cloudflare und das US-amerikanische KI-Unternehmen OpenAI ein Forschungs-Pilotprojekt. Ziel ist es, mithilfe von Erkenntnissen aus teilnehmenden Websites im globalen Netzwerk von Cloudflare zu untersuchen, wie KI-Suchmaschinen offene Webinhalte effizienter erkennen, crawlen und indizieren können. Das Projekt konzentriert sich auf die Genauigkeit und Aktualität von KI-Antworten, wobei die wichtigsten Signale die Aktualität von Inhalten, die Verkehrsqualität und tatsächliche Seitenänderungen umfassen.
Der größte Unterschied zwischen KI-Suche und traditioneller Suche besteht darin, dass die Ergebnisse nicht mehr nur in Form von Weblinks präsentiert werden, sondern die Antworten direkt vom Modell generiert werden. Ob eine Webseite aktualisiert wurde, ob sich der Seiteninhalt tatsächlich geändert hat, ob der Zugriffsverkehr abnormal ist und ob der Inhalt der Website noch zitierwürdig ist – all dies beeinflusst, ob das KI-System rechtzeitig genauere Webseiteninformationen erhalten kann. Cloudflare liefert dabei nicht den eigentlichen Textinhalt der Webseiten, sondern Echtzeitsignale aus der Netzwerk- und Site-Ebene, um dem KI-System zu helfen, zu entscheiden, welche Seiten es wert sind, gecrawlt zu werden, wann sie erneut gecrawlt werden sollten und wie ineffektive Indizierung reduziert werden kann.
Das globale Netzwerk von Cloudflare deckt über 20 % aller Websites ab, was es ihm ermöglicht, großflächige Webseitenaktualisierungen und Zugriffsverhalten zu beobachten. OpenAI stellt die Modelle, Such- und Frage-Antwort-Systeme zur Verfügung, um mit echten Benutzeranfragen die Effektivität des signalgesteuerten Crawlings und der Indizierung zu testen.
Die technische Ausrichtung des Pilotprojekts ist das „signalgesteuerte Crawlen“. Traditionelle Crawler durchsuchen Webseiten normalerweise mit einer festen Frequenz, basierend auf Sitemaps, Link-Entdeckung oder historischem Gewicht. Dabei treten häufig zwei Probleme auf: Entweder wurde eine Seite aktualisiert, aber der KI-Index wurde nicht rechtzeitig erneuert, was zu veralteten Antworten führt; oder eine Seite ohne wesentliche Änderungen wird wiederholt gecrawlt, was Crawling-Ressourcen verschwendet und den Zugriffsdruck auf die Website erhöht. Durch die Einführung der Echtzeit-Netzwerksignale von Cloudflare kann das KI-Suchsystem die Crawling-Priorität basierend auf Inhaltsänderungen, Zugriffsqualität und Seitenstatus anpassen.
Die Aktualität der Inhalte ist einer der Schlüsselparameter. Die Änderungshäufigkeit von Nachrichten, Ankündigungen, Produktseiten, Preisseiten, Richtliniendokumenten, technischen Dokumentationen und Blogartikeln variiert. Wenn die KI-Suche nicht beurteilen kann, ob eine Seite tatsächlich aktualisiert wurde, könnte sie entweder alte Inhalte wiederholt verarbeiten oder neue Informationen übersehen. Das Signal für tatsächliche Seitenänderungen hilft dem System, inhaltliche Änderungen zu erkennen, anstatt nur anhand der URL-Existenz, Zeitstempeländerungen oder Site-Übermittlungen zu entscheiden, ob eine Neuindizierung erforderlich ist.
Die Verkehrsqualität bezieht sich eher auf die Glaubwürdigkeit der Webseite und die Beurteilung des Zugriffsstatus. Anomaler Verkehr, minderwertige Zugriffe, ungültige Anfragen, Bot-Zugriffe und vorübergehende Seitenschwankungen können die Beurteilung des Webseitenwerts durch das KI-System beeinträchtigen. Nachdem Cloudflare die Netzwerksignale in das Pilotprojekt eingebracht hat, kann OpenAI testen, ob diese Signale zur Verbesserung der Webseitenauswahl, des Crawling-Rhythmus und der Qualität der Antwortgenerierung beitragen.
Das Projekt steht auch im Zusammenhang mit der Regulierung von KI-Crawlern. Cloudflare hat bereits Tools für Website-Betreiber zur KI-Crawler-Steuerung, Inhaltsignalisierung und Zugriffsberechtigung eingeführt, sodass Websites ihre Präferenzen für Suchindizes, KI-Eingaben und Modelltraining detaillierter ausdrücken können. Die Zusammenarbeit mit OpenAI in diesem Pilotprojekt zielt eher darauf ab, „wie auffindbare Inhalte effizienter in die KI-Suche gelangen können“, anstatt das KI-System zu veranlassen, den Crawling-Umfang unterschiedslos zu erweitern.
Das Projekt befindet sich derzeit noch in der Forschungs- und Pilotphase, mit dem Schwerpunkt, zu überprüfen, ob Echtzeit-Netzwerksignale die Effizienz der KI-Suchindizierung verbessern können. Die Tests konzentrieren sich auf Bereiche wie Crawling-Priorität, Erkennung von Seitenänderungen, Aktualisierungsgeschwindigkeit des Index, Reduzierung von Crawling mit geringem Wert, Aktualität der Antworten und die Fähigkeit, offene Webinhalte zu entdecken. Cloudflare und OpenAI müssen in der Folgezeit weiterhin Tests zu Themen wie dem Umfang der teilnehmenden Websites, den Grenzen der Signale, den Inhaltsrechten, der Kontrolle der Websites und der Qualität der KI-Suchergebnisse durchführen.
