de.wedoany.com-Bericht: Cloudflare hat neue Steuerungselemente für den Datenverkehr von KI-Crawlern eingeführt, die es Website-Betreibern ermöglichen, für die drei Funktionskategorien Suche, Proxy und Training jeweils eigene Zugriffsstrategien für automatisierte Programme zu definieren. Die Funktion steht ab sofort allen Cloudflare-Kunden zur Verfügung, einschließlich Nutzern des kostenlosen Tarifs.
Inhalteanbieter möchten ihre kreativen Werke schützen und dafür eine angemessene Vergütung erhalten. Laut Cloudflare-Produktmanager Jin-He Lee und Produktdirektor Bryan Becker ist die vollständige Blockierung von Inhalten jedoch keine universelle Lösung. Website-Betreiber benötigen flexiblere Optionen, anstatt einfach „jederzeit alle automatisierten Programme zu blockieren".
Das Unternehmen hat die Robotersteuerung von einem einfachen Erlauben- oder Blockieren-Modus erweitert. Roboter werden nicht mehr nur als KI oder Nicht-KI eingestuft, sondern je nach ihrer Funktion in die drei Kategorien Suche, Proxy und Training unterteilt. Website-Betreiber können für jede Kategorie unterschiedliche Strategien anwenden.
Das aktualisierte Framework berücksichtigt, wie Roboter die Inhalte nach dem Crawlen nutzen, und ermutigt Anbieter, für verschiedene Funktionen separate Crawler zu verwenden, um die Transparenz und die Zugriffskontrolle zu verbessern.
Ab dem 15. September 2026 ändern sich die Standardeinstellungen für neue Domains. Auf Seiten, die Werbung anzeigen, werden Trainings- und Proxy-Crawler standardmäßig blockiert, während Such-Crawler weiterhin standardmäßig erlaubt bleiben.
Mehrzweck-Crawler, die sowohl Such- als auch Trainingsfunktionen ausführen, werden anhand beider Strategien bewertet. Wenn eine Website Trainings-Crawler blockiert, werden auch Mehrzweck-Crawler (wie Googlebot, Applebot und BingBot) blockiert, selbst wenn Such-Crawler erlaubt sind. Diese Änderung tritt am 15. September 2026 in Kraft. Website-Betreiber, die die neuen Standardeinstellungen nicht übernehmen möchten, können bis zum 15. September über die Sicherheitseinstellungen abwählen und das aktuelle Verhalten von Trainings-Crawlern, die Suchfunktionen ausführen, beibehalten. Cloudflare gibt an, Kunden vor der Änderung zu benachrichtigen, damit diese Zeit haben, ihre Einstellungen zu überprüfen und zu aktualisieren.
Cloudflare hat außerdem BotBase eingeführt, eine durchsuchbare Datenbank bekannter Roboter, einschließlich verifizierter Roboter und KI-Agenten. Diese Datenbank bietet Kunden der Roboterverwaltung eine zentrale Ansicht basierend auf der neuen Cloudflare-Taxonomie und zeigt die Klassifizierung und das Verhalten verifizierter Roboter. Administratoren können BotBase nutzen, um das Verzeichnis verifizierter Roboter zu durchsuchen, nach bestimmten Robotern zu suchen, Klassifizierungen einzusehen, Datenverkehr nach einzelnen Robotern zu filtern und Erkennungs-IDs für Sicherheitsregeln zu kopieren. Das Unternehmen plant, im Laufe dieses Jahres weitere Steuerungsfunktionen hinzuzufügen, um Kunden die Verwaltung des automatisierten Datenverkehrs über dieselbe Oberfläche zu erleichtern.
Im Bereich der Inhaltsnutzungskontrolle hat Cloudflare drei neue Stufen hinzugefügt, mit denen Kunden der Roboterverwaltung definieren können, wie Roboter die Inhalte nach dem Crawlen nutzen dürfen: sofortig (keine Speicherung oder Wiederverwendung), Referenz (Indizierung, Zusammenfassung und Rückverlinkung) und vollständig (Zusammenfassung oder Wiedergabe). Das Unternehmen erweitert das Content-Signals-Format in robots.txt um einen neuen use-Parameter, um diese Präferenzen auszudrücken. Obwohl robots.txt diese Einstellung nicht erzwingt, wird Cloudflare über BotBase melden, ob verifizierte Roboter die erklärten Präferenzen einhalten. Verifizierte Roboter, die diese Präferenzen ignorieren oder Inhalte vollständig wiedergeben, könnten ihren verifizierten Status verlieren. Bisher waren alle verifizierten Roboter standardmäßig erlaubt. Im neuen Modus bestätigt die Verifizierung lediglich die Identität des Roboters; die Zugriffsberechtigung hängt von seiner Klassifizierung und der Strategie des Website-Betreibers ab, einschließlich der Frage, ob Such-, Proxy- oder Trainings-Crawler erlaubt sind. Cloudflare plant außerdem, den Verifizierungsprozess transparenter zu gestalten und entwickelt Werkzeuge, um Roboterbetreibern bei der Verwaltung ihrer Klassifizierung und ihres verifizierten Status zu helfen.
Für KI-Agenten und Roboter, die über Plattformen Dritter betrieben werden, schlägt Cloudflare ein übertragbares Vertrauensmodell vor. Das Unternehmen plant, den standardmäßigen HTTP-Forwarded-Header zu verwenden, um den ursprünglichen Anforderer hinter einem Mittelsmann zu identifizieren. Dieser Header kann auch die vom Betreiber erklärte Art der Inhaltsnutzung enthalten, z. B. use=reference. Dies würde es Website-Betreibern ermöglichen, Vertrauens- und Zugriffsstrategien basierend auf dem ursprünglichen Roboterbetreiber anzuwenden, anstatt auf den Mittelsmann, der die Anfrage bearbeitet. Das Unternehmen räumt ein, dass dieser Ansatz möglicherweise nicht für alle Anwendungsfälle geeignet ist, insbesondere wenn Privatsphäre oder anonymer Zugriff wichtiger sind.
