de.wedoany.com-Bericht: Cloudflare hat die neuesten Anwendungsfälle seiner internen einheitlichen Datenplattform Town Lake vorgestellt. Die über diese Plattform verbundenen Abrechnungsworkloads machen 53 % aller Abfragen aus. Die Plattform ist mit einem KI-gesteuerten Analyseagenten namens Skipper ausgestattet und zielt darauf ab, die zuvor in verschiedenen Systemen verteilten Betriebs-, Abrechnungs-, Sicherheits- und Geschäftsdaten zu vereinheitlichen.
Das globale Netzwerk von Cloudflare verarbeitet jede Sekunde über eine Milliarde Ereignisse und deckt mehr als 330 Städte in 120 Ländern ab. Im Laufe der Zeit sammelten sich Daten in Postgres-Datenbanken, ClickHouse-Clustern, Kafka-Streams, BigQuery-Datensätzen und Objekt-speichersystemen an, was die Auffindbarkeit und Analyse erschwerte. Town Lake dient als einheitliche SQL-Schnittstelle für den Zugriff auf diese Systeme, während gleichzeitig Datenverwaltungs- und Zugriffskontrollfunktionen erhalten bleiben.
Die Plattform basiert auf einer Lakehouse-Architektur und verwendet Apache Trino, Apache Iceberg, Cloudflare R2-Objektspeicher sowie DataHub für die Metadatenverwaltung. Eine einzelne Abfrage kann Daten über Postgres-, ClickHouse- und Iceberg-Tabellen hinweg verknüpfen, ohne dass Daten zwischen den Systemen verschoben werden müssen. Ein Support-Service ist für die Datenerfassung, -transformation, Zugriffskontrolle und die Identifizierung personenbezogener Daten (PII) zuständig.
Die Plattform verwendet ein standardmäßig geschlossenes Governance-Modell. Neu angeschlossene Datensätze müssen nach automatischem Scan und manueller Überprüfung freigegeben werden, bevor sie zugänglich sind. Cloudflare nutzt einen Dienst namens Skimmer, der automatische Klassifizierung mit KI-Analyse kombiniert, um sensible Daten zu erkennen. Anschließend überprüfen menschliche Prüfer die Eignung der Klassifizierung.
Aufbauend auf Town Lake hat Cloudflare Skipper entwickelt, um einen natürlichen Sprachzugriff auf Unternehmensdaten zu ermöglichen. Dieser Agent nutzt Metadaten, Schema-Definitionen, Transformations-Herkunft, Dokumentation und Laufzeitprüfungen, um Benutzeranfragen in validierte Abfragen umzuwandeln und so die Genauigkeit zu verbessern. Das Tool wird für Rechnungsanalysen, Kundensupport-Umfragen, Business Intelligence und Sicherheitsworkflows eingesetzt.
Dmitry Alexeenko, Leiter der Unternehmensentwicklung bei Cloudflare, wies darauf hin, dass das Team die einheitliche Datenplattform Town Lake und den KI-Datenagenten Skipper entwickelt habe. Letzterer könne reine englische Fragen innerhalb von Sekunden in Erkenntnisse umwandeln.
Aufgaben, die zuvor komplexe SQL-Abfragen oder manuelle Untersuchungen erforderten, können nun über die einheitliche Datenplattform und den KI-Agenten in Sekundenschnelle erledigt werden. Abrechnungsworkloads machen den Großteil der Town Lake-Nutzung aus. In einem Messzeitraum verarbeitete die Plattform 91.760 abrechnungsbezogene Abfragen von 324 Mitarbeitern, die Abrechnungsanalysen, Support-Untersuchungen und Betriebsberichte umfassten. Das Unternehmen stellte außerdem fest, dass die Vereinfachung von KI-Agenten-Prompts die Genauigkeit verbesserte und die Konsolidierung überlappender Tools Fehlentscheidungen reduzierte. Die Einbeziehung von SQL-Transformationslogik und Datenherkunft in den Agentenkontext verbesserte das Verständnis der Geschäftssemantik weiter.
Patrick Joubert, CEO von Rippletide, kommentierte, dass nach dem Platzieren eines internen KI-Agenten auf einer einheitlichen Analyseplattform die Ausführung nahe der Betriebsebene erfolgen müsse, wenn der Agent Betriebsdaten interpretieren könne. Verteilt deterministische Prüfungen könnten es dem Agenten ermöglichen, zu handeln, ohne die Datenplattform in eine unkontrollierbare Betriebsebene zu verwandeln.
Cloudflare plant, Skipper tiefer in interne Chat-, Ticketbearbeitungs- und Entwicklungsworkflows zu integrieren. Gleichzeitig wird die Transformer-Pipeline erweitert, sodass Teams mit SQL- und Metadatendateien kuratierte Datensätze definieren können, die über DataHub und Skipper automatisch bereitgestellt, überwacht, katalogisiert und präsentiert werden. Das Unternehmen erwartet zudem, in Zukunft mehr Town Lake-Workloads auf R2 SQL zu migrieren.
