de.wedoany.com-Bericht: Confluent hat ein Update für Apache Kafka veröffentlicht, das die Speicherung der Schema-ID vom Nachrichteninhalt in die Nachrichtenkopfzeilen verlagert, um die Daten-Governance zu vereinfachen.
Bei herkömmlichen Kafka-Bereitstellungen wird die Schema-ID direkt in die Nachrichtenlast eingebettet. Obwohl dies sicherstellt, dass Verbraucher Ereignisse korrekt deserialisieren können, führt es zu einer engen Kopplung zwischen Schema-Metadaten und den Daten selbst. In Umgebungen, in denen mehrere Teams denselben Ereignisstrom konsumieren, erhöht dieses Design die Komplexität der Schemaentwicklung und den Koordinationsaufwand.
Die neue Lösung platziert die Schema-Kennung in den Kafka-Datensatzkopfzeilen, während die Last unverändert bleibt. Verbraucher nutzen zur Laufzeit die ID aus den Kopfzeilen, um das entsprechende Schema aus der Confluent Schema Registry abzurufen. Diese Methode ist mit verschiedenen Formaten wie Avro, Protobuf und JSON Schema kompatibel und reduziert gleichzeitig die Abhängigkeit von eng gekoppelten Zeilenformaten, wodurch Ereignisströme flexibler und einfacher in nachgelagerte Systeme integriert werden können.
Patrick Neff, Teamleiter der Confluent CSTA (Region CEMEA), erklärte in einem LinkedIn-Beitrag, dass Schema-Governance eine Schlüsselrolle bei der Förderung der Datenwiederverwendung zwischen Streaming- und Analysesystemen spiele und ein wichtiger Treiber für die Ausschöpfung des vollen Datenwerts sei.
Der ansatzbasierte Ansatz auf Kopfzeilenebene ermöglicht eine schrittweise Einführung. Teams können Schema-Governance einführen, ohne alle Producer und Consumer umfassend umschreiben oder koordinieren zu müssen. Schema-IDs können an bestehende Ereignisströme angehängt werden, sodass Teams schrittweise strengere Schema-Management-Praktiken übernehmen können, während die Abwärtskompatibilität erhalten bleibt.
Gunnar Morling, Technologieexperte bei Confluent, wies darauf hin, dass die Last nach dem Verschieben der Schema-ID in die Kopfzeilen unabhängig und in sich geschlossen wird, was die Interoperabilität mit Speichersystemen und nachgelagerten Verarbeitungsframeworks deutlich verbessert und die Benutzererfahrung steigert.
Die Trennung von Schema-Metadaten und Last ermöglicht es Produzenten und Verbrauchern, sich unabhängig voneinander weiterzuentwickeln, während die Validierung auf die Schema Registry konzentriert wird. Dies reduziert den Koordinationsaufwand und vereinfacht die Schemaentwicklung in groß angelegten Umgebungen. Darüber hinaus fördert dies die konsistente Wiederverwendung strukturierter Ereignisdaten über verschiedene Pipelines hinweg und verbessert die Interoperabilität mit Tools wie Apache Flink sowie Analyse- oder maschinellen Lernsystemen.
David Araujo, Director of Product Management bei Confluent, erklärte, dass die Funktion es ermöglicht, Schemas ohne Änderung des Lastformats an vorhandene Kafka-Daten anzuhängen, was eine unterbrechungsfreie und clientunabhängige Einführungsweise ermöglicht.
Einige Migrationsszenarien erfordern möglicherweise Aktualisierungen von Kafka-Connectoren und nachgelagerten Tools, die davon ausgehen, dass Schema-Metadaten in die Last eingebettet sind. Daher könnten beide Methoden für eine gewisse Zeit nebeneinander existieren. Die Funktion ist jetzt in Confluent Cloud verfügbar und wird voraussichtlich auch in der Confluent Platform angeboten (unterstützt Schema Registry im Rahmen des bestehenden Lizenzmodells).
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
