de.wedoany.com-Bericht: Die britische Digitalbank Monzo hat ihr Data Warehouse neu gestaltet und durch einen „Mesh"-Ansatz die Lagerkosten um rund 40 % gesenkt sowie die Datenbereitstellungsgeschwindigkeit um etwa 25 % erhöht. Die Bank stand ursprünglich vor der komplexen Situation, dass über 100 Teams mehr als 12.000 dbt-Modelle verwalteten.
Im vergangenen Jahr baute Monzo die Datenplattform um definierte Modellierungsschichten neu auf, legte explizit Schnittstellenmodelle für teamübergreifende Datenabhängigkeiten fest und erzwang durch kontinuierliche Integration (CI) die Validierung von Struktur, Benennung und Zugriffsmustern. Diese Migration umfasste Tausende von dbt-Modellen und führte Hunderte von verwalteten Schnittstellen ein, wodurch redundante Abfragen und Doppelberechnungen reduziert, die Datenbereitstellungszeit verbessert und der Anstieg der Lagerkosten umgekehrt wurden. Jedes Team besitzt und pflegt seine eigenen Datenmodelle, wobei Monzo die verteilte Eigentümerschaft durch automatisierte Schutzmechanismen und gemeinsame Tools unterstützt. Die Analyseingenieure von Monzo, Antonia Badarau, Irina Mugford und Massimo Frangiamore, wiesen darauf hin, dass diese verteilte Eigentümerschaft zwar leistungsstark, aber im großen Maßstab schwer korrekt umzusetzen sei, insbesondere da KI-gestützte Codierung zur Norm werde und die Sicherstellung effizienter, konsistenter und qualitativ hochwertiger Ergebnisse eine Herausforderung darstelle.
dbt-Modelle sind SQL-Abfragen, die Rohdaten in strukturierte Datensätze umwandeln, und sind als modulare, wiederverwendbare Komponenten für den Aufbau und die Wartung von Datenpipelines konzipiert. Monzo definierte drei Grundsätze für seine Datenarchitektur: Durchsetzung klarer Standards, Normierung des Datenaustauschs über explizite Schnittstellen und Abhängigkeit von Automatisierung und CI-Prüfungen zur Sicherstellung der Qualität anstelle manueller Überprüfungen. Die Bank unterteilt die Datenmodelle in vier Schichten: automatisierte Landemodelle (Abflachen von Rohereignissen), generierte normalisierte Modelle (Darstellung von Entitäten mit vollständiger Historie), logische Modelle (Kombination von Entitäten gemäß Geschäftslogik) und Präsentationsmodelle, die für spezifische nachgelagerte Anwendungsfälle angepasst sind.
Die Teams stellen die Konsistenz durch das Befehlszeilentool Modelgen (das aus Objektdefinitionen SQL- und YAML-Modelle generiert) sowie durch CI-gestützte Datenstandards (Validierung von Struktur, Konventionen und Best Practices) sicher. Luke Briscoe, Engineering Director bei Monzo Bank, erklärte, dass die Skalierung von Daten in jedem schnell wachsenden Unternehmen nicht einfach sei, insbesondere für eine Bank, und ihm seien nur wenige Unternehmen bekannt, die ähnliche Tools betreiben. Mateusz Ulas, Gründer von Expeditious Software, kommentierte, dass die Behandlung von Datenschnittstellen als erstklassigen Code immer noch außergewöhnlich selten sei; die meisten Orte verließen sich auf Dokumentation und hofften auf den besten Fall, während die Integration von Standards in CI erst Verbesserungen ermögliche.
Klare Datenschichten, stabile Schnittstellen zwischen Datensätzen und automatisierte Prüfungen in der CI bewahren die Konsistenz des Systems und ermöglichen es den Teams, unabhängig zu arbeiten, während gleichzeitig die Lagerkosten und die Verarbeitungszeit gesenkt werden. Monzo erzwingt Datenqualität und -konsistenz, indem es von jedem Modell verlangt, einen eindeutigen Schlüssel zu definieren, Frischetests zu enthalten, standardmäßig inkrementell zu laufen, das zugehörige Team zu deklarieren, eine Dokumentation bereitzustellen und strenge Benennungs- und Metadatenkonventionen zu befolgen, die durch CI validiert werden.
Badarau, Mugford und Frangiamore ergänzten, dass die unternehmensweite Migration im Gange sei, zu etwa 30 % abgeschlossen, und die ersten Ergebnisse ermutigend seien; in bestimmten Bereichen sehe man Kostensenkungen von rund 40 % und eine um etwa 25 % schnellere Datenbereitstellungszeit.
In einem weiteren Artikel beschrieb das Engineering-Team von Monzo, wie es mithilfe eines Multitasking-Neuronalen Netzes gemeinsame Darstellungen von Betrugsmustern lernt, um die Erkennung seltener und bisher unbekannter Verhaltensweisen zu verbessern und die Fähigkeiten traditioneller Modelle zu übertreffen. Auf der diesjährigen QCon London zeigte Suhail Patel, wie Monzo eine Entwicklerplattform aufbaute, die täglich Hunderte von Änderungen in die Produktion pushen kann.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
