de.wedoany.com-Bericht: pgEdge hat die transparente Daten-Tiering-Lösung pgEdge ColdFront für PostgreSQL angekündigt. Die Lösung ermöglicht direkte UPDATE- und DELETE-Operationen auf archivierte Daten. Anwendungen können über dasselbe bereits verwendete SQL auf die Kaltdatenebene zugreifen, ohne dass Codeänderungen oder eine Reaktivierung der Daten erforderlich sind. Alte Daten werden automatisch im Parquet-Format nach Apache Iceberg migriert und auf jedem S3-kompatiblen Objektspeicher abgelegt, wodurch die Speicherkosten um bis zu 90 % gesenkt werden. Der vollständige Datensatz bleibt über einen einzelnen PostgreSQL-Tabellennamen les- und schreibbar, und Scans auf der Kaltdatenebene erreichen durch die vektorisierte Columnar-Engine von DuckDB Analysegeschwindigkeit.
Produktionsreife PostgreSQL-Datenbanken stehen mit zunehmendem Alter vor Herausforderungen durch historische Daten, die Speicherkosten und betriebliche Komplexität erhöhen, darunter Backup-Overhead, Vakuum-Overhead und Replikationsverzögerungen. Traditionelle Ansätze umfassen das Löschen alter Daten, die Archivierung in Flatfiles, die Abfragen beeinträchtigen, oder proprietäre Lösungen. pgEdge ColdFront beseitigt diese Zielkonflikte, indem es Kaltdaten automatisch in kostengünstigen Objektspeicher verschiebt, während die vollständige Lese- und Schreibfähigkeit über die standardmäßige Postgres-Schnittstelle erhalten bleibt und jede Ebene in offenen Formaten gespeichert wird.
Ein Anwendungsbeispiel ist eine GDPR-Löschanfrage für fünf Jahre alte archivierte Daten. Mit ColdFront kann dies über eine einzige SQL-Anweisung ausgeführt werden, ohne den Zyklus der Wiederherstellung der Daten in die Warmebene, des Löschens, der erneuten Archivierung und der erneuten Validierung durchlaufen zu müssen.
Phillip Merrick, Chief Product Officer bei pgEdge, erklärte, dass die Lösung Bedenken hinsichtlich einer proprietären Vendor-Lock-in beseitigt. Die Anwendungen verwenden dasselbe SQL, DuckDB bietet innerhalb des Prozesses Analysegeschwindigkeit für Kaltdaten, die Kaltdatenebene ist beschreibbar und die Lösung läuft auf standardmäßigem, ungepatchtem PostgreSQL.
Zu den wichtigsten Merkmalen von ColdFront gehören: die einzige direkt beschreibbare Kaltdatenebene, die UPDATE und DELETE über denselben PostgreSQL-Tabellennamen ohne Reaktivierung oder spezielle Pfade unterstützt; die Ausführung von DuckDB innerhalb des PostgreSQL-Prozesses, wodurch die Scanleistung auf der Kaltdatenebene auf Basis von Parquet-Daten 10- bis 100-mal schneller ist als bei zeilenbasiertem Speicher; keine Code- oder Schemaänderungen für Anwendungen erforderlich; alle Ebenen verwenden Open-Source-Formate, Kaltdaten sind standardmäßiges Apache Iceberg (Parquet auf S3) und können unabhängig von Tools wie Spark, Trino oder DuckDB gelesen werden.
Die Lösung bietet außerdem eine integrierte Partition-Lebenszyklusverwaltung, die über den einzelnen Konfigurationsparameter hot_period das Arbeitsvolumen der heißen Daten steuert und den optionalen Parameter retention_period zur automatischen Löschung von Kaltdaten nach einer bestimmten Zeit bereitstellt. In einer Multi-Master-Cluster-Umgebung können Kaltdaten von jedem Knoten gleichzeitig gelesen und geschrieben werden. Über den Spock-Multi-Master-Cluster werden heiße Daten von Spock repliziert, während Kaltdaten im gemeinsamen Objektspeicher liegen. Das Bakery-Protokoll (in TLA+ formal verifiziert) serialisiert Iceberg-Commit-Operationen über Knoten hinweg, ohne 409-Konflikte und ohne anwendungsseitige Wiederholungsversuche; in Tests mit drei kleinen Knoten und 90 Millionen Zeilen wurde eine Leistung von 756.000 Zeilen pro Sekunde erreicht.
Dave Page, Chief Technology Officer bei pgEdge, wies darauf hin, dass die Lösung den Datenlebenszyklus automatisch verwaltet und die Speicherkosten um bis zu 90 % senkt. Die Dateninfrastruktur unterstützt KI- und ML-Pipelines, indem sie PostgreSQL durch ein entkoppeltes Modell in einen zustandslosen Rechen-Frontend auf Iceberg verwandelt, sodass neue Rechenknoten innerhalb von Sekunden ohne Datensynchronisation gestartet werden können.
pgEdge ColdFront bietet drei Betriebsmodi: Tiering-Modus (heiß + kalt), Entkopplungsmodus (nur Iceberg) und Nur-Partitionsmodus (keine Kaltdatenebene). Das Produkt ist jetzt als produktionsreife Beta-Version verfügbar und unterstützt PostgreSQL 16, 17 und 18 in Einzelinstanz- sowie Multi-Master-Spock-Grid-Topologien. ColdFront wird mit pgEdge Enterprise Postgres gebündelt und die Integration in pgEdge Cloud ist für die zweite Jahreshälfte 2026 geplant. Es wird unter der PostgreSQL-Lizenz als Open Source veröffentlicht; Dokumentation und Installationsanweisungen sind auf der angegebenen Website verfügbar.
Dieser Artikel wurde von Wedoany übersetzt und bearbeitet. Bei jeglicher Zitierung oder Nutzung durch künstliche Intelligenz (KI) ist die Quellenangabe „Wedoany“ zwingend vorgeschrieben. Sollten Urheberrechtsverletzungen oder andere Probleme vorliegen, bitten wir Sie, uns unverzüglich zu benachrichtigen. Wir werden den entsprechenden Inhalt umgehend anpassen oder löschen.
E-Mail: news@wedoany.com
