Abfragebasierte Konnektoren

Abfragebasierte Konnektoren in Lakeflow Connect erfassen Daten aus Datenbanken, indem sie die Quelle direkt abfragen, ohne dass die Konfiguration für Change Data Capture (CDC) erforderlich ist. Anstatt sich auf Binlogs oder CDC-Infrastruktur zu verlassen, verwenden sie eine Cursorspalte – eine monoton zunehmende Zeitstempel- oder ganzzahlige Spalte – zum Nachverfolgen von Zeilen, die nach der letzten Pipelineausführung neu oder aktualisiert wurden.

Abfragebasierte Connectors verwenden Unity Catalog-Verbindungen und Lakehouse Federation, um eine Verbindung mit Quelldatenbanken herzustellen, und sie schreiben Ergebnisse in Streamingtabellen.

So funktioniert es

Bei jedem Pipeline-Lauf fragt ein abfragebasierter Konnektor die Quelldatenbank ab und ruft alle Zeilen ab, deren Wert in der Cursorspalte größer ist als der Höchstwert aus dem vorherigen Lauf. Nach jeder erfolgreichen Ausführung speichert der Verbinder den Höchststand der Cursorspalte und verwendet ihn als untere Grenze für die nächste Ausführung.

Da der Connector die Quelle direkt abfragt, ist kein Erfassungsgateway oder Stagingvolume erforderlich. Die Pipeline wird in einem von Ihnen definierten Zeitplan ausgeführt, nicht kontinuierlich.

Abfragebasierte Konnektoren im Vergleich zu CDC-Datenbankkonnektoren

Abfragebasierte Konnektoren unterscheiden sich folgendermaßen von CDC-Datenbankkonnektoren:

  • Kein Erfassungsgateway: CDC-Connectors erfordern ein Gateway, um Binlog-Ereignisse zu erfassen. Abfragebasierte Connectors verwenden kein Gateway.
  • Kein Stagingvolume: CDC-Connectors puffern extrahierte Daten in einem Stagingvolume. Abfragebasierte Konnektoren schreiben direkt von der Quellabfrage in die Zieltabelle.
  • Geplant statt fortlaufend: Abfragebasierte Connectors werden in einem Zeitplan ausgeführt. Sie erfassen nicht jeden Zwischenzustand von Zeilen zwischen Ausführungen. Sie erfassen nur den neuesten Status der Zeilen, die geändert wurden.
  • Umfassendere Quellkompatibilität: Jede Datenbank mit einer geeigneten Cursorspalte ist eine gültige Quelle, auch wenn sie CDC- oder Binlogzugriff nicht unterstützt.

Der Kompromiss besteht darin, dass die Abfrageleistung langsamer sein kann und Abfragen direkt in Quelltabellen ausgeführt werden können, was im Vergleich zu CDC-Connectors, die den Binlog abfragen, mehr Last auf die Quelldatenbank legen kann. Die Nachverfolgung vorläufiger Löschungen wird mithilfe von deletion_condition unterstützt. Die Nachverfolgung endgültiger Löschungen wird ebenfalls in der Betaversion unterstützt. Beide erfordern eine API-Konfiguration.

Unterstützte Erfassungsansätze

Abfragebasierte Verbinder unterstützen mehrere Aufnahmeansätze. Der verwendete Ansatz bestimmt, welche Konfigurationsparameter erforderlich sind.

Vorgehensweise Wie es eine Verbindung herstellt Erforderliche Parameter
Erfassung von Fremdverbindungen Verwendet eine Verbindung, die Authentifizierungsanmeldeinformationen für die Quelldatenbank speichert. Der Connector verwendet die Verbindung, um die Quelldatenbank direkt abzufragen. connection_name, , source_catalogsource_schema, , source_tablecursor_column
Aufnahme fremder Kataloge Verwendet einen Fremdkatalog, der von einer Lakehouse Federation-Datenquelle unterstützt wird. Der Connector verwendet den fremden Katalog, um Quelldaten zu lesen, anstatt eine direkte Verbindung mit der Quelldatenbank herzustellen. ingest_from_uc_foreign_catalog: true, cursor_columns, primary_keys (erforderlich, es sei denn, Sie verwenden den Modus APPEND_ONLY)

Unterstützte Quellen

Die folgenden Datenbankquellen werden unterstützt.

Einspeisequellen für ausländische Verbindungen:

  • Orakel
  • Teradata
  • SQL Server
  • MySQL
  • MariaDB
  • PostgreSQL

Quellen für die Aufnahme fremder Kataloge:

Alle Lakehouse-Verbunddatenquellen werden durch die Eingliederung ausländischer Kataloge unterstützt. Die vollständige Liste finden Sie unter Lakehouse Federation.

Unterstützte Schnittstellen

Sie können die Azure Databricks UI oder deklarative Automatisierungsbündel verwenden, um abfragebasierte Pipelines zu erstellen.

Computeanforderungen

Abfragebasierte Erfassungspipelinen werden standardmäßig auf serverlosem Compute ausgeführt. Die klassische Compute-Bereitstellung wird in der Betaversion über Declarative Automation Bundles oder die API unterstützt. Databricks empfiehlt die Verwendung der serverlosen Berechnung. Siehe Erstellen einer abfragebasierten Aufnahmepipeline.

Um abfragebasierte Connectors mit serverloser Berechnung zu verwenden, muss Ihre Computeumgebung die Netzwerkkonnektivität mit der Quelldatenbank zulassen. Siehe Netzwerk- und Netzwerkempfehlungen für Lakehouse Federation.

Verlaufsverfolgungsmodi (SCD)

Abfragebasierte Connectors unterstützen die folgenden Verlaufsnachverfolgungsmodi (auch als SCD-Modi (Slowly Changing Dimension) bezeichnet) für Zieltabellen:

  • SCD_TYPE_1: Überschreibt die vorhandene Zeile in der Zieltabelle mit der neuesten Quellzeile. Die Zieltabelle speichert keine Historie.
  • SCD_TYPE_2: Behält den vollständigen Verlauf von Zeilenänderungen bei, indem neue Zeilen mit Versionsmetadaten hinzugefügt werden. Siehe "Verlaufsverfolgung aktivieren" (SCD-Typ 2).
  • APPEND_ONLY: Jede aufgenommene Zeile wird an die Zieltabelle angefügt, ohne dass dabei Zusammenführungen oder Überschreibungen erfolgen.

Schemaentwicklung

Abfragebasierte Connectors behandeln die Schemaentwicklung genauso wie andere verwaltete Connectors in Lakeflow Connect. Erfahren Sie , wie verwaltete Connectors mit der Schemaevolution umgehen?.

  • Last updated on