Mehrstufige Datenoptionen für Dataflow Gen2

Note

Die in diesem Artikel beschriebenen mehrstufigen Datenoptionen befinden sich derzeit in der Vorschau.

Wenn Sie das Staging für eine Abfrage aktivieren, schreibt Dataflow Gen2 Zwischenergebnisse in ein internes Staging-Lakehouse, damit die Engine Fabric-Compute für Transformationen verwenden oder Daten in einem Ziel ablegen kann.

Im Abschnitt " Mehrstufige Daten " in den Datenfluss-Skalierungseinstellungen können Sie zwei Aspekte dieser Pipeline optimieren:

  • Optimized copy to Lakehouse (Preview) – Verwenden Sie einen schnelleren Pfad, um mehrstufige Daten in ein Fabric Lakehouse-Datenziel zu schreiben.
  • Aktivieren sie die V-Order-Komprimierung (Vorschau) – Wenden Sie die V-Order-Komprimierung auf Daten an, die in das Staging Lakehouse geschrieben wurden.

Beide Optionen gelten auf Datenflussebene und werden nur in Dataflow Gen2 wirksam.

Wo finden Sie die Einstellungen

  1. Öffnen Sie den Datenfluss im Power Query-Editor.
  2. Wählen Sie im Menü "Optionen" aus.
  3. Wechseln Sie zur Registerkarte " Skalieren ".
  4. Die beiden Einstellungen werden unter "Mehrstufige Daten" aufgeführt.

Screenshot des Dialogfelds

Optimierte Kopie nach Lakehouse (Vorschau)

Wenn diese Option aktiviert ist, verwendet Dataflow Gen2 einen optimierten Datenverschiebungspfad für Abfragen, die:

  • Haben Sie Staging aktiviert und
  • In ein Fabric Lakehouse-Datenziel schreiben.

Im Standardpfad fließen die Daten vom Staging Warehouse zum Lakehouse dabei über zusätzliche Serialisierung und Netzwerk-Hops. Der optimierte Pfad reduziert diese Zwischenschritte, wodurch sich die Aktualisierungszeit für Datenflüsse mit vielen Staging-Schritten, die in einem Lakehouse landen, erheblich verkürzen kann.

Wann wird es verwendet?

Aktivieren Sie diese Option, wenn Sie Abfragen einreichen, die letztendlich in einem Fabric Lakehouse-Datenziel landen. Staging ist am nützlichsten, wenn:

  • Ihre Abfrage enthält Transformationen, die sich nicht zur Quelle zurückfalten lassen.
  • Sie möchten sich auf Fabric Staging-Compute (Lakehouse oder Warehouse) verlassen, um schwere Vorgänge auszuführen, z. B. Verknüpfungen, Gruppierungen oder Filter, bevor Sie an das Ziel schreiben.

Weitere Informationen dazu, wann Staging hilfreich ist, finden Sie unter Bewährte Methoden für die optimale Leistung mit Dataflow Gen2.

Standardverhalten

Die Option ist standardmäßig deaktiviert. Für die meisten Datenflüsse, die Daten stufen und in ein Fabric Lakehouse schreiben, ist die Aktivierung dieser Option von Vorteil.

Considerations

  • Die Option wirkt sich nur auf Abfragen aus, die das Staging aktiviert haben und in ein Fabric Lakehouse-Datenziel schreiben. Bei Abfragen, die in andere Ziele schreiben (Fabric Warehouse, Fabric SQL-Datenbank, Azure SQL, Snowflake, KQL, Azure Data Lake Storage Gen2, Dateiziele), hat die Option keine Auswirkung.
  • Wenn Sie das Staging für eine Abfrage deaktivieren, gilt der optimierte Kopierpfad nicht für diese Abfrage.
  • Die Option gilt für alle qualifizierenden Abfragen im Datenfluss. Es gibt heute keine Außerkraftsetzung für einzelne Abfragen.

V-Order-Komprimierung aktivieren (Vorschau)

V-Order ist eine Optimierung beim Schreiben für das Parquet-Dateiformat, die die Leseleistung für nachgelagerte Fabric-Engines verbessert, geht jedoch mit zusätzlichem CPU-Aufwand beim Schreiben einher. Hintergrund- und modulübergreifende Anleitungen finden Sie unter Delta Lake-Tabellenoptimierung und V-Order - und Cross-Workload-Tabellenwartung und -optimierung.

Wenn diese Option aktiviert ist, wendet Dataflow Gen2 die V-Order-Komprimierung auf Daten an, die in das Staging Lakehouse geschrieben wurden. Wenn sie deaktiviert ist, werden mehrstufige Daten ohne V-Order geschrieben.

Wann V-Order für Staging aktiviert oder deaktiviert werden sollte

Das Staging Lakehouse enthält Zwischendaten, die nur von Dataflow Gen2 selbst verwendet werden: Der Dataflow liest während der gleichen Aktualisierung mehrstufige Daten neu, um weitere Transformationen anzuwenden oder in ein Ziel zu schreiben, und der Dataflow-Connector liest aus den mehrstufigen Daten, wenn andere Elemente die Ausgabe des Datenflusses abfragen. Abfrage-Engines für Endbenutzer (Power BI Direct Lake, Fabric Warehouse, SQL-Analyseendpunkt, Spark) lesen das Staging-Lakehouse nicht direkt. Diese Szenarien gelten stattdessen für Ihr Lakehouse-Datenziel . Anleitungen zum Ziel finden Sie unter Aktivieren Sie die V-Order-Komprimierung für ein Lakehouse-Ziel.

Da Stagingdaten in der Regel innerhalb derselben Aktualisierung nur wenige Male gelesen werden, ist das Deaktivieren von V-Order für das Staging für die meisten Dataflows eine gute Wahl. Durch das Überspringen von V-Order wird die CPU-Schreibzeit reduziert und die Aktualisierungsdauer verkürzt, insbesondere bei großen Staging-Schreibvorgängen. Erwägen Sie, V-Order für Staging einzuschalten, wenn die Stagingausgabe des Datenflusses viele Male über den Dataflow-Connector verwendet wird und Sie die Leseleistung für diese nachgelagerten Abfragen höher gewichten möchten als die Schreibkosten für das Staging.

Standardverhalten

Die Option ist standardmäßig aktiviert. Verwenden Sie die obigen Anleitungen, um zu entscheiden, was für Ihren Datenfluss am besten geeignet ist.

Wo sonst gilt V-Order

Neben der Einstellung auf Datenflussebene, mit der das Staging-Lakehouse gesteuert wird, kann V-Order auch direkt in der Lakehouse-Datenzielverbindung über die erweiterte Option Verwendung der V-Order-Komprimierung aktivieren gesteuert werden. Diese Einstellung steuert, ob Daten, die in das Ziel-Lakehouse geschrieben werden, mit V-Order komprimiert werden. Das Ziel ist die Oberfläche, die von Direct Lake, Fabric Warehouse, dem SQL-Analyseendpunkt und Spark gelesen wird. Daher ist die Anleitung auf Zielebene szenariobasiert.

Ausführliche Informationen zur Option auf Zielebene finden Sie unter Enable V-Order compression on a Lakehouse destination.

Verwandte Inhalte

  • Last updated on