Bewährte Methoden für die Migration für Azure Data Factory zum Fabric Data Factory

Dieser Artikel enthält bewährte Methoden auf Implementierungsebene für jede Komponente einer Azure Data Factory (ADF) zum Fabric Data Factory-Migration: Verbindungen, Integrationslaufzeiten, Aktivitäten, Datenflüsse, globale Parameter und Tools. Eine allgemeine Migrationsplanung, einschließlich der Auswahl eines Migrationspfads und der Priorisierung von Pipelines, finden Sie unter Planen der Migration von Azure Data Factory zu Fabric.

Überlegungen vor der Migration

Bevor Sie migrieren, bewerten Sie, was wiederverwendet, übersetzt oder neu gestaltet werden soll. Führen Sie die folgenden Schritte aus, um einen reibungslosen Übergang sicherzustellen:

1. Identifizieren Sie Authentifizierungsmuster, z. B. verwaltete Identität oder schlüsselbasierte Authentifizierung.
2. Überprüfen Sie die Netzwerkanforderungen, einschließlich privater Endpunkte und Gateways.
3. Stimmen Sie die Planung und Triggersemantik ab und richten Sie Überwachungs- und Warnungskonfigurationen aus.
4. Vergleichen Sie ADF-Features mit ihren entsprechenden Funktionen in Fabric und notieren Sie dabei eventuelle Lücken wie SSIS oder Datenflüsse.
5. Definieren Sie nicht funktionsfähige Ziele, z. B. SLAs, Durchsatz, Kostenlimits und Observability.
6. Erstellen Sie ein Testszenario mit Beispieldatensätzen und erwarteten Ausgaben, um ADF- und Fabric-Ausführung objektiv zu vergleichen.
7. Planen Sie die Rotation von Geheimnissen, Benennungskonventionen und die Workspace-Taxonomie, damit Ihre Migration Ihre aktuelle Datenintegrationsstrategie verbessert, anstatt sie nur zu reproduzieren.

Ein phasenweiser Ansatz mit parallelen Validierungs- und Rollbackplänen minimiert das Risiko und ermöglicht eine schnellere Ausführung, zentrale Überwachung und eine tiefere Integration mit Microsoft Fabric.

Bei großen Migrationen sollten Sie sich mit zertifizierten Microsoft Partnern oder Ihrem Microsoft-Konto Team um Anleitungen bemühen.

Bewährte Methoden zum Migrieren von verknüpften ADF-Diensten und -Datasets zu Fabric Verbindungen

In Azure Data Factory (ADF) definieren verknüpfte Dienste und Datasets Verbindungen und Datenstrukturen. In Fabric werden diese mit Verbindungen und Aktivitätseinstellungen verknüpft, wobei der Schwerpunkt stärker auf der Wiederverwendung und der verwalteten Identität auf der Arbeitsbereichsebene liegt. Hier erfahren Sie, wie Sie Ihre ADF-Ressourcen anpassen:

1. Überprüfen Sie die Verbindungskontinuität zwischen Azure Data Factory und Fabric, um sicherzustellen, dass Ihre Datenquellen und -senken unterstützt werden.
2. Konsolidieren Sie redundante Verbindungen, um die Verwaltung zu optimieren.
3. Nutzen Sie verwaltete Identitäten für sichere und konsistente Authentifizierung.
4. Standardisieren Sie die Ordner- und Tabellenparameterisierung mithilfe eindeutiger Benennungskonventionen, z. B.: conn-sql-warehouse-sales oder ds-lh-raw-orders.

Um Konsistenz und Skalierbarkeit zu gewährleisten, dokumentieren Sie jede Quelle und jedes Ziel vollständig mit:

• Inhaber
• Vertraulichkeitsstufen
• Wiederholungseinstellungen

Diese Dokumentation hilft beim Templatisieren von Abläufen über Pipelines hinweg und verbessert die Governance.

Integrationslaufzeiten und OPDG, virtuelles Netzwerkgateway

Azure Data Factory (ADF) verwendet Integration Runtimes (IRs) zum Definieren von Computeressourcen für die Datenverarbeitung. Dazu gehören:

• Cloud IRs für in Azure gehostete Computing-Dienste.
• Selbst gehostete IRs (SHIRs) für lokale oder privat vernetzte Quellen.
• SSIS IRs für SQL Server Integration Services.
• VNet-fähige IRs für sichere Netzwerkkonnektivität.

In Fabric werden diese Cloud-Ausführung, On-premises Data Gateway (OPDG) und Virtual Network Data Gateway zugeordnet. Hier erfahren Sie, wie Sie Ihre Migration planen:

1. Identifizieren Sie Pipelines, die auf SHIRs basieren, und planen Sie die Gatewayzuordnung und die Durchsatzplanung.
2. Überprüfen Sie DNS, Ausgang, Firewallregeln und Authentifizierung für jeden Connector.
3. Testen Sie Failoverszenarien, um die Zuverlässigkeit sicherzustellen.
4. Migrieren Sie nach Möglichkeit zu privaten Endpunkten oder virtuellen Netzwerkdatengateways, um Sicherheitsüberprüfungen zu vereinfachen und den Betriebsaufwand zu reduzieren.

Fabric vereinfacht die Berechnungsverwaltung mithilfe von cloudbasierten Ressourcen innerhalb Ihrer Fabric Kapazitäten. SSIS-IRs sind in Fabric nicht verfügbar. Verwenden Sie für die lokale Konnektivität das lokale Datengateway (OPDG). Verwenden Sie für sichere Netzwerkkonnektivität das Virtual Network Data Gateway.

Bei der Migration:

• Azure-IRs des öffentlichen Netzwerks müssen nicht verschoben werden.
• Erstellen Sie SHIRs als OPDGs neu.
• Ersetzen Sie VNet-fähige Azure-IRs durch Virtual Network-Datengateways.

Bewährte Methoden zum Migrieren von ADF-Pipelineaktivitäten zu Fabric

Alle Kernaktivitäten in Azure Data Factory (ADF), z. B. Copy, Lookup, Stored Procedure/SQL Script, Web und Control Flow, verfügen über direkte Entsprechungen in Fabric. Es gibt jedoch einige Unterschiede bei Eigenschaften, Ausdruckssyntax und Grenzwerten. Überprüfen Sie bei der Migration Folgendes:

• Richtlinien für Wiederholungen und Zeitlimits.
• Paginierungseinstellungen für REST-Quellen.
• Konfigurationen für binäre und tabellarische Kopien.
• Foreach- und Filtermuster.
• Systemvariablen, die in dynamischen Inhalten verwendet werden.

Fabric bietet häufig nativere Optionen für bestimmte Aufgaben. Verwenden Sie z. B. SQL-Skript in einem Warehouse anstelle eines allgemeinen gespeicherten Prozeduraufrufs, um eine bessere Nachvollziehbarkeit und Überwachung zu ermöglichen. Um die Migration zu optimieren, zentralisieren Sie allgemeine Ausdrücke wie Pfade, Datumsangaben und mandantenspezifische URIs in Pipelineparameter. Dies reduziert Drift und beschleunigt tests.

Weitere Informationen finden Sie unter Activity Continuity between Azure Data Factory and Fabric.

Unterschiede bei Datenflüssen

Azure Data Factory (ADF) Mapping Data Flows werden nicht direkt Fabric zugeordnet. Stattdessen überarbeiten Sie sie normalerweise mit einer der folgenden Optionen:

• Dataflow Gen2 für Rowset-Transformationen und gesteuerte Low-Code-Transformationen.
• Fabric Warehouse SQL für setbasierte ELT-Vorgänge wie MERGE- oder ELT-Vorgänge in der Nähe der Daten.
• Spark-Notebooks für fortgeschrittene Transformationen, komplexe Logik oder großangelegte Verarbeitung.

Überprüfen Sie bei der Migration Folgendes:

• Datentypen und Nullbehandlung.
• Ersatzschlüssel und langsam veränderliche Dimensionen.
• Idempotente ELT-Muster, z. B. Staging und MERGE, um vorhersehbare Wiederholungen sicherzustellen.

Migrationsszenarien finden Sie unter Migrieren von Dataflow Gen1 zu Dataflow Gen2.

Globale Parameter in Azure Data Factory

Fabric verwendet Variable Libraries auf Arbeitsbereichsebene, um Konstanten für Fabric Elemente zu definieren. Wenn Sie zu Microsoft Fabric Data Factory migrieren, müssen Sie Ihre Azure Data Factory globalen Parameter in Variablenbibliotheken konvertieren.

Vollständige Konvertierungsanleitungen finden Sie unter Convert ADF Global Parameters to Fabric Variable Libraries.

Azure Marketplace Partnerangebote

Vertrauenswürdige Migrationspartner, z. B. Bitwise Global, stellen Tools bereit, die Ihnen bei der Migration helfen. Diese Tools können:

• Scannen Sie Ihre Azure Data Factory(ADF)-Umgebung.
• Generieren Sie Ziel-Fabric-Artefakte.
• Durchführung von Auswirkungsanalysen und Herkunftsverfolgung.
• Erstellen Sie automatisierte Testpläne.

Diese Lösungen sind besonders hilfreich, wenn Sie folgendes haben:

• Hunderte von Pipelines.
• Vielfältige Verbinder.
• Strenge Ausfallzeitsanforderungen.

Partnertools standardisieren Zuordnungsregeln, generieren Konvertierungsberichte und führen parallele Überprüfungstests aus. Auf diese Weise können Sie Zeilenanzahlen, Prüfsummen und Leistung zwischen Ihren alten und neuen Umgebungen vergleichen. Auch wenn Sie keinen Partner für die gesamte Migration verwenden, können die Ermittlungs- und Bewertungsmodule Ihnen helfen, Ihre interne Planung zu starten und Unsicherheiten zu reduzieren.

Verwenden von Copilot- und KI-Tools zur Beschleunigung der ADF-zu-Fabric-Migration

Große Sprachmodelle (LLMs) wie Microsoft Copilot, ChatGPT und Claude können Migrationsaufgaben beschleunigen. Diese Tools sind nützlich für:

• Refaktorisierung von Ausdrücken.
• Konvertieren Azure Data Factory JSON (ADF) in Fabric Syntax.
• Schreiben von MERGE-Anweisungen.
• Generieren von Verbindungsvorlagen.
• Entwerfen von Validierungsskripts.

Sie können sie auch verwenden, um Dokumentationen zu erstellen, z. B. Runbooks, Datenwörterbücher und Migrationsprüflisten, um sicherzustellen, dass Techniker und Operatoren aufeinander abgestimmt bleiben. Behalten Sie diese Tools jedoch im Auge, nicht die Kontrolle übernehmen:

• Vermeiden Sie das Einfügen vertraulicher Informationen in KI-Tools.
• Überprüfen aller Elemente in einer Entwicklungsumgebung.
• Verwenden Sie automatisierte Tests wie Zeilenanzahlen, Schemavergleiche und Geschäftsregelprüfungen, um subtile Probleme abzufangen, z. B. Typenkonflikte oder gebietsschemaspezifische Datumsanalyse.

Weitere Informationen finden Sie unter Use Copilot in Data Factory and AI in Microsoft Fabric.

Migrationspfade

Ausführliche Anleitungen zu den Optionen für Migrationspfade (einschließlich des Einbindens von ADF-Elementen zur Wahrung der Kontinuität, der Verwendung der integrierten Upgradefunktion, der Konvertierung per PowerShell und von Replatforming-Strategien) finden Sie unter Migrationspfade im Migrationsplanungshandbuch.

Verwandte Inhalte

Compare Azure Data Factory mit Data Factory in Fabric