Replizieren und Synchronisieren von Mainframedaten mit Azure

In diesem Artikel wird erläutert, wie Daten während der Mainframe-Modernisierung repliziert und mit Azure synchronisiert werden. Es beschreibt die technischen Aspekte dieser Lösungsidee, z. B. Datenspeicher, Tools und Dienste. Mainframe- und Midrange-Systeme aktualisieren die lokalen Anwendungsdatenbanken in regelmäßigen Abständen. Um die Konsistenz zu wahren, synchronisiert diese Lösung die neuesten Daten mit Azure-Datenbanken.

Architektur

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

Der folgende Workflow entspricht dem vorherigen Diagramm:

1. Azure Data Factory dynamische Pipelines koordinieren Aktivitäten, einschließlich Datenextraktion und Datenladevorgang. Sie können Pipeline-Aktivitäten einplanen, manuell starten oder automatisch auslösen.

   Pipelines gruppieren die Aktivitäten, die Aufgaben ausführen. Zum Extrahieren von Daten erstellt Azure Data Factory dynamisch eine Pipeline für jede lokale Tabelle. Sie können dann eine massiv parallele Implementierung verwenden, wenn Sie Daten in Azure replizieren. Konfigurieren Sie die Replikationsebene basierend auf Ihren Anforderungen.

   • Vollständige Replikation. Replizieren Sie die gesamte Datenbank, und ändern Sie Datentypen und Felder in der Zieldatenbank Azure Datenbank.

   • Partielle, Delta- oder inkrementelle Replikation. Verwenden Sie Wasserzeichenspalten in Quelltabellen, um die aktualisierten Zeilen mit Azure Datenbanken zu synchronisieren. Diese Spalten enthalten entweder einen kontinuierlich inkrementellen Schlüssel oder einen Zeitstempel, der die letzte Aktualisierung der Tabelle angibt.

   Azure Data Factory verwendet Pipelines auch für die folgenden Transformationsaufgaben:

   • Datentyp-Konvertierung

   • Manipulation von Daten

   • Formatierung von Daten

   • Spaltenableitung

   • Datenvereinfachung

   • Sortierung der Daten

   • Datenfilterung

2. Lokale Datenbanken wie Db2 zOS, Db2 für i und Db2 LUW speichern die Anwendungsdaten.

3. Eine selbstgehostete Integration Runtime (IR) stellt die Umgebung bereit, die Azure Data Factory zum Ausführen und Verteilen von Aktivitäten verwendet.

4. Azure Data Lake Storage Gen2 und Azure Blob Storage stellen die Daten bereit. Dieser Schritt kann erforderlich sein, um Daten aus mehreren Quellen zu transformieren und zusammenzuführen.

5. Für die Datenvorbereitung verwendet Azure Data Factory Azure Databricks, benutzerdefinierte Aktivitäten und Pipeline-Dataflows, um Daten schnell und effektiv zu transformieren.

6. Azure Data Factory lädt Daten in die folgenden relationalen und nicht relationalen Azure-Datenbanken:

   • Azure SQL

   • Azure-Datenbank für PostgreSQL

   • Azure Cosmos DB (ein Microsoft-Datenbankdienst)

   • Azure Data Lake Storage

   • Azure-Datenbank für MySQL

7. SQL Server Integration Services (SSIS) extrahiert, transformiert und lädt Daten.

8. Das lokale Datengateway ist eine lokale Windows Clientanwendung, die als Brücke zwischen Ihren lokalen lokalen Datenquellen und Azure-Diensten fungiert.

9. Eine Microsoft Fabric Datenpipeline ist eine logische Gruppierung von Aktivitäten, die die Datenaufnahme von Db2 zu Azure Speicher und Datenbanken durchführen.

10. Wenn die Lösung eine Replikation nahezu in Echtzeit erfordert, können Sie Tools von Drittanbietern verwenden.

Wenn diese Tools nicht auf die lokalen Db2-Datenbanken zugreifen können, extrahieren Sie die Daten, und erstellen Sie einen benutzerdefinierten Migrationsprozess, um die extrahierten Dateien in die Zieldatenbanken zu laden.

Komponenten

In diesem Abschnitt werden weitere Tools beschrieben, die Sie während der Datenmodernisierung, datensynchronisierung und Datenintegration verwenden können.

Datenintegratoren

• Azure Data Factory ist ein hybrider Datenintegrationsdienst. Sie können diese vollständig verwaltete, serverlose Lösung verwenden, um ETL-Workflows (Extrahieren, Transformieren und Laden) und ELT-Workflows (Extrahieren, Laden und Transformieren) zu erstellen, zu planen und zu orchestrieren.

• Fabric ist eine Enterprise Analytics-Plattform, die Zeit für Einblicke in Datentechnik, Data Warehouse, Datenintegration, Echtzeitanalysen und Business Intelligence beschleunigt. Fabric ist eine SaaS-Lösung (Software as a Service), die zentralen Speicher in OneLake verwendet. Fabric kombiniert die folgenden Technologien und Dienste:

  • SQL-Technologien für Enterprise Data Warehouse stehen mithilfe von Fabric Data Warehouse zur Verfügung, bei dem es sich um ein verwaltetes Transaktionslager handelt, das ein offenes Delta-Format verwendet.

  • Umfangreiches Data Engineering und maschinelles Lernen stehen mit Fabric Data Engineering zur Verfügung, das integrierte Apache Spark-Funktionen umfasst.

  • Nah-Echtzeit-Analysen stehen mithilfe von Fabric Echtzeitintelligenz zur Verfügung, die Eventhouses und Eventstreams umfasst.

  • ETL- und ELT-Workflows stehen mithilfe von Fabric Data Factory zur Verfügung, die Pipelines, Dataflow Gen2 und eine Reihe von Connectors mit Hybrid- und lokaler Gatewayunterstützung umfasst.

  Fabric verfügt über systemeigene Integrationen mit Power BI und mit Azure Diensten wie Azure Cosmos DB und Azure Machine Learning.

• SSIS ist eine Plattform für Datenintegrations- und Transformationslösungen auf Unternehmensebene. Verwenden Sie SSIS, um Daten zu verwalten, zu replizieren, zu bereinigen und zu minen.

• Azure Databricks ist eine Data Analytics-Plattform, die auf dem Spark Open Source Distributed Processing System basiert. Azure Databricks ist für die Azure Cloudplattform optimiert. In einem Analyseworkflow liest Azure Databricks Daten aus mehreren Quellen und verwendet Spark, um Erkenntnisse bereitzustellen.

Datenspeicherung

• Azure SQL-Datenbank ist eine vollständig verwaltete, cloudbasierte Plattform als Dienst (PaaS). SQL-Datenbank bietet KI-gestützte automatisierte Features, die die Leistung und Haltbarkeit optimieren. Serverlose Compute- und Hyperscale-Speicheroptionen skalieren Ressourcen automatisch bei Bedarf.

• Azure SQL Managed Instance ist ein vollständig verwalteter, intelligenter und skalierbarer Clouddatenbankdienst mit SQL Server Modulkompatibilität. Verwenden Sie SQL Managed Instance, um vorhandene Apps im großen Stil zu modernisieren.

• SQL Server auf virtuellen Azure-Computern hostet codekompatible SQL Server Workloads in der Cloud neu. SQL Server auf virtuellen Azure-Computern kombiniert die Leistung, Sicherheit und Analyse von SQL Server mit der Flexibilität und Hybridkonnektivität von Azure. Um vorhandene Apps zu migrieren oder neue Apps zu erstellen, verwenden Sie SQL Server auf virtuellen Azure-Computern.

• Azure Database for PostgreSQL ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der Community-Edition des Open-Source-PostgreSQL-Datenbankmoduls basiert. Azure Database for PostgreSQL bietet skalierbare Anwendungsinnovationsfeatures.

• Azure Cosmos DB ist eine global verteilte Datenbank mit mehreren Modellen . Verwenden Sie Azure Cosmos DB, um sicherzustellen, dass Ihre Lösungen Durchsatz und Speicher in mehreren geografischen Regionen elastisch und unabhängig skalieren können.

• Data Lake Storage ist ein Speicher-Repository, das große Mengen systemeigener und roher Daten enthält. Data Lake-Speicher sind für die Skalierung auf Terabyte und Petabyte an Daten optimiert. Die Daten stammen in der Regel aus mehreren heterogenen Quellen und können strukturiert, halbstrukturiert oder unstrukturiert sein. Data Lake Storage Gen2 kombiniert Data Lake Storage Gen1-Funktionen mit Blob Storage. Data Lake Storage Gen2 bietet Dateisystemsemantik, Sicherheit auf Dateiebene und Skalierung. Darüber hinaus bietet es die mehrstufigen Speicher-, Hochverfügbarkeits- und Notfallwiederherstellungsfunktionen von Blob Storage.

• Azure Database for MySQL ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der Community-Edition des Open-Source-MySQL-Datenbankmoduls basiert.

Weitere Tools

• Microsoft-Dienst for Distributed Relational Database Architecture (DRDA) ist eine Komponente von Host Integration Server. Microsoft-Dienst für DRDA ist ein Anwendungsserver, den DRDA-Anwendungsanforderungsclients (AR) verwenden. Beispiele für DRDA AR-Clients sind IBM Db2 for z/OS und Db2 for i5/OS. Diese Clients verwenden den Anwendungsserver, um Db2 SQL-Anweisungen zu konvertieren und auf SQL Server auszuführen.

• SQL Server Migration Assistant (SSMA) für Db2 automatisiert die Migration von Db2 zu Microsoft Datenbankdiensten. Das SSMA für Db2-Tool wird auf einem virtuellen Computer ausgeführt. Es konvertiert Db2-Datenbankobjekte in SQL Server Datenbankobjekte und erstellt diese Objekte in SQL Server.

Alternatives

Diese Architektur zeigt Optionen und Azure Datenbankziele für die Datenreplikation und Synchronisierung von Mainframedaten. Sie können auch die folgenden Azure SQL Ziele replizieren und synchronisieren:

• SQL Managed Instance ist ein vollständig verwalteter Clouddatenbankdienst. SQL Managed Instance ist mit SQL Server Engine kompatibel. Verwenden Sie SQL Managed Instance, um Apps im großen Maßstab zu modernisieren.

• SQL Server auf virtuellen Azure-Computern hostet SQL Server Workloads in der Cloud ohne Codeänderungen neu. SQL Server auf virtuellen Azure-Computern kombiniert die Leistung, Sicherheit und Analyse von SQL Server mit der Flexibilität und Hybridkonnektivität von Azure. Verwenden Sie SQL Server auf virtuellen Azure-Computern, um vorhandene Apps zu migrieren oder neue Apps zu erstellen.

Szenariodetails

Datenverfügbarkeit und Integrität sind für die Groß-/Kleinrechner- und Midrange-Modernisierung unerlässlich. Daten-First-Strategien helfen, Daten während der Migration zu Azure intakt und verfügbar zu halten. Um Unterbrechungen während der Modernisierung zu verhindern, müssen Sie möglicherweise Daten schnell replizieren oder lokale Daten mit Azure Datenbanken synchronisieren.

Diese Lösung umfasst:

• Extraktion. Herstellen einer Verbindung mit und Extrahieren von Daten aus einer Quelldatenbank.

• Transformation, einschließlich:

  • Staging: Speichern Sie Daten vorübergehend im ursprünglichen Format, und bereiten Sie sie auf die Transformation vor.

  • Vorbereitung. Transformieren und Bearbeiten von Daten mithilfe von Zuordnungsregeln, die den Anforderungen der Zieldatenbank entsprechen.

• Wird geladen. Fügen Sie Daten in eine Zieldatenbank ein.

Potenzielle Anwendungsfälle

Verwenden Sie diese Lösung in den folgenden Datenreplikations- und Synchronisierungsszenarien:

• CQRS-Architekturen (Command Query Responsibility Segregation), die Azure verwenden, um alle Abfragekanäle zu bedienen

• Umgebungen, die lokale Anwendungen testen und parallel gehostete oder neugineierte Anwendungen testen

• Lokale Systeme, die eng gekoppelte Anwendungen verwenden, die phasenweise Wartung oder Modernisierung erfordern

Recommendations

Sie können die folgenden Empfehlungen auf die meisten Szenarien anwenden. Sofern Sie keine besonderen Anforderungen haben, die Vorrang haben, sollten Sie diese Empfehlungen befolgen.

Wenn Sie Azure Data Factory zum Extrahieren von Daten verwenden, optimieren Sie die Kopieraktivitätsleistung. Wenn Sie Fabric Data Factory zum Extrahieren von Daten verwenden, passen Sie Parallelität, Batchgröße und Connectoreinstellungen an, um die Pipelineleistung zu optimieren. Weitere Informationen finden Sie unter Pipelineübersicht und Connectorübersicht.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautor:

• Rodrigo Rodríguez | Senior Cloud Solution Architect, AI & Quantum

Um nicht öffentliche LinkedIn-Profile zu sehen, melden Sie sich bei LinkedIn an.

Nächste Schritte

• Migrationshandbuch

Verwandte Ressourcen

• Erste Schritte mit dem Entwurf der Datenbankarchitektur
• Greenfield-Lakehouse in Fabric