Replica e sincronizza i dati del mainframe in Azure

Questo articolo illustra come replicare e sincronizzare i dati in Azure durante la modernizzazione del mainframe. Descrive gli aspetti tecnici di questa soluzione, ad esempio archivi dati, strumenti e servizi. I sistemi mainframe e midrange aggiornano i database delle applicazioni locali a intervalli regolari. Per mantenere la coerenza, questa soluzione sincronizza i dati più recenti con i database di Azure.

Architettura

Scaricare un file di Visio di questa architettura.

Flusso di lavoro

Il flusso di lavoro seguente corrisponde al diagramma precedente:

1. Le pipeline dinamiche di Azure Data Factory orchestrano le attività, incluse l'estrazione e il caricamento dei dati. È possibile pianificare le attività della pipeline, avviarle manualmente o attivarle automaticamente.

   Le pipeline raggruppa le attività che eseguono compiti. Per estrarre i dati, Azure Data Factory crea dinamicamente una pipeline per ogni tabella locale. È quindi possibile usare un'implementazione parallela quando si replicano i dati in Azure. Configurare il livello di replica in base ai requisiti.

   • Replica completa. Replicare l'intero database e modificare i tipi di dati e i campi nel database di destinazione Azure.

   • Replicazione parziale, delta o incrementale. Usare le colonne limite nelle tabelle di origine per sincronizzare le righe aggiornate con Azure database. Queste colonne contengono una chiave a incremento continuo o un timestamp che indica l'ultimo aggiornamento della tabella.

   Azure Data Factory usa anche le pipeline per le attività di trasformazione seguenti:

   • Conversione del tipo di dati

   • Manipolazione dei dati

   • Formattazione dei dati

   • Derivazione della colonna

   • Appiattimento dei dati

   • Ordinamento dei dati

   • Filtro dei dati

2. I database locali, ad esempio Db2 zOS, Db2 per i e Db2 LUW, archiviano i dati dell'applicazione.

3. Un runtime di integrazione self-hosted fornisce l'ambiente usato da Azure Data Factory per eseguire e inviare le attività.

4. Azure Data Lake Storage Gen2 e Archiviazione BLOB di Azure archiviano temporaneamente i dati. Questo passaggio potrebbe essere necessario per trasformare e unire dati da più origini.

5. Per la preparazione dei dati, Azure Data Factory usa Azure Databricks, le attività personalizzate e i flussi di dati della pipeline per trasformare i dati in modo rapido ed efficace.

6. Azure Data Factory carica i dati nei database di Azure relazionali e non relazionali seguenti:

   • Azure SQL

   • Database di Azure per PostgreSQL

   • Azure Cosmos DB, un servizio di database distribuito globale di Microsoft

   • Azure Data Lake Storage

   • Database di Azure per MySQL

7. SQL Server Integration Services (SSIS) estrae, trasforma e carica i dati.

8. Il gateway dati locale è un'applicazione client Windows locale che funge da ponte tra le origini dati locali e i servizi Azure.

9. Una pipeline di dati di Microsoft Fabric è un raggruppamento logico di attività che eseguono l'acquisizione dei dati da Db2 nell'archiviazione e nei database di Azure.

10. Se la soluzione richiede una replica quasi in tempo reale, è possibile usare strumenti non Microsoft.

Se questi strumenti non possono accedere ai database Db2 locali, estrarre i dati e compilare un processo di migrazione personalizzato per caricare i file estratti nei database di destinazione.

Componenti

Questa sezione descrive altri strumenti che è possibile usare durante la modernizzazione dei dati, la sincronizzazione dei dati e l'integrazione dei dati.

Integrazione dei dati

• di Azure Data Factory è un servizio di integrazione dati ibrido. È possibile utilizzare questa soluzione serverless completamente gestita per creare, pianificare e orchestrare flussi di lavoro di estrazione, trasformazione e caricamento (ETL) e flussi di lavoro di estrazione, caricamento e trasformazione (ELT).

• Fabric è una piattaforma di analisi aziendale che accelera il tempo per ottenere informazioni dettagliate su progettazione dei dati, data warehousing, integrazione dei dati, analisi in tempo reale e business intelligence. Fabric è una soluzione SaaS (Software as a Service) che usa l'archiviazione centralizzata in OneLake. Fabric combina le tecnologie e i servizi seguenti:

  • Le tecnologie SQL per il data warehousing aziendale sono disponibili tramite Fabric Data Warehouse, ovvero un warehouse gestito e transazionale che usa un formato Delta aperto.

  • La progettazione dei dati su larga scala e l'apprendimento automatico sono disponibili usando Fabric Data Engineering, che include funzionalità predefinite di Apache Spark.

  • L'analisi quasi in tempo reale è disponibile tramite Fabric Real-Time Intelligence, che include eventhouse e flussi di eventi.

  • I flussi di lavoro ETL e ELT sono disponibili usando Fabric Data Factory, che include pipeline, Dataflow Gen2 e una gamma di connettori con supporto gateway ibrido e locale.

  Fabric include integrazioni native con Power BI e con servizi di Azure, ad esempio Azure Cosmos DB e Azure Machine Learning.

• SSIS è una piattaforma per soluzioni di integrazione e trasformazione dei dati a livello aziendale. Usare SSIS per gestire, replicare, pulire e estrarre i dati.

• Azure Databricks è una piattaforma di analisi dei dati basata sul sistema di elaborazione distribuito open source Spark. Azure Databricks è ottimizzato per la piattaforma cloud Azure. In un flusso di lavoro di analisi, Azure Databricks legge i dati da più origini e usa Spark per fornire informazioni dettagliate.

Archiviazione dei dati

• database SQL di Azure è una piattaforma distribuita come servizio (PaaS) completamente gestita e basata sul cloud. Il database SQL offre funzionalità automatizzate basate su intelligenza artificiale che ottimizzano le prestazioni e la durabilità. Le opzioni di calcolo serverless e di archiviazione Hyperscale ridimensionano automaticamente le risorse su richiesta.

• Istanza gestita di SQL di Azure è un servizio di database cloud completamente gestito, intelligente e scalabile con compatibilità del motore SQL Server. Usare Istanza gestita di SQL per modernizzare le app esistenti su larga scala.

• SQL Server in Macchine virtuali di Azure esegue il rehosting di carichi di lavoro compatibili con il codice SQL Server nel cloud. SQL Server in Macchine virtuali di Azure combina le prestazioni, la sicurezza e l'analisi delle SQL Server con la flessibilità e la connettività ibrida di Azure. Per eseguire la migrazione di app esistenti o creare nuove app, usare SQL Server in Macchine virtuali di Azure.

• Database di Azure per PostgreSQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database open source PostgreSQL. Database di Azure per PostgreSQL offre funzionalità di innovazione delle applicazioni scalabili.

• Azure Cosmos DB è un database multimodello distribuito a livello globale. Usare Azure Cosmos DB per assicurarsi che le soluzioni possano ridimensionare in modo elastico e indipendente la velocità effettiva e l'archiviazione in più aree geografiche.

• Data Lake Storage è un repository di archiviazione che contiene grandi quantità di dati nativi e non elaborati. Gli archivi dei dati (Data Lake) sono ottimizzati per scalare a terabyte e petabyte di dati. I dati provengono in genere da più origini eterogenee e possono essere strutturati, semistrutturati o non strutturati. Data Lake Storage Gen2 combina le funzionalità di Data Lake Storage Gen1 con l'archiviazione BLOB. Data Lake Storage Gen2 fornisce semantica del file system, sicurezza a livello di file e scalabilità. Fornisce inoltre le funzionalità di archiviazione a livelli, disponibilità elevata e ripristino di emergenza dell'archiviazione BLOB.

• Database di Azure per MySQL è un servizio di database relazionale completamente gestito basato sull'edizione community del motore di database MySQL open source.

Altri strumenti

• Il servizio Microsoft per l'architettura di database relazionali distribuiti (DRDA) è un componente di Host Integration Server. servizio Microsoft per DRDA è un server applicazioni usato dai client DRDA application requester (AR). Esempi di client DRDA AR includono IBM Db2 per z/OS e Db2 per i5/OS. Questi client utilizzano il server applicazioni per convertire le istruzioni SQL Db2 ed eseguirle su SQL Server.

• SQL Server Migration Assistant (SSMA) per Db2 automatizza la migrazione da Db2 a Microsoft servizi di database. Lo strumento SSMA per Db2 viene eseguito in una macchina virtuale. Converte gli oggetti di database Db2 in oggetti di database SQL Server e crea tali oggetti in SQL Server.

Le alternative

Questa architettura mostra le opzioni e le destinazioni di database di Azure per la replica e la sincronizzazione dei dati del mainframe. È anche possibile replicare e sincronizzare le destinazioni di Azure SQL seguenti:

• Istanza gestita di SQL è un servizio di database cloud completamente gestito. Istanza gestita di SQL è compatibile con il motore di SQL Server. Usare Istanza gestita di SQL per modernizzare le app su larga scala.

• SQL Server in Macchine virtuali di Azure esegue il rehosting dei carichi di lavoro SQL Server nel cloud senza modifiche al codice. SQL Server in Macchine virtuali di Azure combina le prestazioni, la sicurezza e l'analisi delle SQL Server con la flessibilità e la connettività ibrida di Azure. Per eseguire la migrazione di app esistenti o per creare nuove app, usare SQL Server in Macchine virtuali di Azure.

Dettagli dello scenario

La disponibilità e l'integrità dei dati sono essenziali per la modernizzazione del mainframe e del midrange. Le strategie di data-first consentono di mantenere intatti e disponibili i dati durante la migrazione a Azure. Per evitare interruzioni durante la modernizzazione, potrebbe essere necessario replicare i dati in modo rapido o sincronizzare i dati locali con i database Azure.

Questa soluzione illustra quanto segue:

• Estrazione. Connettersi ed estrarre dati da un database di origine.

• Trasformazione, tra cui:

  • Gestione temporanea: Archiviare temporaneamente i dati nel formato originale e prepararli per la trasformazione.

  • Preparazione. Trasformare e modificare i dati usando regole di mapping che soddisfano i requisiti del database di destinazione.

• Caricamento. Inserire dati in un database di destinazione.

Casi d'uso potenziali

Usare questa soluzione negli scenari di replica e sincronizzazione dei dati seguenti:

• Architetture di separazione delle responsabilità delle query dei comandi che usano Azure per gestire tutti i canali di richiesta

• Ambienti di test per applicazioni on-premises e corrispondenti applicazioni di cui è stato eseguito il rehosting o la reingegnerizzazione in parallelo

• Sistemi locali che usano applicazioni strettamente associate che richiedono correzioni o modernizzazione in più fasi

Recommendations

È possibile applicare le raccomandazioni seguenti alla maggior parte degli scenari. Seguire queste indicazioni, a meno che non si disponga di un requisito specifico che le escluda.

Se si usa Azure Data Factory per estrarre i dati, ottimizzare le prestazioni dell'attività di copia. Quando si usa Fabric Data Factory per estrarre i dati, modificare il parallelismo, le dimensioni batch e le impostazioni del connettore per ottimizzare le prestazioni della pipeline. Per altre informazioni, vedere Panoramica della pipeline e Panoramica del connettore.

Collaboratori

Microsoft gestisce questo articolo. I seguenti collaboratori hanno scritto questo articolo.

Autore principale:

• Rodrigo Rodríguez | Senior Cloud Solution Architect, AI e Quantum

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi

• Guida alla migrazione

" output is necessary.)

• Introduzione alla progettazione dell'architettura di database
• Greenfield lakehouse in Fabric