Integrare Dataverse con i dati aziendali in Microsoft Fabric mediante un'architettura a medaglione

Questa architettura di riferimento illustra come integrare Dataverse con i dati aziendali in Microsoft Fabric per creare una piattaforma di analisi regolamentata usando un approccio medallion. L'architettura medallion organizza i dati in livelli bronzo, argento e oro, in modo che i team possano preservare i dati sorgente grezzi, creare dataset standardizzati e riutilizzabili e pubblicare modelli curati ottimizzati per l'analisi e le esperienze di IA. Altre informazioni sui principi dell'architettura Medallion in Cos'è l'architettura Medallion del lakehouse?

Diagramma dell'architettura

In linea generale, l'architettura separa le responsabilità di acquisizione, trasformazione, governance e fruizione, in modo che ogni livello possa scalare in modo indipendente. Esegui il mirroring dei dati di Dataverse in OneLake tramite Collegamento a Fabric, acquisisci origini dati non Dataverse tramite le pipeline di Fabric e pubblichi prodotti di dati curati tramite modelli governati del livello Gold per il consumo a livello aziendale.

Il diagramma mostra i controlli di identità e accesso nell'architettura. I dati entrano tramite il mirroring di Dataverse o l'acquisizione esterna e passano attraverso i livelli Bronze, Silver e Gold. Power BI, Copilot, agenti dati ed esperienze di creazione di report operativi usano i dati.

Considerare la governance come un problema trasversale anziché un singolo componente dell'architettura. Identità, controllo degli accessi in base al ruolo, derivazione, pipeline di distribuzione e modelli semantici certificati interagiscono per controllare l'accesso, gestire le modifiche e mantenere l'attendibilità nel ciclo di vita dei dati.

Workflow

Il flusso di lavoro segue il ciclo di vita dei dati dall'accesso sicuro e dall'inserimento tramite operazioni di trasformazione, modellazione, consumo e distribuzione regolate.

Identità e sicurezza

Configura prima i controlli di identità e di accesso affinché ogni artefatto Fabric a valle erediti un modello di sicurezza governato.

• Usare l'accesso Single Sign-On con JumpCloud come provider di identità integrato con Microsoft Entra ID per accedere a Power Platform, Fabric e agli strumenti di consumo.

• Applicare il controllo degli accessi in base al ruolo nell'area di lavoro, nell'elemento (Lakehouse, Warehouse, Eventhouse, Semantic Model), nell'oggetto (tabella, vista, file) e nei livelli di riga e colonna (RLS, CLS).

• Allineare i gruppi di sicurezza agli utenti singoli: ingegneria, sviluppatori di business intelligence (BI), data scientist, business analyst e creatori di app.

Inserimento: livello Bronze

Bronze usa due canali di ingestione: il mirroring gestito di Dataverse tramite Link to Fabric e l'ingestione tramite pipeline per origini non Dataverse.

• Dataverse Lakehouse collegato (Bronze): con provisioning e completamente gestito tramite Collegamento a Fabric. Esegue il mirroring delle tabelle Dataverse in OneLake con aggiornamenti incrementali e nei formati Parquet/Delta, fungendo da input autorevole e grezzo del sistema di registrazione per i domini Dataverse.

• Enterprise Data Warehouse (EDW) Lakehouse (Bronze – Non-Dataverse sources): inserisce dati da sistemi esterni, ad esempio file, API e applicazioni di origine future. Le pipeline di dati di Fabric supportano l'orchestrazione batch ed ELT (estrazione, caricamento, trasformazione), mentre Dataflow Gen2 supporta l'acquisizione dei dati senza codice e con poco codice, ove appropriato.

Trasformazione e conformità: livello Silver

Applicare la logica di trasformazione usando il carico di lavoro Fabric corretto per ogni attività:

• Pipeline per l'orchestrazione, la gestione delle dipendenze e la pianificazione.
• Dataflow Gen2 per la modellazione low-code delle entità, la decodifica dei set di opzioni e la verifica leggera della conformità.
• Notebook (Spark/Python) per eseguire join scalabili, storicizzazione (SCD) e engineering dei dati avanzato.

Silver (Conformed): Normalizzare le entità dataverse ,ad esempio Account, Contatto, Opportunità, Attività. Rendi flat le entità. Materializza ricerche. Eseguire il mapping dei set di opzioni alle etichette leggibili. Allineare gli identificatori tra sistemi. Standardizzare le origini dati non Dataverse secondo dimensioni comuni e chiavi conformi.

Modellazione curata: livello Gold

Oro (schema a stella): Modelli di fatti e di dimensioni curati e allineati ai domini aziendali, ad esempio Sales, Pipeline, Customer 360, Service. La progettazione orientata alle prestazioni include chiavi surrogate, dimensioni temporali, dimensioni degenerate ove necessario e strategie incrementali o di partizionamento. Il diagramma mostra il livello Gold come un lakehouse perché l'efficienza dei costi è un obiettivo di progettazione principale. È anche possibile usare un warehouse quando il carico di lavoro richiede una modellazione relazionale più efficace, uno sviluppo SQL-first o funzionalità di governance e prestazioni specifiche del warehouse.

Dopo aver curato i prodotti di dati di livello gold, i modelli semantici forniscono il livello aziendale governato utilizzato da reporting, Copilot e agenti di dati.

Modelli semantici e consumo

• Crea modelli semantici in oro, certificali e gestiscili per servire Power BI, Copilot esperienze e agenti dati.

• Usa Dataverse Lakehouse collegato per la creazione di report operativi con una forma minima. Usa argento o oro per i contenuti aziendali, per garantire coerenza e scalabilità.

DevOps e ciclo di vita

La gestione del ciclo di vita esegue il wrapping del flusso di lavoro in modo che gli elementi passino in modo coerente dallo sviluppo alla produzione con controllo del codice sorgente, convalida e configurazione specifica dell'ambiente.

• Integra il controllo del codice sorgente Git (Azure DevOps) con l'area di lavoro di sviluppo per il controllo delle versioni e la revisione tra pari.

• Usa le pipeline di distribuzione di Fabric per automatizzare la promozione dallo sviluppo al test e quindi alla produzione con variabili specifiche dell'ambiente, regole per le origini dati e controlli di convalida.

• Attribuire chiaramente la responsabilità degli artefatti: il team di ingegneria è responsabile delle pipeline e dei notebook, il team di business intelligence (BI) dei modelli semantici e i responsabili di prodotto degli indicatori chiave di prestazione (KPI) e delle definizioni.

Il risultato è una pipeline di analisi regolamentata in cui i dati di origine non elaborati vengono conservati, i dati conformi sono riutilizzabili, i modelli curati sono attendibili e le esperienze di consumo sono supportate da livelli semantici certificati.

Dettagli dello scenario

Obiettivo principale: Offrire una base di analisi scalabile e supportabile per origini Dataverse e non Dataverse che accelerano gli scenari di Power Platform e preparano la superficie dati per Copilot ed Enterprise BI.

Gli obiettivi chiave includono:

• Prodotti dati coerenti (Gold schema a stella) che alimentano modelli semantici certificati.
• Integrazione diretta con Power Apps (Dataverse) tramite collegamento a Fabric (mirroring gestito).
• Sviluppo regolamentato con l'integrazione git e le pipeline di distribuzione di Fabric (Sviluppo → Test → Production).
• Accesso sicuro e compatibile con i ruoli a livello di area di lavoro, elemento, oggetto e riga/colonna.
• Dati centralizzati da più sistemi.
• Miglioramento della pulizia dei dati, dell'organizzazione e della sicurezza.
• Supporto per scenari di Copilot e analisi.
• Strumenti e opzioni di configurazione consapevoli dei costi.

L'architettura traduce questi obiettivi in un modello Fabric governato: i dati di Dataverse entrano tramite Link to Fabric e le origini esterne vengono acquisite tramite le pipeline di Fabric. Entrambi i flussi vengono modellati attraverso strati bronzo, argento e oro prima di essere esposti tramite modelli semantici certificati per Power BI, Copilot, agenti dati e report operativi.

Components

I componenti seguenti costituiscono l'architettura di riferimento e supportano l'identità, l'inserimento, la trasformazione, la governance, la gestione del ciclo di vita e l'utilizzo.

Considerations

Queste considerazioni implementano i pilastri di Power Platform Well-Architected, un insieme di principi guida che migliorano la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Power Platform Well-Architected.

Reliability

Questa architettura è progettata per offrire un recapito coerente e resiliente dei dati tra i livelli di inserimento, trasformazione e consumo.

• Il collegamento gestito al mirroring di Fabric riduce la logica di estrazione personalizzata e il rischio di errori di acquisizione.

• L'architettura Medallion isola i guasti tra i livelli Bronze, Silver e Gold, così che i problemi in un livello non interrompano l'intera pipeline di analisi.

• L'elaborazione incrementale, l'ELT partizionato e l'orchestrazione consapevole delle dipendenze riducono i tempi di aggiornamento e la contenzione della capacità.

• Il monitoraggio, l'invio di avvisi e la ripetizione dei tentativi di gestione consentono di risolvere in anticipo gli errori della pipeline e di eseguire il ripristino senza rielaborare manualmente.

Security

Implementare la sicurezza come problema di prima classe e applicarla in modo coerente tra livelli di identità, dati e analisi.

• Usa l'accesso single sign-on con JumpCloud come provider di identità integrato con Microsoft Entra ID per accedere a Power Platform, Fabric e agli strumenti di utilizzo approvati.

• Applicare il controllo degli accessi basato sui ruoli (RBAC) a livello di area di lavoro, elemento, oggetto e modello semantico per supportare un accesso con privilegi minimi in linea con i profili aziendali.

• Usare la sicurezza a livello di riga e a livello di colonna per proteggere i dati aziendali sensibili nei modelli semantici e supportare il riutilizzo sicuro in più report.

• Usa etichette di riservatezza, certificazione, derivazione dei dati e revisioni periodiche degli accessi per contribuire a mantenere un accesso ai dati affidabile e conforme.

Eccellenza operativa

Ottenere l'eccellenza operativa grazie alla standardizzazione, all'automazione e alla chiara proprietà nel ciclo di vita dell'analisi.

• Usa l'integrazione con Git in Azure DevOps per abilitare il controllo della versione, la revisione tra pari e la tracciabilità per gli artefatti di Fabric.

• Usa le pipeline di distribuzione di Fabric per standardizzare la promozione tra Dev, Test e Produzione, imporre controlli di convalida e ridurre gli errori di distribuzione manuale.

• Assegnare responsabilità ben definite tra i ruoli dell’ingegneria, della business intelligence e del business per migliorare la responsabilità operativa.

• Definisci i responsabili, i percorsi di risoluzione, il lineage dei dati e i runbook per le eccezioni relative alla qualità dei dati, in modo da risolvere i problemi prima che influiscano sui modelli certificati.

Efficienza prestazionale

L'architettura ottimizza le prestazioni tra livelli di archiviazione, calcolo e semantica per supportare scenari di business intelligence aziendale e Copilot.

• I formati di archiviazione Delta e Parquet supportano in modo efficiente il pushdown dei predicati e join scalabili per carichi di lavoro di analisi su larga scala.

• Gli schemi a stella del livello Gold usano chiavi sostitutive, dimensioni conformate e strategie incrementali per migliorare le prestazioni delle query.

• I modelli semantici certificati con memorizzazione nella cache e aggregazioni riducono la latenza delle query e scaricano il calcolo ripetuto dai livelli di dati sottostanti.

• L'app Fabric Capacity Metrics monitora l'utilizzo di risorse di archiviazione e calcolo, analizza le esigenze di ridimensionamento e identifica i colli di bottiglia delle prestazioni.

Ottimizzazione dell'esperienza

Questa architettura assegna priorità all'usabilità, alla fiducia e alla produttività per consumer, produttori e analisti dei dati.

• I modelli semantici certificati forniscono un livello coerente di KPI e logica di business per le esperienze approvate di creazione di report e assistite dall'IA.

• Le corsie di trasformazione allineate al set di competenze, ad esempio Dataflow Gen2 per autori e notebook a basso codice per i tecnici, aiutano i team a lavorare in modo efficiente all'interno di una singola piattaforma.

• Le definizioni di glossario aziendale e KPI associate ai modelli semantici migliorano l'interpretazione e riducono l'ambiguità per gli utenti aziendali.

• La creazione diretta di report da Linked Dataverse Lakehouse è limitata agli scenari operativi in cui la forma minima è accettabile e la coerenza semantica aziendale non è necessaria.

Insieme, queste considerazioni consentono di mantenere l'architettura affidabile, sicura, gestibile, compatibile con costi, prestazioni elevate e facile da adottare man mano che l'utilizzo si espande.

Collaboratori

Microsoft gestisce questo articolo. I seguenti collaboratori hanno scritto questo articolo.

Autori principali:

• Terra Gilbert, Senior Technical Consultant

Risorse correlate

• Informazionisull'architettura del lakehouse Medallion per Fabric con OneLake
• Automatizza l'integrazione di Git con un service principal in Azure DevOps
• Introduzione alle pipeline di distribuzione