Integrieren von Dataverse in Unternehmensdaten in Microsoft Fabric mithilfe einer Medallion-Architektur

Diese Referenzarchitektur zeigt, wie Dataverse in Unternehmensdaten in Microsoft Fabric integriert wird, um mithilfe eines Medallion-Ansatzes eine geregelte Analyseplattform zu erstellen. Eine Medallion-Architektur organisiert Daten in Bronze, Silber und Goldschichten, sodass Teams Rohquelldaten beibehalten, konforme und wiederverwendbare Datasets erstellen und kuratierte Modelle veröffentlichen können, die für Analysen und KI-Erfahrungen optimiert sind. Erfahren Sie mehr über die Prinzipien einer Medallion-Architektur in Was ist die Medallion Lakehouse Architektur?

Architekturdiagramm

Vereinfacht gesagt trennt die Architektur die Zuständigkeiten für Datenaufnahme, Transformation, Governance und Nutzung, sodass jede Schicht unabhängig skaliert werden kann. Sie spiegeln Dataverse-Daten über Link zu Fabric in OneLake, erfassen Nicht-Dataverse-Quellen über Fabric-Pipelines und veröffentlichen kuratierte Datenprodukte über governancegestützte Modelle der Gold-Ebene für die unternehmensweite Nutzung.

Das Diagramm zeigt Identitäts- und Zugriffssteuerungen in der gesamten Architektur. Daten werden über die Dataverse-Spiegelung oder externe Erfassung importiert und durchlaufen die Bronze-, Silber- und Gold-Ebenen. Power BI, Copilot, Datenagenten und operative Berichtsfunktionen nutzen die Daten.

Behandeln Sie Governance als querschneidende Bedenken und nicht als einzelne Architekturkomponente. Identitäts-, rollenbasierte Zugriffssteuerung (RBAC), Lineage, Deployment Pipelines und zertifizierte semantische Modelle arbeiten zusammen, um den Zugriff zu steuern, Änderungen zu verwalten und die Vertrauensstellung über den gesamten Datenlebenszyklus hinweg zu wahren.

Workflow

Der Workflow folgt dem Datenlebenszyklus von sicherem Zugriff und Erfassung durch Transformation, geregelte Modellierung, Verbrauch und Bereitstellungsvorgänge.

Identität und Sicherheit

Richten Sie zuerst Identitäts- und Zugriffssteuerungen ein, sodass jedes nachgeschaltete Fabric Artefakt ein geregeltes Sicherheitsmodell erbt.

• Verwenden Sie die Einmalanmeldung mit JumpCloud als in Microsoft Entra ID integriertem Identitätsanbieter für den Zugriff auf Power Platform, Fabric und Nutzungstools.

• Wenden Sie die rollenbasierte Zugriffssteuerung (RBAC) im Arbeitsbereich, element (Lakehouse, Warehouse, Eventhouse, Semantic Model), Objekt (Tabelle, Ansicht, Datei) und Zeilen- und Spaltenebenen (RLS, CLS) an.

• Richten Sie Sicherheitsgruppen an Personas aus: Technikfachkräfte, BI-Entwickelnde (Business Intelligence), wissenschaftliche Fachkräfte für Daten, Business Analysts und App-Erstellende.

Erfassung: Bronze-Ebene

Bronze verwendet zwei Erfassungspfade: verwaltete Dataverse-Spiegelung über Link zu Fabric und pipelinegesteuerte Erfassung für Nicht-Dataverse-Quellen.

• Linked Dataverse Lakehouse (Bronze): Über Link zu Fabric bereitgestellt und vollständig verwaltet. Spiegelt Dataverse-Tabellen in OneLake mit inkrementellen Updates und Parquet-/Delta-Formaten und dient als maßgebliche Rohdatenquelle für Dataverse-Domänen.

• Enterprise Data Warehouse (EDW) Lakehouse (Bronze – Nicht-Dataverse-Quellen): Nimmt Daten aus externen Systemen wie Dateien, APIs und künftigen Quellanwendungen auf. Fabric-Datenpipelines unterstützen die Batchverarbeitung und ELT-Orchestrierung (Extrahieren, Laden und Transformieren), während Dataflow Gen2 No-Code- und Low-Code-Datenerfassung unterstützt, wo dies sinnvoll ist.

Transformation und Konformität: Silber-Ebene

Wenden Sie Transformationslogik an, indem Sie für jede Aufgabe den richtigen Fabric-Workload verwenden:

• Pipelines zur Orchestrierung, für Abhängigkeiten und zur Zeitplanung.
• Dataflow Gen2 für die Modellierung von Entitäten mit wenig Code, die Dekodierung von Optionssätzen und leichtgewichtige Konformität.
• Notizbücher (Spark/Python) für skalierbare Verknüpfungen, Historisierung (SCD) und advanced Data Engineering.

Silber (konform): Dataverse-Entitäten normalisieren (z. B. Konto, Kontakt, Verkaufschance, Aktivitäten). Entitäten reduzieren. Suchvorgänge materialisieren. Die Kartenoption wird auf lesbare Beschriftungen festgelegt. Richten Sie systemübergreifende Bezeichner aus. Standardisieren Sie Nicht-Dataverse-Quellen auf gemeinsame Dimensionen und konforme Schlüssel.

Kuratierte Modellierung: Gold-Level

Gold (Sternschema): Kuratierte Fakten- und Dimensionsmodelle, die an Geschäftsdomänen ausgerichtet sind (z. B. Sales, Pipeline, Customer 360, Service). Das leistungsorientiertes Design umfasst Surrogatschlüssel, Datumsdimensionen, degenerierte Dimensionen bei Bedarf sowie inkrementelle oder Partitionierungsstrategien. Das Diagramm zeigt die Goldschicht als Seehaus, da die Kosteneffizienz ein primäres Entwurfsziel ist. Sie können auch ein Lager verwenden, wenn die Workload eine stärkere relationale Modellierung, SQL-first-Entwicklung oder lagerspezifische Leistungs- und Governancefunktionen erfordert.

Nachdem Sie Gold-Datenprodukte kuratiert haben, bilden semantische Modelle die governierte Business-Ebene, die von Reporting, Copilot und Datenagenten verwendet wird.

Semantische Modelle und Verbrauch

• Erstellen Sie semantische Modelle auf der Gold-Ebene, zertifizieren und verwalten Sie sie, um sie für Power BI, Copilot-Erlebnisse und Daten-Agenten bereitzustellen.

• Verwenden Sie das Linked Dataverse Lakehouse für die operative Berichterstellung mit minimaler Gestaltung. Verwenden Sie Silber oder Gold für Unternehmensinhalte, um Konsistenz und Skalierung zu unterstützen.

DevOps und Lebenszyklus

Die Lebenszyklusverwaltung umschließt den Workflow, sodass Artefakte konsistent von der Entwicklung zur Produktion mit Quellcodeverwaltung, Validierung und umgebungsspezifischer Konfiguration wechseln.

• Integrieren Sie Git Source Control (Azure DevOps) in den Entwicklungsarbeitsbereich für Versionsverwaltung und Peerüberprüfung.

• Verwenden Sie die Fabric-Bereitstellungspipelines, um die Höherstufung von der Entwicklung über Tests bis hin zur Produktion mit umgebungsspezifischen Variablen, Datenquellenregeln und Validierungsgates zu automatisieren.

• Legen Sie klare Verantwortlichkeiten für Artefakte fest: Das Entwicklungsteam ist für Pipelines und Notebooks verantwortlich, das Business-Intelligence-(BI-)Team für semantische Modelle, und die Product Owner verwalten Leistungskennzahlen (KPIs) und Definitionen.

Das Ergebnis ist eine geregelte Analysepipeline, in der Rohquelldaten beibehalten werden, konforme Daten wiederverwendbar sind, kuratierte Modelle vertrauenswürdig sind und Verbrauchserfahrungen von zertifizierten Semantikebenen unterstützt werden.

Details zum Szenario

Primäres Ziel: Bereitstellen einer skalierbaren, unterstützenden Analyse-Grundlage für Dataverse- und nicht dataverse Quellen, die Power Platform-Szenarien beschleunigen und die Datenoberfläche für Copilot und Enterprise BI vorbereiten.

Zu den wichtigsten Zielen gehören:

• Konsistente Datenprodukte (Star-Schema Gold), die zertifizierte Semantikmodelle ermöglichen.
• Direkte Integration mit Power Apps (Dataverse) über Link to Fabric (verwaltete Spiegelung).
• Gesteuerte Entwicklung mit Git-Integrations- und Fabric Bereitstellungspipelinen (Dev → Test → Production).
• Sicherer, rollenbasierter Zugriff auf Arbeitsbereichs-, Element-, Objekt- sowie Zeilen-/Spaltenebene.
• Zentralisierte Daten aus mehreren Systemen.
• Verbesserte Datenqualität, Organisation und Sicherheit.
• Unterstützung für Copilot- und Analyseszenarien.
• Kostenbewusstes Tool und Konfigurationsoptionen.

Die Architektur übersetzt diese Ziele in ein geregeltes Fabric-Muster: Dataverse-Daten werden über „Verknüpfung zu Fabric“ erfasst, und externe Quellen werden über Fabric-Pipelines erfasst. Beide Datenströme werden durch Bronze-, Silber- und Goldschichten geformt, bevor sie durch zertifizierte semantische Modelle für Power BI, Copilot, Datenagenten und Betriebsberichte verfügbar gemacht werden.

Komponenten

Die folgenden Komponenten bilden die Referenzarchitektur und unterstützen Identität, Datenaufnahme, Transformation, Governance, Lebenszyklusverwaltung und Nutzung.

Überlegungen

Diese Überlegungen implementieren die Säulen von Power Platform Well-Architected, eine Reihe von Leitprinzipien, welche die Qualität einer Workload verbessern. Weitere Informationen finden Sie in Microsoft Power Platform Well-Architected.

Reliability

Diese Architektur wurde entwickelt, um eine konsistente, robuste Datenübermittlung über Aufnahme-, Transformations- und Verbrauchsebenen hinweg bereitzustellen.

• Die verwaltete Verknüpfung zur Fabric-Spiegelung reduziert den Bedarf an benutzerdefinierter Extraktionslogik und verringert das Risiko von Fehlern bei der Datenerfassung.

• Medallion-Architektur isoliert Fehler in Bronze, Silber und Gold, sodass Probleme in einer Ebene die vollständige Analysepipeline nicht stören.

• Die inkrementelle Verarbeitung, partitioniertes ELT und abhängigkeitsbewusste Orchestrierung reduzieren die Aktualisierungsdauer und Kapazitätsengpässe.

• Überwachung, Alarmierung und die Behandlung von Wiederholungsversuchen tragen dazu bei, dass Pipelinefehler frühzeitig erkannt werden und ohne manuelle Nacharbeit behoben werden können.

Security

Implementieren Sie Sicherheit als erstklassiges Anliegen und wenden Sie sie konsistent auf Identitäts-, Daten- und Analyseebenen an.

• Verwenden Sie die Einmalanmeldung mit JumpCloud als in Microsoft Entra ID integriertem Identitätsanbieter für den Zugriff auf Power Platform, Fabric und genehmigte Nutzungstools.

• Erzwingen Sie RBAC auf der Ebene von Arbeitsbereichen, Elementen, Objekten und semantischen Modellen, um den Zugriff nach dem Prinzip der geringsten Rechte zu unterstützen, ausgerichtet an Unternehmensrollen.

• Verwenden Sie sicherheit auf Zeilenebene und Spaltenebene, um vertrauliche Geschäftsdaten in semantischen Modellen zu schützen und die sichere Wiederverwendung in mehreren Berichten zu unterstützen.

• Verwenden Sie Vertraulichkeitsbezeichnungen, Endorsements, Herkunft und regelmäßige Zugriffsüberprüfungen, um einen vertrauenswürdigen und kompatiblen Datenzugriff aufrechtzuerhalten.

Betriebliche Effizienz

Erreichen Sie operative Exzellenz durch Standardisierung, Automatisierung und klare Eigenverantwortung über den gesamten Analyselebenszyklus hinweg.

• Verwenden Sie die Git-Integration in Azure DevOps, um die Versionssteuerung, Peerüberprüfung und Rückverfolgbarkeit für Fabric Artefakte zu ermöglichen.

• Verwenden Sie Fabric-Bereitstellungspipelines, um die Höherstufung für Entwicklung, Test und Produktion zu standardisieren, Validierungsgates zu erzwingen und Fehler durch manuelle Bereitstellung zu reduzieren.

• Weisen Sie klare Besitzrechte über Engineering-, Business Intelligence- und Geschäftsrollen hinweg zu, um die betriebliche Rechenschaftspflicht zu verbessern.

• Definieren Sie Verantwortliche, Behebungswege, Datenherkunft und Runbooks für Datenqualitätsausnahmen, damit Sie Probleme beheben, bevor sie sich auf zertifizierte Modelle auswirken.

Leistungseffizienz

Die Architektur optimiert die Leistung über Speicher-, Compute- und Semantikebenen hinweg, um Unternehmens-BI- und Copilot-Szenarien zu unterstützen.

• Delta- und Parquet-Speicher unterstützen effiziente Prädikat-Pushdown- und skalierbare Joins für große analytische Workloads.

• Sternschemas der Gold-Ebene verwenden Surrogatschlüssel, konforme Dimensionen und inkrementelle Strategien, um die Abfrageleistung zu verbessern.

• Zertifizierte semantische Modelle mit Zwischenspeicherung und Aggregationen reduzieren die Abfragelatenz und lagern wiederholte Berechnungen aus zugrunde liegenden Datenebenen aus.

• Die App für Fabric-Kapazitätsmetriken überwacht die Speicher- und Rechennutzung, analysiert Skalierungsanforderungen und identifiziert Leistungsengpässe.

Erlebnisoptimierung

Diese Architektur priorisiert Benutzerfreundlichkeit, Vertrauen und Produktivität für Datenkunden, Entscheidungsträger und Analysten.

• Zertifizierte semantische Modelle bieten eine konsistente KPI- und Geschäftslogikoberfläche für genehmigte Berichte und KI-unterstützte Erfahrungen.

• Transformationsspuren, die auf die Qualifikationssätze ausgerichtet sind, z. B. Dataflow Gen2 für Entwickler und Notizbücher mit geringem Code, helfen Teams dabei, effizient auf einer einzigen Plattform zu arbeiten.

• Geschäftsglossare und KPI-Definitionen, die mit semantischen Modellen verknüpft sind, verbessern die Interpretierbarkeit und reduzieren Unklarheiten für Geschäftsanwender.

• Direkte Berichte aus dem Linked Dataverse Lakehouse sind auf Betriebsszenarien beschränkt, in denen eine minimale Gestaltung akzeptabel ist und die Konsistenz der Unternehmenssemantik nicht erforderlich ist.

Zusammen tragen diese Überlegungen dazu bei, dass die Architektur zuverlässig, sicher, wartungsfähig, kostenbewusst, performant und einfach zu übernehmen ist, wenn die Nutzung erweitert wird.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautoren:

• Terra Gilbert, Senior Technical Consultant

Verwandte Ressourcen

• Die Medallion Lakehouse-Architektur für Fabric mit OneLake verstehen
• Automatisieren der Git-Integration mit einem Dienstprinzipal in Azure DevOps
• Einführung in Bereitstellungspipelines (Dokumente)