medallion アーキテクチャを使用して Dataverse をMicrosoft Fabricのエンタープライズ データと統合する

この参照アーキテクチャでは、Microsoft Fabricのエンタープライズ データと Dataverse を統合し、medallion アプローチを使用して管理された分析プラットフォームを構築する方法を示します。 medallion アーキテクチャでは、データをブロンズ、シルバー、ゴールドの各レイヤーに整理することで、チームは生のソース データを保持し、準拠した再利用可能なデータセットを作成し、分析と AI エクスペリエンス用に最適化されたキュレーションモデルを発行できます。 メダリオン アーキテクチャの原則の詳細については、「メダリオン レイクハウス アーキテクチャとは」を参照してください。

アーキテクチャ ダイアグラム

アーキテクチャでは、大まかに言えば、インジェスト、変換、ガバナンス、消費の責任を分離して、各レイヤーを個別にスケーリングできるようにします。 Dataverse データを Link to Fabric を通じて OneLake にミラーリングし、Fabric パイプラインを介して Dataverse 以外のソースを取り込み、全社利用向けに、ガバナンスの効いたゴールド レイヤー モデルを通じてキュレーション済みのデータ プロダクトを公開します。

この図は、アーキテクチャ全体の ID とアクセス制御を示しています。 データは、Dataverse ミラーリングまたは外部インジェストを通じて入力され、ブロンズ、シルバー、ゴールドの各レイヤーを通過します。 Power BI、Copilot、データ エージェント、運用レポート機能でデータが利用されます。

ガバナンスは、1 つのアーキテクチャ コンポーネントではなく、横断的な懸念事項として扱います。 ID、ロールベースのアクセス制御 (RBAC)、系列、デプロイ パイプライン、認定セマンティック モデルが連携して、アクセスの制御、変更の管理、データ ライフサイクル全体の信頼の維持を実現します。

Workflow

ワークフローは、セキュリティで保護されたアクセスとインジェストから、変換、管理されたモデリング、消費、デプロイ操作までのデータ ライフサイクルに従います。

ID とセキュリティ

最初に ID とアクセス制御を設定して、ダウンストリームのすべてのFabric成果物が管理されたセキュリティ モデルを継承するようにします。

• Power Platform、Fabric、および消費ツールにアクセスするために、Microsoft Entra IDと統合された ID プロバイダーとして JumpCloud でシングル サインオンを使用します。

• ワークスペース、アイテム (Lakehouse、Warehouse、Eventhouse、Semantic Model)、オブジェクト (テーブル、ビュー、ファイル)、行レベルと列レベル (RLS、CLS) でロールベースのアクセス制御 (RBAC) を適用します。

• セキュリティ グループをペルソナ (エンジニアリング、ビジネス インテリジェンス (BI) 開発者、データ サイエンティスト、ビジネス アナリスト、アプリ作成者) に合わせます。

インジェスト: ブロンズ レベル

Bronze では、2 つの取り込み経路を使用します。1 つは Link to Fabric を介した管理された Dataverse ミラーリング、もう 1 つは Dataverse 以外のソース向けのパイプライン駆動型取り込みです。

• リンク済み Dataverse Lakehouse (ブロンズ): Link to Fabric を通じてプロビジョニングされ、完全に管理されます。 OneLake 内の Dataverse テーブルを、増分更新および Parquet/Delta 形式でミラーリングし、Dataverse ドメインに対する信頼性の高い生のシステム オブ レコード入力として機能します。

• Enterprise Data Warehouse (EDW) Lakehouse (Bronze – 非 Dataverse ソース): ファイル、API、将来のソース アプリケーションなどの外部システムからデータを取り込みます。 Fabricデータ パイプラインではバッチオーケストレーションと ELT (抽出、読み込み、変換) オーケストレーションがサポートされますが、Dataflow Gen2 では、必要に応じてコードなしと低コードのインジェストがサポートされます。

変換と準拠: シルバーレベル

各タスクに適切なFabricワークロードを使用して変換ロジックを適用します。

• オーケストレーション、依存関係、およびスケジュール設定のためのパイプライン。
• コードの少ないエンティティ シェイプ、オプション セットのデコード、および軽量な準拠のためのデータフロー Gen2。
• スケーラブルな結合、ヒストライゼーション (SCD)、高度なデータ エンジニアリング用のノートブック (Spark/Python)。

Silver (準拠): Dataverse エンティティ (取引先企業、連絡先、営業案件、アクティビティなど) を正規化します。 エンティティをフラット化します。 ルックアップを具体化します。 オプション セットを読み取り可能なラベルにマップします。 システム間識別子を配置します。 Dataverse 以外のソースを共通のディメンションと準拠キーに標準化します。

厳選されたモデリング: ゴールドレベル

Gold (スター スキーマ): ビジネス ドメイン (Sales、Pipeline、Customer 360、Service など) に合わせて調整された、精選されたファクト モデルとディメンション モデル。 パフォーマンス重視の設計には、代理キー、日付分析コード、必要に応じて縮退分析コード、増分処理やパーティション戦略などが含まれます。 コスト効率が主要な設計目標であるため、この図はレイクハウスとしてのゴールド レイヤーを示しています。 また、ワークロードで、より強力なリレーショナル モデリング、SQL 優先開発、または倉庫固有のパフォーマンスとガバナンス機能が必要な場合に、ウェアハウスを使用することもできます。

ゴールド データ製品をキュレーションした後、セマンティック モデルは、レポート、Copilot、およびデータ エージェントによって使用される管理されたビジネス レイヤーを提供します。

セマンティック モデルと消費

• ゴールドでセマンティック モデルを構築し、それらを認定し、それらを管理して、Power BI、Copilotエクスペリエンス、データ エージェントにサービスを提供します。

• 最小限の整形で運用レポートを行うには、リンクされた Dataverse Lakehouse を使用します。 一貫性とスケーリングをサポートするには、エンタープライズ コンテンツに Silver または Gold を使用します。

DevOps とライフサイクル

ライフサイクル管理はワークフローをラップするため、成果物はソース管理、検証、環境固有の構成を使用して開発から運用環境に一貫して移動します。

• Git ソース管理 (Azure DevOps) を開発ワークスペースと統合して、バージョン管理とピア レビューを行います。

• Fabricデプロイ パイプラインを使用して、開発環境固有の変数、データ ソース ルール、検証ゲートを使用して、開発からテストから運用環境への昇格を自動化します。

• 明確な成果物の所有権を割り当てます。エンジニアリングはパイプラインとノートブックを所有し、ビジネス インテリジェンス (BI) チームはセマンティック モデルを所有し、製品所有者は主要業績評価指標 (KPI) と定義を管理します。

その結果、生のソース データが保持され、準拠したデータが再利用でき、精選されたモデルが信頼され、消費エクスペリエンスが認定セマンティック レイヤーでサポートされる、管理された分析パイプラインが生成されます。

シナリオの詳細

主な目標:Dataverse ソースと非 Dataverse ソースのスケーラブルでサポート可能な分析基盤を提供し、Power Platform のシナリオを高速化し、Copilotおよび Enterprise BI 用のデータ サーフェイスを準備します。

主な目的は次のとおりです。

• 認定セマンティック モデルに対応する一貫性のあるデータ製品 (スター スキーマ ゴールド)。
• Fabricへのリンク (マネージド ミラーリング) を使用して、Power Apps (Dataverse) と直接統合します。
• Git 統合とFabricデプロイ パイプラインを使用した管理された開発 (Dev → Test → Production)。
• ワークスペース、項目、オブジェクト、行/列の各レベルで、安全なロールベースのアクセスを実現します。
• 複数のシステムからの一元化されたデータ。
• データの清潔さ、組織、およびセキュリティの向上。
• Copilot と分析シナリオのサポート。
• コスト意識の高いツールと構成の選択肢。

このアーキテクチャは、これらの目標をガバナンスが確保された Fabric パターンに反映します。Dataverse データは Link to Fabric を通じて取り込まれ、外部ソースは Fabric パイプラインを通じて取り込まれます。 どちらのストリームも、Power BI、Copilot、データ エージェント、運用レポートの認定セマンティック モデルを通じて公開される前に、ブロンズ、シルバー、ゴールドの各レイヤーを通じて整形されます。

Components

次のコンポーネントは、参照アーキテクチャを構成し、ID、インジェスト、変換、ガバナンス、ライフサイクル管理、および消費をサポートします。

考慮事項

これらの考慮事項は、ワークロードの品質を向上させる一連の基本原則である Power Platform Well-Architected の柱を実行します。 詳細については、Microsoft Power Platform Well-Architected を参照してください。

Reliability

このアーキテクチャは、インジェスト、変換、および消費レイヤー間で一貫した回復性のあるデータ配信を提供するように設計されています。

• マネージド リンクをFabric ミラーリングすると、カスタム抽出ロジックが削減され、インジェストエラーのリスクが軽減されます。

• Medallion アーキテクチャでは、ブロンズ、シルバー、ゴールドの間で障害が分離されるため、1 つのレイヤーの問題によって完全な分析パイプラインが中断されることはありません。

• 増分処理、パーティション化された ELT、依存関係を考慮したオーケストレーションにより、更新にかかる時間と容量の競合が軽減されます。

• 監視、アラート、再試行処理は、パイプラインの障害が早期に発生し、手動でやり直すことなく復旧するのに役立ちます。

セキュリティ

セキュリティを第一級の懸念事項として実装し、ID、データ、および分析レイヤー間で一貫して適用します。

• Power Platform、Fabric、承認済みの消費ツールにアクセスするために、Microsoft Entra IDと統合された ID プロバイダーとして JumpCloud でシングル サインオンを使用します。

• ワークスペース、項目、オブジェクト、およびセマンティック モデル レベルで RBAC を適用して、エンタープライズ ペルソナに合わせた最小特権アクセスをサポートします。

• 行レベルと列レベルのセキュリティを使用して、セマンティック モデルの機密ビジネス データを保護し、複数のレポート間で安全な再利用をサポートします。

• 秘密度ラベル、保証、系列、定期的なアクセス レビューを使用して、信頼された準拠データ アクセスを維持します。

オペレーショナル エクセレンス

分析ライフサイクル全体にわたる標準化、自動化、明確な所有権を通じて、オペレーショナル エクセレンスを実現します。

• git と Azure DevOps の統合を使用して、Fabric成果物のバージョン管理、ピア レビュー、および追跡可能性を有効にします。

• Fabricデプロイ パイプラインを使用して、開発、テスト、運用全体の昇格を標準化し、検証ゲートを適用し、手動デプロイ エラーを減らします。

• エンジニアリング、ビジネス インテリジェンス、ビジネス ロールの間で明確な所有権を割り当てて、運用アカウンタビリティを向上させます。

• 認定モデルに影響を与える前に問題を解決できるように、データ品質例外の所有者、修復パス、系列、Runbook を定義します。

パフォーマンス効率

このアーキテクチャは、エンタープライズ BI とCopilotの両方のシナリオをサポートするために、ストレージ、コンピューティング、セマンティック レイヤー全体のパフォーマンスを最適化します。

• デルタストレージと Parquet ストレージは、大規模な分析ワークロードに対して効率的な述語プッシュダウンとスケーラブルな結合をサポートします。

• ゴールド層のスタースキーマでは、サロゲートキー、適合ディメンション、増分戦略を使用して、クエリのパフォーマンスを向上させます。

• キャッシュと集計を使用した認定セマンティック モデルは、クエリの待機時間を短縮し、基になるデータ レイヤーから繰り返し計算をオフロードします。

• Fabric容量メトリック アプリは、ストレージとコンピューティングの使用状況を監視し、スケーリングのニーズを分析し、パフォーマンスのボトルネックを特定します。

エクスペリエンスの最適化

このアーキテクチャは、データコンシューマー、作成者、アナリストの使いやすさ、信頼、生産性に優先順位を付けます。

• 認定セマンティック モデルは、承認されたレポート作成と AI 支援エクスペリエンスに一貫した KPI とビジネス ロジックサーフェスを提供します。

• 低コード作成者向けの Dataflow Gen2 やエンジニア向けのノートブックなど、スキル セットに合わせた変換レーンは、チームが 1 つのプラットフォーム内で効率的に作業するのに役立ちます。

• セマンティック モデルに関連付けられているビジネス用語集と KPI 定義により、解釈可能性が向上し、ビジネス ユーザーのあいまいさが軽減されます。

• リンクされた Dataverse Lakehouse からの直接レポートは、最小限の整形が許容され、エンタープライズ セマンティック整合性が必要ない運用シナリオに限定されます。

これらの考慮事項を組み合わせることで、アーキテクチャの信頼性、セキュリティ、保守性、コスト対応、パフォーマンス、導入が容易になり、使用量の拡大に合わせて維持できます。

貢献者

Microsoft では、この記事を保持しています。 この記事を書いたのは、以下の寄稿者です。

主な執筆者:

• Terra Gilbert(シニア テクニカル コンサルタント)

関連するリソース

• OneLake を使用した Fabric 向けのメダリオン レイクハウス アーキテクチャを理解する
• Azure DevOpsでサービス プリンシパルとの git 統合を自動化する
• デプロイ パイプラインの概要