Azure Synapse Link for Dataverse に関する FAQ

顧客がデータ ファイルを変更しないでください。また、顧客ファイルをデータ フォルダーに配置しないでください。

多対多リレーションシップにアクセスするには、リレーションシップをテーブルとして使用して、新しいリンクの [テーブルの追加] ページと既存のリンクの [テーブルの管理 ] から選択できます。

Azure Synapse Link は Dataverse の無料機能です。 Azure Synapse Link for Dataverse を使用しても、Dataverse では追加料金は発生しません。 ただし、Azure サービスの潜在的なコストを考慮してください。

• Azure Data Lake Storage Gen2 のデータ ストレージ: Azure Storage Data Lake Gen2 の価格 |Microsoft Azure
• データ消費コスト (Synapse ワークスペースなど): 価格 - Azure Synapse Analytics |Microsoft Azure 包括的な Microsoft Cost Management 情報については、「 Azure コストの管理計画」を参照してください - Microsoft Cost Management |Microsoft Learn

ソース内のテーブルに新しい列を追加すると、対応するファイル パーティションのコピー先のファイルの末尾にも追加されます。 列の追加前に存在していた行は新しい列には表示されませんが、新規または更新された行には新しく追加された列が表示されます。

ソース内のテーブルから列を削除しても、その列は変換先から削除されません。 代わりに、行は更新されなくなり、前の行を保持しながら null としてマークされます。

列のデータ型を変更することは重大な変更であり、リンクを解除して再リンクする必要があります。

行の削除は、選択したデータ書き込みオプションによって処理が異なります。

• CSV 形式でのインプレース更新: これが既定のモードです。 このモードでテーブル行を削除すると、Azure Data Lake の対応するデータ パーティションからも行が削除されます。 つまり、データは変換先から完全削除されます。
• CSV 形式での追加専用と増分フォルダー更新: このモードでは、Dataverse テーブル行が削除されるとき、ターゲット先から完全に削除されることはありません。 代わりに、行が追加され、Azure Data Lake の対応するデータ パーティション内のファイルに isDeleted=True として設定されます。
• Delta Lake 形式へのエクスポート: Azure Synapse Link は、次の差分同期サイクル中にデータに対して論理的な削除を実行し、その後 30 日後にハード削除を実行します。

Azure Synapse Link は Common Data Model に従って、Microsoft Power Apps、Power BI、Dynamics 365、Azure などのアプリケーションやビジネス プロセス間でデータとその意味を共有できるようにします。 各 CDM フォルダーでは、列ヘッダーなどのメタデータが model.json ファイルに格納されます。 詳細: Common Data Model と Azure Data Lake Storage Gen2 |Microsoft Learn

Model.json は、列のサイズのデータベース長を保持します。 Dataverse には、各列のデータベース長の概念があります。 200 のサイズの列を作成してから 100 に縮小しても、Dataverse では既存のデータがそのまま保持されます。 これは、 DBLength を 200 に、 MaxLength を 100 に維持することで行います。 Model.json に表示されるのは DBLength で、それを後続のプロセスに使用すると、Dataverse 列に対してより少ない領域がプロビジョニングされることは決してありません。

エクスポートされた Dataverse テーブルには、3 つの日付と時刻の形式が必要です。

この動作は、追加専用エクスポート モードを選択し、有効な CreatedOn 列のないテーブルがある場合に想定されます。 BLOB は、1.csv、2.csv などのファイルに編成されます (有効な作成日がないため、カスタム パーティション分割を使用します)。 任意のパーティションが MaxBlockPerBlobLimit の 95% に近づくと、システムによって新しいファイルが自動的に生成されます。1_001.csvに示されています。

1 年以内にデータ量が多い Dataverse テーブルの場合は、月単位のパーティションを使用することをお勧めします。 これにより、ファイルが小さくなり、パフォーマンスが向上します。 さらに、Dataverse テーブルの行が頻繁に更新される場合、複数の小さなファイルに分割すると、インプレース更新シナリオの場合のパフォーマンスが向上します。 Delta Lake は、CSV 形式と比較してパフォーマンスが優れているため、年単位のパーティションでのみ使用できます。

追加のみモードでは、Dataverse テーブルからの増分データが、レイク内の対応するファイル パーティションに追加されます。 詳細については、「Azure Synapse Link の高度な構成オプション」を参照してください。

追加専用モードは、特にデータが頻繁に変化するパーティション内でデータ ボリュームが多い場合に、Dataverse テーブル データをレイクに書き込む場合に推奨されるオプションです。 ここでも、これは企業のお客様に一般的に使用され、強く推奨されるオプションです。 さらに、Dataverse からの変更を段階的に確認し、ETL、AI、ML のシナリオの変更を処理することを目的とするシナリオでは、このモードを使用することもできます。 追加のみモードでは、最新の変更やインプレース更新ではなく変更の履歴が提供され、過去の値に基づく予測や予測分析など、AI シナリオからいくつかの時系列が可能になります。

追加専用モードでは、 VersionNumber を使用して同じ ID のレコードの最新バージョンを識別し、 SinkModifiedOn 最新バージョンに isDeleted=0 適用する必要があります。

追加専用モードの場合、Azure Synapse Link for Dataverse がネットワーク遅延などの理由でデータがコミットされたことを Azure Data Lake から受信確認しない場合、Azure Synapse Link はこれらのシナリオで再試行し、データをもう一度コミットします。 SinkModifiedOnを使用してデータをフィルター処理することで、ダウンストリームの消費量に対してこのシナリオに対する回復性を高める必要があります。

これは予期される動作です。 ModifiedOn は Dataverse でレコードが最後に変更された日時であり、 SinkModifiedOn はレコードがデータ レイクに書き込まれた日時です。 SinkModifiedOn は通常、 ModifiedOnよりも遅く、違いはバッチ サイズ、システム負荷、処理されるレコードの数などの要因によって異なります。

Delta Lake 形式または追加専用/増分 CSV モードでエクスポートされたテーブルの場合、 SinkCreatedOn と SinkModifiedOn は同じ書き込み時間を反映します。 このため、これらのモードでの SinkCreatedOn と CreatedOn の違いは、同期遅延の信頼できるインジケーターではなく、そのように解釈しないでください。

次のシステム テーブルに加えて、変更の追跡が有効になっていないテーブルはサポートされていません。

• 添付ファイル
• 予定表
• カレンダー規則

ポストコメント、ポスト無視、ポストライク、投稿、ポストロールなど、特定の Dataverse テーブルは、お客様が Azure Synapse Link を介して同期を有効にすることはできません。

場合によっては、 Dataverse の長期リテンション期間 が有効な場合に、これらのテーブルが表示されることがあります。 その場合、これらのテーブルのサブセットまたはすべてのレコードがエクスポートされる可能性があります。 これは、長期保有シナリオで想定される動作です。

Azure Synapse Link では、annotation (Notes) テーブルに格納されているファイル コンテンツは同期されません。 ノート レコードでは、メモに添付されたファイルは documentbody 列に保持され、そのファイルの内容はデータ レイクと同期されません。 これは仕様上の動作です。 その結果：

• annotation documentbody列 (添付ファイルを含むノート) の値を持つレコードは、データ レイクにエクスポートされません。
• annotation documentbodyに値のないレコード (添付ファイルのないノート) は、想定どおりに同期されます。

Delta Lake 変換ジョブは、構成された時間間隔にデータ変更があったときにトリガーされます。 Apache Spark プールを停止または一時停止するオプションはありません。 ただし、[テーブルの管理] > [高度な時間間隔] で、リンクの作成後の時間間隔を変更できます。

参照列は、ID と値で構成されます。 参照値はルート テーブルでのみ変更されます。 ルックアップ列の値をより適切に反映するには、元のルート テーブルと結合して最新の値を取得することをお勧めします。

Dataverse では、計算列には数式定義のみが格納され、実際の値は基になる列から派生します。 したがって、計算列は、すべての参照先列が同じエクスポートされたテーブル内にある場合にのみサポートされます。 Azure Synapse Link は、Dataverse の変更追跡に基づいてデータを同期します。 増分同期中、レコードはバージョンが変更されたときにのみ再エクスポートされます。 計算列の値が変更されても、対応するバージョンがレコードに変更されない場合、更新された値は、レコードが更新され、そのバージョンが変更されるまでデータ レイクに同期されません。 たとえば、計算列が初期同期中に NULL と評価された場合、 NULL はデータ レイクに書き込まれます。 計算で使用される入力が後で変更されてもレコードのバージョンが変更されない場合、Azure Synapse Linkは再計算された値を検出せず、データ レイクは引き続きNULL表示されます。 レコードが更新され、そのバージョンが変更されると、Azure Synapse Link最新の計算列値を使用してレコードを再エクスポートします。

createdOn フィールドを持たないすべてのテーブルは、既定で追加専用モードを使用して同期されます。 これには、リレーションシップ テーブルと ActivityParty テーブルが含まれます。

• Dataverse データは、接続されたストレージ コンテナーに格納されます。 Synapse ワークスペースを介して読み取りとクエリの操作を実行するには、リンクされたストレージ アカウントに "ストレージ BLOB データ共同作成者" ロールが必要です。
• Delta Lake 形式でデータをエクスポートする場合は、Delta Lake 変換後に CSV ファイルがクリーンアップされます。 Synapse ワークスペースを使用して 、non_partitioned テーブルを使用してデータのクエリを実行する必要があります。

Dataverse データは、トランザクションの作成、更新、および削除によって継続的に変化する可能性があります。 このエラーは、基になるファイルからデータを読み取るときに変更されたことが原因で発生します。 そのため、継続的な変更があるテーブルの場合は、スナップショットデータを消費するために、パーティションテーブルを利用するように消費パイプラインを変更してください。 詳細情報: サーバーレス SQL プールのトラブルシューティング

Yes. Azure Synapse Link は Dataverse を介して行を読み取るので、すべての Dataverse レコードごとの制限が同期に適用されます。最も一般的な制限は、サーバーから返される 1 つのレコードの圧縮されていないサイズに対する 200 MiB の上限です。

通常、この制限は、大きな自由形式のコンテンツまたはバイナリ データを格納するテーブルに適用されます。 例えば次が挙げられます。

• email はメッセージ本文全体を保持します。
• activitypointer は長い説明を保持します。
• activitymimeattachment は、インラインファイルと添付ファイルを保持します。

これは Dataverse プラットフォームの制限であり、要求しても引き上げることはできません。 サービスは、顧客データの切り捨てや変更を行いません。 解決するには、Dataverse 内の大きすぎるレコードを、削除するか、大きなフィールドの内容をクリアするか、またはコンテンツを Dataverse の外部に移動することで縮小してください。

Azure Synapse Link for Dataverse は、分析目的で設計されています。 お客様は、アーカイブ目的で長期保有を使用することをお勧めします。 詳細情報: Dataverse での長期間のデータ保有に関する概要

レコードを削除する直接 SQL 呼び出しの場合、Azure Synapse Link for Dataverse サービスは BPO のためトリガーされません。Delete が呼び出されていません。 サンプル機能については、「 継承されたアクセスをクリーンアップする方法」を参照してください。

BYOL (Bring Your Own Lake) プロファイルと「マネージド データレイク」プロファイルのいずれにおいても、Parquet ファイル内のタイムスタンプは INT64 形式で保存されます。 Apache Spark 3.5 以降を使用してこれらの Parquet ファイルを読み取るときに、Azure Synapse パイプラインのコピー操作などのダウンストリーム パイプラインでエラーが発生する場合があります。 この動作は、InT96 が Spark 3.5 のタイムスタンプの既定のモードではなくなったために発生します。

次のようなエラーが表示されることがあります。

TypeConversionNotSupportedDataTypes, Exception occurred when converting value "1774478519775185" for column name 'SinkCreatedOn' from type 'Int64'

この問題を軽減するには、宛先 SQL データベースに SQL 関数を追加して、タイムスタンプ値を INT64 から適切な datetime 形式に変換します。 または、INT64 形式を使用するようにダウンストリーム パイプラインを更新します。

参照

Dataverse への Azure Synapse リンク