Unity カタログに登録するすべての セキュリティ保護可能なオブジェクト は、一元的に管理されます。 つまり、Unity Catalog はオブジェクトのメタデータを管理し、アクセス、監査、系列など、ガバナンスのすべての側面を制御できます。
ただし、テーブルやボリュームなどのデータ資産の場合、Unity Catalog では、クラウド アカウント内の基になるデータ ファイルのストレージの場所とライフサイクルを制御することもできます。これには、それらの整理方法、最適化方法、削除日時が含まれます。 この違いは、外部データ資産から管理を分離します。
- 管理資産: Unity カタログは、ガバナンス (アクセス制御、監査、系列) と基になるファイル ストレージ ライフサイクル (ファイルの最適化、整理方法、および削除日時) の両方を制御します。
- 外部資産: Unity カタログはガバナンスのみを制御します。 基になるファイル ストレージのライフサイクルは、ユーザーまたは外部システムによって制御されます。
Unity カタログにマネージド アセットを登録すると、データの完全な所有権が保持されます。 データ ファイルは常にクラウド アカウントに残ります。 Unity カタログは、アカウント内のどこに保存されるかを決定しますが、Azure Databricksに転送したり、アカウントを所有したりすることはありません。
マネージドと外部の区別は、テーブルとボリュームにのみ適用されます。 ビュー、モデル、関数など、その他の Unity カタログのセキュリティ保護可能なオブジェクトには、マネージドバリアントと外部バリアントはありません。
相違点のまとめ
次の表は、Unity カタログの管理対象アセットと外部アセットの違いをまとめたものです。
| プロパティ | Unity Catalog 管理するテーブルまたはボリューム | 外部テーブルまたはボリューム |
|---|---|---|
| ストレージの場所 | Unity カタログによって設定 (クラウド アカウント内) | あなたが設定する |
| ファイル ライフサイクル管理 | Unity カタログによって管理される (最適化、組織、削除) | ユーザーが管理する |
| ドロップ動作 | データ ファイルは、8 日間のリテンション期間後に完全に削除されます | データ ファイルはそのまま残る |
| データ所有権 | はい | はい |
Unity カタログ全体で "manage" という単語を使用する
" 管理 " という単語には、Unity カタログ全体で複数の用途があります。 このセクションでは、さまざまなコンテキストでの 管理 の意味をまとめます。
オブジェクトが Unity カタログによって管理されていると言われる場合、通常は Unity カタログがオブジェクトへのアクセスを管理することを意味します。 これは、外部テーブルやボリュームを含む、登録されているすべての Unity カタログ オブジェクトに適用されます。
"マネージド テーブル" または "マネージド ボリューム" で 管理 される単語には、より具体的な意味があります。Unity Catalog は、基になるデータ ファイルがクラウド アカウント内のどこに格納されるかを決定し、ファイルのライフサイクル (最適化、編成、削除) を制御します。 これは 、マネージド ストレージの場所と呼ばれます。 データは常にクラウド アカウントに残ります。 Azure Databricksは、データを所有したり保持したりすることはありません。
MANAGEという単語は、Unity Catalog オブジェクトに割り当てることができる特権としても表示されます。 一般に、 MANAGE を使用すると、ユーザーは所有者にならずに、権限の割り当てまたは取り消し、所有権の譲渡、および削除を行えます。
「管理」を参照してください。
次の表は、 これらの一般的な管理の使用方法をまとめたものです。
| 任期 | 説明 | 適用対象 |
|---|---|---|
| 「Unity Catalogによって管理されています」 | Unity カタログは、オブジェクトのアクセス、監査、系列を管理します。 | 外部テーブルとボリュームを含むすべての登録済み Unity カタログ オブジェクト |
| マネージド テーブル または マネージド ボリューム | Unity カタログでは、クラウド アカウント内の基になるストレージの場所 (マネージド ストレージの場所) とデータ ライフサイクルも制御します。 | テーブルとボリュームのみ |
| マネージド ストレージの場所 | Unity カタログがマネージド テーブルとボリュームのデータ ファイルを格納する、クラウド アカウント内の指定されたパス。 管理ストレージの場所は、メタストア、カタログ、またはスキーマ レベルで構成できます。 「Unity Catalog の管理されたストレージの場所の指定」を参照してください。 | テーブルとボリュームのみ |
MANAGE 特権 |
ユーザーが所有者でなくても、オブジェクトの割り当てまたは取り消し、所有権の譲渡、および削除を行える特権。 「管理」を参照してください。 | Unity カタログのセキュリティ保護可能なすべてのオブジェクト |
管理テーブルと外部テーブル
Unity カタログのマネージド テーブルは、基になるデータ ファイルの格納場所が Unity Catalog によって決定されるテーブルです。 Unity カタログは、含まれるスキーマ、カタログ、またはメタストアで定義されているマネージド ストレージの場所にマネージド テーブルを格納します。 マネージド テーブルを削除すると、基になるデータ ファイルが Unity カタログによって削除されます。 マネージド テーブルでは、Delta または Apache Iceberg 形式が使用されます。
外部テーブルは、基になるデータ ファイルの格納場所を指定するテーブルです。 外部テーブルを削除すると、Unity Catalog によってメタストアからテーブル メタデータが削除されますが、基になるデータ ファイルはそのまま残ります。 外部テーブルでは、Delta、CSV、JSON、Avro、Parquet、ORC などの複数の形式がサポートされています。
テーブルの種類の詳細については、「 Databricks Unity カタログのテーブルの種類」を参照してください。
マネージド テーブルと外部テーブルの両方で、Unity REST API や Iceberg REST Catalog (IRC) などのオープン API を介した外部エンジンからの読み取り、書き込み、および作成アクセスがサポートされます。 つまり、マネージド テーブルではベンダーのロックインは発生しません。 これらの API をサポートするすべてのエンジンは、マネージド テーブルにアクセスできます。 外部システム を使用して Databricks データにアクセスするを参照してください。
マネージド ボリュームと外部ボリューム
Unity カタログのマネージド ボリュームは、Unity Catalog によってストレージの場所が決定されるボリュームです。 Unity カタログは、クラウド アカウント内の包含スキーマのマネージド ストレージの場所にマネージド ボリュームを自動的に格納します。 マネージド テーブルと同様に、基になるデータの完全な所有権を保持します。 マネージド ボリュームを削除すると、基になるデータ ファイルが Unity カタログによって削除されます。
外部ボリュームは、ストレージの場所を指定するボリュームです。 場所は、Unity カタログの外部ロケーションに対応するパスである必要があります。 外部ボリュームを削除すると、Unity Catalog によってボリューム定義が削除されますが、基になるデータ ファイルはそのまま残ります。
Unity Catalog ボリュームの詳細については、「Unity Catalog ボリュームとは」を参照してください。