Fabric Runtime 2.0 (プレビュー)

Important

この機能は プレビュー段階です。

Fabric Runtime は、Microsoft Fabric エコシステム内でシームレスな統合を実現し、Apache Spark を利用したデータ エンジニアリングおよびデータ サイエンス プロジェクト用の堅牢な環境を提供します。

この記事では、Microsoft Fabric のビッグ データ計算用に設計された最新のランタイムである Fabric Runtime 2.0 パブリック プレビューについて説明します。 このリリースをスケーラブルな分析と高度なワークロードにとって重要な一歩先に進める主な機能とコンポーネントについて説明します。

Fabric Runtime 2.0 には、データ処理機能を強化するために設計された次のコンポーネントとアップグレードが組み込まれています。

  • アパッチスパーク 4.1
  • オペレーティング システム: Azure Linux 3.0 (Mariner 3.0)
  • Java:21
  • スカラ:2.13
  • Python: 3.13
  • デルタ湖:4.2
  • R: 4.5.2

Important

Microsoft FabricチームはMicrosoft Fabric Runtime 2.0のアップデートを展開しています。 このアップデートの一環として、Pythonアップグレードでは、環境アーティファクトとpythonおよびホイールライブラリを使用する顧客向けに画期的な変更が導入されました。 顧客はNotebookまたはSparkジョブ定義(SJD)実行時に2つのエラーメッセージのいずれかを目にします。

  • エラー: 警告: 非推奨事項 1 件 (2.13.0 以降)。詳細については、:setting -deprecation または :replay -deprecation を有効にしてください。ソース: SparkCoreService。
  • 「LibraryManagementError」:「ベースのSpark Python環境へのアップグレードが検出されました。 環境を再掲載してください。ユーザーエラー」

必要なアクション

環境(ライブラリも含む)を再公開してください。 そのためには、すべてのライブラリを削除し、環境を公開し、すべてのライブラリを再追加し、再度公開します。 このプロセスは更新されたPythonランタイムを使って環境を再構築し、問題を解決します。

ヒント

Fabric Runtime 2.0 には ネイティブ実行エンジンのサポートが含まれており、コストを増やすことなくパフォーマンスを大幅に向上させることができます。 ネイティブ実行エンジンを環境レベルで有効にして、すべてのジョブとノートブックが拡張パフォーマンス機能を自動的に継承するようにすることができます。

ランタイム 2.0 を有効にする

Runtime 2.0 は、ワークスペース レベルまたは環境項目レベルで有効にすることができます。 ワークスペース設定を使用して、ワークスペース内のすべての Spark ワークロードの既定値として Runtime 2.0 を適用します。 または、ランタイム 2.0 で環境項目を作成し、特定のノートブックまたは Spark ジョブ定義で使用します。これは、ワークスペースの既定値をオーバーライドします。

ワークスペース設定でランタイム 2.0 を有効にする

ワークスペース全体の既定値として Runtime 2.0 を設定するには:

  1. Fabric ワークスペース内の [ワークスペース設定] ページに移動します。

    ワークスペース設定のランタイム バージョンを選択する場所を示すスクリーンショット。

  2. [ データ エンジニアリング/サイエンス ] タブを選択し、[ Spark の設定] を選択します。

  3. [環境] タブを選択します。

  4. ランタイムバージョンのドロップダウンから2.0パブリックプレビュー(Spark 4.1、Delta 4.2)を選択し、変更を保存します。

  5. ランタイム 2.0 は、ワークスペースの既定のランタイムとして設定されます。

環境項目でランタイム 2.0 を有効にする

特定のノートブックまたは Spark ジョブ定義で Runtime 2.0 を使用するには:

  1. 新しい 環境 項目を作成するか、既存の環境項目を開きます。

  2. ランタイムのドロップダウンで、2.0パブリックプレビュー(Spark 4.1、Delta 4.2)を選択し、保存して変更点を公開します。

    [環境] 項目のランタイム バージョンを選択する場所を示すスクリーンショット。

  3. 次に、このEnvironment項目をNotebookまたはSpark Job Definitionで使用できます。

これでFabric Runtime 2.0(Spark 4.1およびDelta Lake 4.2)で導入された最新の改善や機能を試し始めることができます。

パブリック プレビュー

Fabric Runtime 2.0のパブリックプレビュー段階では、Spark 4.1とDelta Lake 4.2の両方の新機能やAPIにアクセスできます。 プレビューでは、最新の Spark および Delta ベースの拡張機能をすぐに使用できます。また、新しい Java、Scala、Python バージョンなどの強化および改善された変更に対するスムーズな準備と移行を保証できます。

ヒント

最新の情報、変更の詳細な一覧、および Fabric ランタイムの特定のリリース ノートについては、Spark ランタイムのリリースと更新を確認しサブスクライブしてください。

主なハイライト

パフォーマンスと実行エンジンの機能強化

Fabric Runtime 2.0 には ネイティブ実行エンジンが含まれており、オープンソースの Spark よりもパフォーマンスが大幅に向上します。 エンジンはベクター化された処理を使用して、コードの変更を必要とせずに Lakehouse インフラストラクチャに対する Spark クエリを高速化します。

Runtime 2.0 の主なパフォーマンス機能:

  • 最大 6 倍高速: ベンチマークは、TPC-DS ワークロード上のオープンソースの Spark と比較して最大 6 倍のパフォーマンスを示します。
  • ベクター化された CSV 解析: ネイティブ実行エンジンには、CSV インジェストとクエリのワークロードを高速化するベクター化された CSV パーサーが含まれています。 ベクター化された JSON 解析と Spark 構造化ストリーミングのサポートは、今後の更新のために計画されています。

ネイティブ実行エンジンを有効にするには、 Fabric Data Engineering のネイティブ実行エンジンを参照してください。

アパッチスパーク 4.1

Apache Spark 4.0 は、 4.x シリーズの初版リリースとして重要なマイルストーンをマークし、活気に満ちたオープンソース コミュニティの集合的な取り組みを体現しました。 Fabric ランタイム 2.0 は現在、Apache Spark 4.1 上で動作しており、同基盤をベースにさらなる改良が加えられています。

このバージョンでは、SPARK SQL は、VARIANT データ型のサポート、SQL ユーザー定義関数、セッション変数、パイプ構文、文字列照合順序など、SQL ワークロードの表現力と汎用性を高めるために設計された強力な新機能で大幅に強化されています。 PySpark は、機能の幅と全体的な開発者エクスペリエンスの両方に継続的に取り組み、ネイティブプロット API、新しい Python データ ソース API、Python UDF のサポート、PySpark UDF の統合プロファイリング、およびその他の多くの機能強化を実現しています。 構造化ストリーミングは、より制御とデバッグの容易さを提供する重要な追加機能と共に進化します。特に、より柔軟な状態管理のための任意の State API v2 の導入と、デバッグを容易にする状態データ ソースの導入です。

完全な一覧と詳細な変更は、ここで確認できます。

注

Spark 4.x では、SparkR は非推奨となり、将来のバージョンで削除される可能性があります。

デルタ湖 4.2

Delta Lake 4.2は過去のDelta Lakeリリースを基盤とし、フォーマット間での相互運用性、扱いやすく、パフォーマンス向上へのコミットメントを継続しています。 これには、オープン データ レイクハウスの将来に向けた強力な新機能、パフォーマンスの最適化、および基本的な機能強化が含まれています。

デルタレイク3.3、4.0、4.1、4.2で導入された詳細リストおよび詳細の変更については、以下をご覧ください:

データのレイアウトと最適化

ランタイム 2.0 では、デルタ テーブルのデータ レイアウトと最適化機能がサポートされています。

  • Z オーダー: デルタ テーブル ファイル内のデータを指定された列で整理し、フィルター処理されたクエリのクエリ パフォーマンスを向上させます。
  • 液体クラスタリング:手動メンテナンスなしでデータレイアウトを自動的に最適化する柔軟なクラスタリングアプローチ。
  • 並列差分スナップショットの読み込み: ネイティブ実行エンジンは Delta テーブル スナップショットを並列に読み込み、大規模なテーブルのクエリの起動時間を短縮します。

Important

Delta Lake 4.2の特有機能は実験的であり、NotebooksやSparkジョブ定義などのSpark体験でのみ機能します。 複数の Microsoft Fabric ワークロードで同じ Delta Lake テーブルを使用する必要がある場合は、これらの機能を有効にしないでください。 すべてのMicrosoft Fabric体験で互換性のあるプロトコルバージョンや機能については、Delta Lakeのテーブル形式相互運用性をご覧ください。

ランタイム 2.0 でのコンピューティング管理

ランタイム 2.0 では、次のコンピューティング管理機能がサポートされています。

  • リソース プロファイル: ワークロードの要件に合わせて Spark セッションの定義済みのリソース割り当てを構成し、コストを制御します。
  • カスタム ライブ プール (プレビュー):セッションの起動時間を短縮する専用の事前ウォーミングされた Spark プールを作成します。 カスタム ライブ プールは、ランタイム 2.0 ワークロードのプレビューで利用できます。

制限事項と注意事項

  • Delta Lake 4.x 固有の機能は試験段階であり、ノートブックや Spark ジョブ定義などの Spark エクスペリエンスでのみ機能します。 複数の Fabric ワークロードで同じ Delta Lake テーブルを使用する必要がある場合は、これらの機能を有効にしないでください。 詳細については、「 Delta Lake テーブル形式の相互運用性」を参照してください。
  • ランタイム 2.0 はパブリック プレビュー段階です。 一部の機能と API は、一般公開前に変更される可能性があります。
  • Fabric Spark 用の VS Code 拡張機能では、ノートブックおよび Spark ジョブ定義開発用のランタイム 2.0 がサポートされています。

関連コンテンツ

  • Last updated on