Microsoft Fabric でスターター プールを構成する

スターター プールを使用すると、Fabric で Spark セッションを高速に起動できます。 各実行で完全なクラスター プロビジョニングを待つ代わりに、Spark の作業をすばやく開始できます。

スターター プールは中ノードを使用し、ワークロードの需要に基づく自動スケールをサポートします。 既定の制限と上限は、Fabric の容量 SKU によって異なります。

Important

スターター プールは、事前にウォームアップされた容量を使用することで Spark の起動時間を短縮する、Microsoft が管理するベストエフォート型の最適化です。 スターター プールの容量は、毎回の実行で保証されるわけではありません。 事前ウォームされた容量が使用可能な場合、セッションは通常数秒で開始できます。 そうでない場合、Fabricは、標準のオンデマンド容量を使用してセッションを開始します。これには時間がかかる場合があります。

Tip

スケジュールされた Spark ジョブ定義やその他の待機時間に依存するジョブなど、予測可能で一貫性のあるセッション開始を必要とするワークロードでは、 カスタム ライブ プールを使用します。 カスタム ライブ プールは、自分が制御するスケジュール (アクティブ ウィンドウ) に従って専用クラスターをウォームに保つため、セッションは、その期間中に約 5 秒 で一貫して開始されます。 クラスターは事前にハイドレートされるため、環境ライブラリがクラスターにプレインストールされるため、セッションごとのライブラリのパーソナル化時間が削除されます。

[前提条件]

スターター プールをカスタマイズするには、ワークスペースの 管理者 ロールが必要です。

スターター プールの設定について

ワークスペースの設定では、次のスターター プール コントロールを構成できます。

  • 自動スケール: 有効にすると、Apache Spark プールはアクティビティに基づいて自動的にスケールアップおよびスケールダウンされます。
  • Executor を動的に割り当てる: 有効にすると、Spark はワークロードの需要に基づいて Executor を割り当てて解放します。

どちらのオプションも既定で有効になっています。 スライダーを使用して、ワークロードに対して構成されている制限を増減します。

スターター プールの設定を構成する

ワークスペースに関連付けられているスターター プールを管理するには:

  1. ワークスペースに移動し、[ワークスペースの 設定] を選択します。

    [ワークスペースの設定] メニューで [データ エンジニアリング] を選択する場所を示すスクリーンショット。

  2. 左側のウィンドウで [データ エンジニアリング/サイエンス ] を展開し、[ Spark の設定] を選択します。

    スタート プールの設定を示すスクリーンショット。

  3. [ワークスペースの既定のプール] ドロップダウンから [StarterPool] を選択して、スターター プールの設定の概要を表示します。

  4. [ プールの詳細 ] セクションで鉛筆アイコンを選択して、スターター プールの設定を編集します。

  5. 編集ビューで、 自動スケール を構成し、 Executor を動的に割り当てます。

    スライダーを使用して、ワークロードのニーズに基づいて各設定を増減します。

    スタート プールのスライダーを使用して、自動スケーリングと Executor 設定の動的割り当てを示すスクリーンショット。

    既定値をそのまま使用するか、小規模なワークロードの制限を減らすことができます。 また、SKU で許可されている最大値まで値を増やすこともできます。

  6. 変更を行った後、[ 保存] を選択してスターター プールの新しい設定を適用するか、[ 破棄 ] を選択して変更を破棄します。 それ以外の場合は、戻る矢印を選択して、変更を保存または破棄せずに終了できます。

次の表は、SKU ごとの既定のスターター プール ノードと最大スターター プール ノードの制限を示しています。

SKU 名 容量ユニット Spark vCore ノード サイズ 既定の最大ノード ノードの最大数
F2 2 4 ミディアム 1 1
F4 4 8 ミディアム 1 1
F8 8 16 ミディアム 2 2
F16 16 32 ミディアム 3 4
F32 32 64 ミディアム 8 8
F64 64 128 ミディアム 10 16
(試用版の容量) 64 128 ミディアム 10 16
F128 128 256 ミディアム 10 32
F256 256 512 ミディアム 10 64
F512 512 1024 ミディアム 10 128
F1024 1024 2048 ミディアム 10 200
F2048 2048 4096 ミディアム 10 200
F4096 4096 8192 ミディアム 10 200
F8192 8192 16384 ミディアム 10 200

関連するコンテンツ

  • Last updated on