Lakeflow パイプラインのリリース ノートとリリース アップグレード プロセス

この記事では、Lakeflow パイプラインのリリース プロセス、ランタイムの管理方法、リリースごとのリリース ノートへのリンクについて説明します。

現在の Databricks Runtime チャネル バージョン

各チャネルの Databricks ランタイムの現在のバージョンは次のとおりです。

• CURRENT (既定値): Databricks Runtime 17.3
• プレビュー: Databricks Runtime 18.1

各ランタイム (Python、R、および Java ライブラリ) にインストールされているパッケージの一覧については、上記でリンクされている対応する Databricks Runtime リリース ノートを参照してください。

Lakeflow パイプライン リリースノート

リリース ノートは月別に整理されています。 パイプラインは バージョンレスであるため、ワークスペースとランタイムの両方の変更が自動的に行われます。 以下のリリース ノートでは、各リリースでの変更とバグ修正の概要が示されています。

• Lakeflow パイプライン リリースノート 2026
  • 2026 年 5 月
  • 2026 年 4 月
  • 2026 年 3 月
  • 2026 年 2 月
  • 2026 年 1 月

以前は、リリース ノートは年単位と週単位で編成されていました。

Lakeflow パイプラインのランタイム チャネル

パイプライン クラスターでは、 Databricks Runtime リリース ノートのバージョンと互換性に基づいてランタイムが使用されます。 Azure Databricksは、プラットフォームの機能強化とアップグレードをサポートするために、パイプライン ランタイムを自動的にアップグレードします。 パイプライン設定の channel フィールドを使用して、パイプラインを実行するランタイム バージョンを制御できます。 サポートされる値は

• current: 現在のランタイム バージョンを使用する場合。
• preview: ランタイム バージョンに対する今後の変更でパイプラインをテストする場合。

既定では、パイプラインは current ランタイム バージョンを使用して実行されます。 運用ワークロードには current ランタイムを使用することをお勧めします。 preview 設定を使用して次のランタイム バージョンでパイプラインをテストする方法については、「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。

パイプライン チャネルの詳細については、パイプラインchannelの フィールドを参照してください。

リリースごとにアップグレードを管理する方法については、「 Lakeflow パイプラインのアップグレードのしくみ」を参照してください。

パイプライン更新に対応した Databricks Runtime バージョンを確認するにはどうすればよいですか?

パイプライン イベント ログに対してクエリを実行して、特定のパイプライン更新の Databricks Runtime バージョンを見つけることができます。 「ランタイム情報」をご覧ください。

Lakeflow パイプラインのアップグレードのしくみ

Lakeflow パイプラインはバージョンレスです。つまり、Azure Databricksは、拡張機能とプラットフォームへのアップグレードをサポートするようにランタイムを自動的にアップグレードします。 Databricks では、外部の依存関係を制限することをお勧めします。

Databricks は、自動アップグレードによって運用パイプラインにエラーや問題が発生するのを防ぐために積極的に取り組みます。 Lakeflow パイプラインのアップグレード プロセスを参照してください。

特に、外部依存関係を持つパイプラインをデプロイするユーザーの場合、Databricks では、 preview チャネルを使用してパイプラインを事前にテストすることをお勧めします。 「次のランタイム バージョンでのパイプラインのテストを自動化する」をご覧ください。

Lakeflow パイプラインのアップグレード プロセス

Azure Databricksは、パイプライン コンピューティング リソースによって使用される Databricks ランタイムを管理します。 Azure Databricks ワークスペース内のランタイムが自動的にアップグレードされ、アップグレード後にパイプラインの正常性が監視されます。

Azure Databricks、アップグレードのためにパイプラインを開始できないことが検出された場合、パイプラインのランタイム バージョンは、安定していることがわかっている以前のバージョンに戻り、次の手順が自動的にトリガーされます。

• パイプラインのランタイムは、以前の正常動作が確認されているバージョンに固定されています。
• Databricks サポートに問題が通知されます。
  • 問題がランタイムの回帰に関連している場合は、Databricks によって問題が解決されます。
  • 問題の原因がパイプラインで使用されるカスタム ライブラリまたはパッケージである場合は、Databricks から問題を解決するように求められます。
• 問題が解決されると、Azure Databricksはもう一度アップグレードを開始します。

次のランタイム バージョンでのパイプラインのテストを自動化する

次のランタイム バージョンの変更がパイプラインに影響しないようにするには、パイプライン チャネル機能を使用します。

1. ステージング パイプラインを作成し、チャネルを preview に設定します。
2. パイプライン UI で、パイプラインを毎週実行するスケジュールを作成し、アラートがパイプラインエラーの電子メール通知を受信できるようにします。 Databricks では、パイプラインのテスト実行を毎週スケジュールすることをお勧めします。特に、カスタムのパイプラインの依存関係を使用する場合にお勧めします。
3. エラーの通知を受け取った場合に、そのエラーを解決できないときは、Databricks でサポート チケットを開きます。

パイプラインの依存関係

パイプラインは外部依存関係をサポートします。たとえば、%pip install コマンドを使用して任意のPython パッケージをインストールできます。 また、グローバル スコープおよびクラスター スコープのinit スクリプトの使用もサポートしています。 ただし、こうした外部依存関係 (特に init スクリプト) があると、ランタイムのアップグレードで問題が生じるリスクが高くなります。 リスクを軽減するには、パイプラインでの init スクリプトの使用を最小限に抑えます。 init スクリプトを必要とする処理がある場合は、パイプラインのテストを自動化して問題を早期に検出します。「次のランタイム バージョンでのパイプラインのテストを自動化する」を参照してください。 init スクリプトを使用する場合は、テストの頻度を高めることをお勧めします。