概念: Azure Databricksに関するデータ サイエンスと機械学習

データ サイエンスと機械学習 (DS と ML) は、分析情報を抽出し、データから予測モデルを構築します。 DS と ML には、対話型の探索とモデリングと自動化された運用システムの両方が含まれます。 クラシック ML には、分類、回帰、異常検出、予測、推奨事項などの手法が含まれています。

最新のディープ ラーニングと生成 AI (GenAI) メソッドは、技術的には ML の種類です。 このセクションでは、ディープ ラーニングについて説明します。 GenAI については、「概念: Azure Databricks上の生成 AI」を参照してください。

ML ライフサイクル

ML ライフサイクルは、生データから運用モデルへのエンドツーエンドの過程をカバーし、監視と再トレーニングを通じて再び戻ります。 主なステージは次のとおりです。

  1. 予測ターゲット、成功メトリック、運用要件を定義して、ユース ケースの範囲を指定します。
  2. 探索的データ分析 (EDA) を実行 して、モデリングの前にデータ分布、予測信号、およびデータ品質の問題を理解します。
  3. 機能ストア内で管理されるデータと機能を準備します。
  4. モデルをトレーニングし、実験を追跡し、分析とデプロイのために実験メタデータをログに記録します。
  5. 保持されているデータと利害関係者の基準に対してモデルの品質を評価します。
  6. 運用環境に昇格する前に、モデルを登録、ステージング、テストします。
  7. リアルタイム エンドポイントまたはバッチ推論ジョブで運用環境にデプロイします。
  8. データやユーザーの動作の変化に合わせてモデルを調整するために、監視と再トレーニングを行います。

各ステージのガイドについては、 機械学習のライフサイクル を参照してください。

AI 支援の開発と運用

Azure Databricksには、ノートブックとワークスペース全体に統合された AI アシスタントである Genie Code があります。 これは、エンタープライズ コンテキストに関する専門知識に基づいて、開発、デバッグ、および継続的な操作に使用します。 データ サイエンスに Genie Code を使用するを参照してください。

Genie Code は、ワークフローのすべてのステップで使用できます。

サード パーティ製のコーディング ツールを使用して、Azure Databricksで ML パイプラインを開発および管理することもできます。 AI コーディング アシスタントのエージェント スキルを参照してください。

ML プラットフォームとは

ML プラットフォームは、生データから運用モデルまで、ML ライフサイクル全体をサポートする、インフラストラクチャ、ツール、ガバナンスの組み合わせレイヤーです。 適切に設計された ML プラットフォームは、データ エンジニアリング、対話型データ サイエンス、運用 ML を 1 つの管理されたシステムに接続します。

主なコンポーネントは次のとおりです。

  • ファイル、テーブル、処理パイプライン、機能ストアなどのデータ資産
  • 簡単なコラボレーションと AI 支援を使用したノートブックや視覚化などの実験ツール
  • カスタマイズ可能な環境と柔軟なコンピューティング リソースを備えたトレーニング インフラストラクチャ
  • 運用ダッシュボードとアラートを使用した、バッチおよびリアルタイムサービス用のデプロイと監視インフラストラクチャ
  • オーケストレーション、CI/CD、データ来歴、アクセス管理、監査ログのためのMLOps/ガバナンスツール

主要なガバナンス機能は次のとおりです。

また、Azure Databricksデータ サイエンスと ML の機能とAzure Databricksアーキテクチャも参照してください。

ML とディープ ラーニングと GenAI

機械学習 (ML)、ディープ ラーニング (DL)、生成 AI (GenAI) の境界はあいまいになる可能性があります。 このガイドでは ML とディープ ラーニングに焦点を当てていますが、次のプラットフォーム機能では 3 つのパラダイムがすべてサポートされています。

  • Model Serving では 、リアルタイム推論とバッチ推論の両方に対して、従来の ML、ディープ ラーニング、およびカスタム GenAI モデルがサポートされます。
  • ai_query では、3 つのパラダイムすべてに対する SQL クエリとバッチ推論ワークロードがサポートされています。
  • MLflow 実験追跡 は、3 つのパラダイムすべてについて実行と実験を追跡します。
  • Databricks AI Search は、3 つのパラダイムすべてに対して非構造化データを提供します。

その他のリソース

  • Last updated on