Caution
Azure Synapse Runtime for Apache Spark 3.4は2026年3月31日にサポート終了となりました。 既存のワークロードはこの日以降も一定期間動作を続けることがありますが、ランタイムはサポートされず、バグ修正、セキュリティアップデート、脆弱性修復は受けられません。 その結果、Spark 3.4上で動作するワークロードは時間とともに運用上およびセキュリティリスクが増加することになります。
さらに、Spark 3.4ジョブの段階的無効化が間もなく始まり、今後もSpark 3.4ワークロードが稼働し続ける保証はありません。 混乱を最小限に抑え、サポートプラットフォームを維持するために、Apache Spark 3.4ベースのワークロードをできるだけ早くAzure Synapse Runtime for Apache Spark 3.5(GA)にアップグレードすることを強くお勧めします。
Azure Synapse Analytics は、Apache Spark の複数のランタイムをサポートしています。 このドキュメントでは、Azure Synapse Runtime for Apache Spark 3.4 のランタイム コンポーネントとバージョンについて説明します。
コンポーネントのバージョン
| コンポーネント | バージョン |
|---|---|
| Apache Spark | 3.4.1 |
| オペレーティング システム | マリナー 2.0 |
| Java | 11 |
| スカラ (プログラミング言語) | 2.12.17 |
| デルタ湖 | 2.4.0 |
| Python | 3.10 |
| R | 4.2.2 |
ヒント
最新の情報、変更の詳細な一覧、Spark ランタイムの特定のリリース ノートについては、 Spark ランタイムのリリースと更新プログラムを確認してサブスクライブします。
ライブラリ
Azure Synapse Runtime for Apache Spark 3.4 for Java/Scala、Python、R に含まれるライブラリを確認するには、「 Azure Synapse Runtime for Apache Spark 3.4 リリース ノートに移動します。
ヒント
spark.memoryOverheadFactor.preferred: trueに設定した場合、Sparkはspark.driver.memoryOverheadおよびspark.executor.memoryOverheadで定義された明示的な値よりもspark.driver.memoryOverheadとspark.executor.memoryOverheadを優先します。 有効化すると、オーバーヘッドは常にファクターを使って計算され、明示的なオーバーヘッド設定は無視されます。 デフォルトは後方互換性のためにfalseです。