Azure Synapse Runtime für Apache Spark 3.4 (veraltet)

Vorsicht

Azure Synapse Runtime für Apache Spark 3.4 endete am 31. März 2026. Obwohl bestehende Workloads für einen begrenzten Zeitraum über dieses Datum hinaus weiterlaufen können, wird die Laufzeit nicht mehr unterstützt und erhält keine Fehlerbehebungen, Sicherheitsupdates oder Schwachstellenbehebungen mehr. Dadurch sind Workloads, die auf Spark 3.4 laufen, im Laufe der Zeit zunehmenden operativen und sicherheitspolitischen Risiken ausgesetzt.

Außerdem wird die schrittweise Deaktivierung der Spark 3.4-Jobs bald beginnen, und es gibt keine Garantie, dass die Spark 3.4-Workloads auch in Zukunft weiterlaufen werden. Um Störungen zu minimieren und auf einer unterstützten Plattform zu bleiben, empfehlen wir dringend, Ihre auf Apache Spark 3.4 basierenden Workloads so schnell wie möglich auf Azure Synapse Runtime für Apache Spark 3.5 (GA) aufzurüsten.

Azure Synapse Analytics unterstützt mehrere Runtimes für Apache Spark. Dieses Dokument behandelt die Laufzeitkomponenten und -versionen für die Azure Synapse-Runtime für Apache Spark 3.4.

Komponentenversionen

Komponente Version
Apache Spark 3.4.1
Betriebssystem Mariner 2.0
Java 11
Scala 2.12.17
Deltasee 2.4.0
Python 3.10
R 4.2.2

Tipp

Für aktuelle Informationen, eine detaillierte Liste der Änderungen und spezifische Versionshinweise für Spark-Runtimes, überprüfen und abonnieren Sie Spark Runtimes-Versionen und -Updates.

Bibliotheken

Um die in Azure Synapse Runtime für Apache Spark 3.4 für Java/Scala enthaltenen Bibliotheken zu überprüfen, wechseln Python und R zu Azure Synapse Runtime für Apache Spark 3.4 Versionshinweise.

Tipp

spark.memoryOverheadFactor.preferred: Wenn auf true gesetzt, priorisiert Spark spark.driver.memoryOverheadFactor und spark.executor.memoryOverheadFactor gegenüber den expliziten Werten, die von spark.driver.memoryOverhead und spark.executor.memoryOverhead definiert sind. Wenn aktiviert, wird der Overhead immer mit dem Faktor berechnet, und die expliziten Overhead-Einstellungen werden ignoriert. Der Standard ist für die Rückwärtskompatibilität falsch.