Konfigurieren von Startpools in Microsoft Fabric

Starterpools bieten schnellen Start von Spark-Sitzungen in Fabric. Sie können Spark-Arbeit schnell starten, anstatt auf die vollständige Clusterbereitstellung bei jeder Ausführung zu warten.

Starterpools verwenden mittlere Knoten und unterstützen die automatische Skalierung basierend auf der Auslastungsnachfrage. Standardmäßige und maximale Grenzwerte hängen von Ihrer Fabric-Kapazitäts-SKU ab.

Von Bedeutung

Starterpools sind eine von Microsoft verwaltete Optimierung nach dem Best-Effort-Prinzip, die die Spark-Startzeit durch die Nutzung vorgewärmter Kapazitäten reduziert. Die Kapazität des Starterpools kann nicht bei jeder Ausführung garantiert werden. Wenn die vorgewärmte Kapazität verfügbar ist, können Sitzungen in der Regel in Sekunden beginnen. Wenn dies nicht der Grund ist, startet Fabric die Sitzung mit standardmäßiger On-Demand-Kapazität, was länger dauern kann.

Tipp

Verwenden Sie für Arbeitslasten, die vorhersagbare, konsistente Sitzungsstarts benötigen – z. B. geplante Spark-Auftragsdefinitionen oder andere latenzabhängige Aufträge – einen benutzerdefinierten Livepool. Benutzerdefinierte Livepools halten dedizierte Cluster in einem Zeitplan warm, den Sie steuern (das aktive Fenster), sodass Sitzungen in etwa 5 Sekunden während dieses Fensters konsistent beginnen. Da die Cluster im Voraus hydratisiert werden, werden Ihre Umgebungsbibliotheken auf dem Cluster vorinstalliert, wodurch die Personalisierungszeit pro Sitzungsbibliothek entfernt wird.

Voraussetzungen

Zum Anpassen eines Startpools benötigen Sie die Administratorrolle im Arbeitsbereich.

Grundlegendes zu Startpooleinstellungen

In arbeitsbereichseinstellungen können Sie diese Startpoolsteuerelemente konfigurieren:

  • Autoskalierung: Wenn diese Option aktiviert ist, skaliert Ihr Apache Spark-Pool automatisch auf Der Grundlage der Aktivität nach oben und unten.
  • Dynamisches Zuweisen von Ausführungsausführern: Wenn diese Option aktiviert ist, weist Spark Executoren basierend auf der Workloadnachfrage zu und gibt sie frei.

Beide Optionen sind standardmäßig aktiviert. Verwenden Sie die Schieberegler, um die konfigurierten Grenzwerte für Ihre Workload zu erhöhen oder zu verringern.

Konfigurieren von Startpooleinstellungen

So verwalten Sie den Starterpool, der Ihrem Arbeitsbereich zugeordnet ist:

  1. Wechseln Sie zu Ihrem Arbeitsbereich, und wählen Sie "Arbeitsbereichseinstellungen" aus.

    Screenshot: Position der Auswahlmöglichkeit „Datentechnik“ im Menü der Arbeitsbereicheinstellungen.

  2. Erweitern Sie "Data Engineering/Science " im linken Bereich, und wählen Sie dann "Spark"-Einstellungen aus.

    Screenshot der Startpooleinstellungen.

  3. Wählen Sie "StarterPool " aus der Dropdownliste "Standardpool für Arbeitsbereich " aus, um eine Übersicht über die Startpooleinstellungen anzuzeigen.

  4. Wählen Sie das Bleistiftsymbol im Abschnitt " Pooldetails " aus, um die Einstellungen für den Startpool zu bearbeiten.

  5. Konfigurieren Sie in der Bearbeitungsansicht Autoscale und weisen Sie Executoren dynamisch zu.

    Verwenden Sie die Schieberegler, um jede Einstellung basierend auf Ihren Arbeitsauslastungsanforderungen zu erhöhen oder zu verringern.

    Screenshot mit automatischer Skalierung und dynamischer Zuweisung von Executoreneinstellungen mit Schiebereglern für Startpools.

    Sie können die Standardwerte beibehalten oder Grenzwerte für kleinere Workloads verringern. Sie können werte auch bis zum maximal zulässigen Wert für Ihre SKU erhöhen.

  6. Nachdem Sie Ihre Änderungen vorgenommen haben, wählen Sie "Speichern " aus, um die neuen Einstellungen für den Startpool anzuwenden, oder wählen Sie "Verwerfen" aus, um Ihre Änderungen zu verwerfen. Andernfalls können Sie den Zurück-Pfeil auswählen, um zu beenden, ohne Änderungen zu speichern oder zu verwerfen.

Die folgende Tabelle enthält standardmäßige und maximale Grenzwerte für den Startpoolknoten nach SKU.

SKU Name Kapazitätseinheiten Spark-VCores Knotengröße Maximale Knoten (Standardwert) Maximale Knotenanzahl
F2 2 4 Mittel 1 1
F4 4 8 Mittel 1 1
F8 8 16 Mittel 2 2
F16 16 32 Mittel 3 4
F32 32 64 Mittel 8 8
F64 64 128 Mittel 10 16
(Testkapazität) 64 128 Mittel 10 16
F128 128 256 Mittel 10 32
F256 256 512 Mittel 10 64
F512 512 1024 Mittel 10 128
F1024 1024 2048 Mittel 10 200
F2048 2048 4096 Mittel 10 200
F4096 4096 8192 Mittel 10 200
F8192 8192 16384 Mittel 10 200

Zugehöriger Inhalt

  • Last updated on