** Konfigurieren Sie den eingehenden Private Link für leistungsintensive Dienste

Auf dieser Seite wird gezeigt, wie Sie Private Link für eingehende Verbindungen mit leistungsintensiven Diensten auf der Azure Databricks-Plattform konfigurieren. Diese private Verbindung ermöglicht externen Clients und Benutzern den Zugriff auf Dienste auf der Azure Databricks-Plattform, z. B. Zerobus Ingest und Lakebase Autocaling.

Vorteile

• Verbesserte Sicherheit: Der Datenverkehr zwischen Ihrem Netzwerk und Databricks-Diensten bleibt innerhalb der Azure Netzwerkinfrastruktur.
• Zugriff auf leistungsintensive Dienste: Private Verbindungen zu Diensten wie Zerobus Ingest und Lakebase Autoscaling.
• Complianceanforderungen: Erfüllen Sie regulatorische Anforderungen, die private Netzwerkkonnektivität festlegen.
• Kosteneffizienz: Private Link kosten weniger als öffentliche Konnektivitätsoptionen wie NAT-Gateways.

Azure Databricks stellt bestimmte Netzwerkkosten in Rechnung, die im Zusammenhang mit eingehenden Private Link-Verbindungen zu leistungsintensiven Diensten stehen. Weitere Informationen finden Sie unter "Grundlegendes zu Datenbricks-Netzwerkkosten".

Anforderungen

• Ihr Azure Databricks Konto muss sich auf der Premium-Stufe befinden.
• Sie müssen das Feature Private Konnektivität für leistungsintensive Dienste der öffentlichen Vorschauversion in Ihrem Konto aktivieren. Sie können sich über die Kontokonsole selbst registrieren. Ohne dieses Feature werden private Endpunkte nicht in der Kontokonsole angezeigt.
• Sie müssen ein Azure Databricks Kontoadministrator sein, um private Endpunkte zu registrieren.
• Sie müssen über Netzwerkmitwirkende oder gleichwertige Berechtigungen in Azure verfügen, um private Endpunkte zu erstellen.

Schritt 1: Erstellen eines privaten Endpunkts

In diesem Schritt wird ein privater Endpunkt im Azure-Portal erstellt, der eine Verbindung mit Ihren leistungsintensiven Diensten auf Azure Databricks herstellt.

Vorbereiten von VNet und Subnetz

1. Bereiten Sie ein VNet und ein Subnetz vor, um den privaten Endpunkt zu hosten. Sie können ein neues VNet erstellen oder ein vorhandenes (z. B. Ihr Arbeitsbereich-VNet) wiederverwenden.

   • Informationen zum Erstellen eines neuen VNet finden Sie unter Create an Azure Virtual Network.
   • Informationen zum Hinzufügen eines Subnetzes finden Sie unter Hinzufügen, Ändern oder Löschen eines virtuellen Netzwerksubnetz.

   Hinweis

   Der eingehende private Endpunkt kann in einem anderen VNet als dem Arbeitsbereich gehostet werden (z. B. ein Transit-VNet). Die VNet-Einschränkung gilt nur für private Back-End-Endpunkte.

2. Konfigurieren Sie die Richtlinie für das private Endpunktnetzwerk für Ihr Subnetz:

   • Empfohlen (Standard):Deaktiviert. Dies ist die Standardeinstellung und die Konfiguration, die Azure Databricks testet und unterstützt.
   • Alternative (vom Kunden verwaltet): NetworkSecurityGroup oder RouteTable. Das Aktivieren der Richtlinie funktioniert auch und kann für Netzwerke erforderlich sein, die Azure Virtual WAN mit ExpressRoute verwenden, wobei das Deaktivieren der Richtlinie zu asymmetrischer Weiterleitung führen kann. Wenn Sie die Richtlinie aktivieren, müssen Sie sicherstellen, dass Ihre Netzwerksicherheitsgruppe und Routingtabellenregeln Datenverkehr zum privaten Endpunkt Service Direct ermöglichen. Azure Databricks bietet keine Unterstützung für Konnektivitäts- oder Leistungsprobleme, die aus benutzerdefinierten Netzwerksicherheitsgruppen- oder Routingtabellenregeln im Subnetz resultieren.

   Details finden Sie unter Verwalten von Netzwerkrichtlinien für private Endpunkte .

3. Wenn Sie ein vorhandenes Arbeitsbereichs-VNet wiederverwenden, müssen Sie ein anderes Subnetz verwenden oder erstellen, als das vom Arbeitsbereich verwendete.

   Hinweis

   Der private Endpunkt für leistungsintensive Dienste kann in dasselbe Subnetz wie Ihr vorhandener eingehender privater Endpunkt platziert werden. Die Anforderung eines „anderen Subnetzes“ gilt nur für die Subnetze für die Compute-Injektion des Arbeitsbereichs.

4. Wenn sich das VNet, das den privaten Endpunkt hostet, vom VNet-Sendedatenverkehr unterscheidet, konfigurieren Sie VNet-Peering oder Konnektivität. Siehe Überprüfen der VNet-Konnektivität.

Bereitstellen eines privaten Endpunkts

1. Suchen Sie im Azure-Portal nach Private-Endpunkten in Microsoft Marketplace, und wählen Sie Create aus.
2. Geben Sie einen Namen und einen Netzwerkschnittstellennamen ein, und legen Sie die Region so fest, dass sie Ihrer Arbeitsbereich-VNet-Region entspricht.
3. Klicken Sie auf Weiter: Ressource.
4. Wählen Sie Verbinden mit einer Azure Ressource nach Ressourcen-ID oder Alias aus.
5. Geben Sie im Feld Resource ID oder Alias die Private Link Dienstressourcen-ID für leistungsintensive Dienste für Ihre Region ein. Siehe Ressourcen-IDs des Private Link-Diensts für leistungsintensive Dienste und allgemeinen Zugriff für die Liste der Ressourcen-IDs.
6. Geben Sie im Feld "Ziel-Unterressource " die Zeichenfolge service_directein.
7. Klicken Sie auf Next: Virtual Network.
8. Wählen Sie das virtuelle Netzwerk und das Subnetz aus, das Sie im Abschnitt " Vorbereiten von VNet und Subnetz" vorbereitet haben.
9. Klicken Sie auf Weiter: DNS.
10. Lassen Sie Integration in private DNS-Zone auf Nein eingestellt. Sie konfigurieren DNS manuell in einem späteren Schritt.
11. Klicken Sie auf Weiter: Tags.
12. Klicken Sie auf Weiter: Überprüfen und erstellen.
13. Überprüfen Sie die Konfiguration, und klicken Sie auf "Erstellen ", um den privaten Endpunkt bereitzustellen.
14. Notieren Sie nach Abschluss der Bereitstellung die folgenden Werte:
    • Name des privaten Endpunkts: Der Name Ihres privaten Endpunkts.
    • Ressourcen-GUID: Wechseln Sie zur privaten Endpunktressource, klicken Sie auf DIE JSON-Ansicht, und suchen Sie den Wert in properties.resourceGuid. Dies ist in Schritt 2 erforderlich.
    • Private IP-Adresse: Suchen Sie in der JSON-Ansicht die IP-Adresse in properties.customDnsConfigs[0].ipAddresses[0]. Dies ist in Schritt 3 erforderlich.

Nach der Bereitstellung wird der Verbindungsstatus des privaten Endpunkts als ausstehend angezeigt. Dies entspricht dem erwarteten Verhalten. Der Endpunkt verbleibt im Status "Ausstehend ", bis Sie Schritt 2 abgeschlossen haben.

Schritt 2: Registrieren Ihres privaten Endpunkts

Nachdem Sie Ihren privaten Endpunkt im Azure-Portal erstellt haben, registrieren Sie ihn bei Azure Databricks.

1. Wechseln Sie zur Azure Databricks Kontokonsole.
2. Klicken Sie in der Seitenleiste auf Sicherheit>Netzwerke>Endpunkte>Endpunkt registrieren.

Schritt 3: Konfigurieren von DNS

Nachdem Ihr privater Endpunkt registriert wurde, konfigurieren Sie DNS so, dass datenverkehr über den privaten Endpunkt mithilfe der privatelink.azuredatabricks.net Domäne weitergeleitet wird.

• Databricks empfiehlt eine Benennungskonvention, die die Region und den Zweck enthält, z. B. PE westus2 for inbound private link.

1. Erstellen Sie eine Azure private DNS-Zone mit dem Namen privatelink.azuredatabricks.net.
   • Wenn Ihr Arbeitsbereich bereits eingehende Private Links verwendet (siehe Configure Inbound Private Link), verwenden Sie die vorhandene privatelink.azuredatabricks.net Zone.
   • Informationen zu neuen Zonen finden Sie unter Create an Azure private DNS zone using the Azure portal.
2. Verknüpfen Sie die private DNS-Zone mit dem VNet, das Ihren privaten Endpunkt hosten soll. Siehe "Verknüpfen des virtuellen Netzwerks".

Erstellen eines DNS-A-Eintrags

1. Wechseln Sie zu Ihrer privatelink.azuredatabricks.net privaten DNS-Zone.
2. Wählen Sie die Registerkarte "Recordsets " unter "DNS-Verwaltung" aus.
3. Klicken Sie auf "Hinzufügen" , um einen Datensatzsatz hinzuzufügen.
4. Konfigurieren Sie den A-Eintrag:
   • Name: <region>.service-direct (ersetzen Sie <region> durch Ihre Azure Region, z. B. westus2.service-direct)
   • Typ: A
   • IP-Adresse: Die private IP-Adresse von Ihrem privaten Endpunkt (in Schritt 1 aufgezeichnet)
5. Klicken Sie auf 'OK ', um den Datensatz zu speichern.

Überprüfen der DNS-Auflösung

Überprüfen Sie von einem Computer in Ihrem VNet oder von einem Einzelvorgang im Arbeitsbereich, der mit Ihrer privaten DNS-Zone verbunden ist, ob DNS-Abfragen zur privaten Endpunkt-IP aufgelöst werden.

nslookup westus2.service-direct.privatelink.azuredatabricks.net

Oder verwenden Sie dig:

dig westus2.service-direct.privatelink.azuredatabricks.net

Beide Befehle geben die private IP-Adresse Ihres privaten Endpunkts zurück.

Überprüfen der VNet-Konnektivität

Wenn sich der vom VNet generierte Datenverkehr vom VNet unterscheidet, das den privaten Endpunkt hostet, konfigurieren Sie VNet-Peering oder Konnektivität zwischen ihnen. Ausführliche Anleitungen finden Sie unter Azure Private Endpoint DNS-Integrationsszenarien.

Deaktivieren des öffentlichen Zugriffs (optional)

Der Abschluss des Private Link-Setups blockiert den Zugriff auf das öffentliche Internet für Ihren Arbeitsbereich nicht automatisch. Der öffentliche und private Zugriff sind unabhängige Einstellungen. Zum Erzwingen der reinen Verbindung mit privaten Netzwerken deaktivieren Sie den Zugriff auf das öffentliche Netzwerk:

1. Wechseln Sie im Azure-Portal zu Ihrer Azure Databricks Arbeitsbereichsressource.
2. Legen Sie unter "Einstellungen" die Option " Öffentliches Netzwerkzugriff zulassen " auf " Deaktivieren" fest.

Einschränkungen

• Leistungsintensive private Endpunkte gelten auf der Kontoebene und wirken sich automatisch auf alle Premium-Arbeitsbereiche in derselben Region aus.
• Jedes Konto ist auf 5 private Endpunkte für leistungsintensive Dienste pro Region und 100 pro Konto beschränkt. Wenden Sie sich an Ihr Azure Databricks Kontoteam, um Kontingenterhöhungen zu beantragen.

Weitere Ressourcen

• Stellen Sie Azure Databricks in Ihrem Azure-Virtuellen Netzwerk bereit (VNet-Injektion)
• Konfigurieren Sie 'Inbound Private Link'
• IP-Adressen und Domänen für Azure Databricks Dienste und Ressourcen