Configurare link privati in ingresso per servizi ad alta intensità di prestazioni

Questa pagina illustra come configurare collegamento privato per la connettività in ingresso ai servizi a elevato utilizzo di prestazioni nella piattaforma Azure Databricks. Questa connessione privata consente a client esterni e utenti di accedere ai servizi nella piattaforma Azure Databricks, ad esempio Zerobus Ingest e Lakebase Autoscaling.

Vantaggi

• Sicurezza avanzata: il traffico tra la rete e i servizi Databricks rimane all'interno dell'infrastruttura di rete Azure.
• Accesso a servizi con prestazioni elevate: connessioni private a servizi come Zerobus Ingest e Lakebase Autoscaling.
• Requisiti di conformità: soddisfare i requisiti normativi che impongono la connettività di rete privata.
• Efficienza dei costi: collegamento privato costa meno delle opzioni di connettività pubblica, ad esempio i gateway NAT.

Azure Databricks fatturano determinati costi di rete associati alle connessioni collegamento privato in ingresso ai servizi a elevato utilizzo delle prestazioni. Per altre informazioni, vedere Informazioni sui costi di rete di Databricks.

Requisiti

• L'account Azure Databricks deve essere nel livello Premium.
• È necessario abilitare la connettività privata per la funzionalità anteprima pubblica dei servizi a elevato utilizzo di prestazioni nell'account. È possibile eseguire la registrazione automatica dalla console dell'account. Senza questa funzionalità abilitata, gli endpoint privati non vengono visualizzati nella console dell'account.
• Per registrare gli endpoint privati, è necessario essere un amministratore dell'account Azure Databricks.
• Per creare endpoint privati, è necessario disporre delle autorizzazioni di Collaboratore rete o equivalenti in Azure.

Passaggio 1: Creare un endpoint privato

Questo passaggio crea un endpoint privato nel portale Azure che si connette ai servizi a elevato utilizzo delle prestazioni in Azure Databricks.

Preparare la rete virtuale e la subnet

1. Preparare una rete virtuale e una subnet per ospitare l'endpoint privato. È possibile creare una nuova rete virtuale o riutilizzare una rete virtuale esistente, ad esempio la rete virtuale dell'area di lavoro.

   • Per creare una nuova rete virtuale, vedere Creare un Rete virtuale di Azure.
   • Per aggiungere una subnet, vedere Aggiungere, modificare o eliminare una subnet di rete virtuale.

   Annotazioni

   L'endpoint privato in ingresso può essere ospitato in una rete virtuale diversa dall'area di lavoro, ad esempio una rete virtuale di transito. Il vincolo della VNet si applica solo agli endpoint privati di back-end.

2. Configurare i criteri di rete dell'endpoint privato per la subnet:

   • Consigliato (impostazione predefinita): disabilitato. Questa è l'impostazione predefinita e la configurazione che Azure Databricks test e supporta.
   • Alternativa (gestita dal cliente):NetworkSecurityGroup o RouteTable. L'abilitazione dei criteri funziona anche e potrebbe essere necessaria per le reti che usano rete WAN virtuale di Azure con ExpressRoute, in cui la disabilitazione dei criteri può causare il routing asimmetrico. Se si abilita il criterio, si è responsabili di garantire che il gruppo di sicurezza di rete e le regole della tabella di routing consentano il traffico verso l'endpoint privato di Service Direct. Azure Databricks non fornisce supporto per problemi di connettività o prestazioni risultanti da regole personalizzate del gruppo di sicurezza di rete o della tabella di route nella subnet.

   Per informazioni dettagliate, vedere Gestire i criteri di rete per gli endpoint privati .

3. Se si riutilizza una rete virtuale dell'area di lavoro esistente, è necessario usare o creare una subnet diversa da quella usata dall'area di lavoro.

   Annotazioni

   L'endpoint privato per i servizi a elevato utilizzo di prestazioni può essere inserito nella stessa subnet dell'endpoint privato in ingresso esistente. Il requisito di "subnet diversa" si applica solo alle subnet di inserimento di calcolo dell'area di lavoro.

4. Se la rete virtuale che ospita l'endpoint privato è diversa dalla rete virtuale che invia traffico, configurare il peering o la connettività della rete virtuale. Vedere Verificare la connettività della rete virtuale.

Distribuire un endpoint privato

1. Nel portale di Azure cercare gli endpoint Private in Microsoft Marketplace e selezionare Crea.
2. Immettere un nome e un nome dell'interfaccia di rete e impostare l'area in modo che corrisponda all'area della rete virtuale dell'area di lavoro.
3. Fare clic su Avanti: Risorsa.
4. Selezionare Connettere a una risorsa Azure tramite ID risorsa o alias.
5. Nel campo ID risorsa o alias, immettere l'ID risorsa di collegamento privato Service per i servizi a uso intensivo delle prestazioni per la propria area geografica. Vedi ID risorsa del servizio collegamento privato per i servizi a utilizzo intensivo delle prestazioni e per l'accesso generale per l'elenco degli ID delle risorse.
6. Nel campo Sotto-risorsa di destinazione immettere service_direct.
7. Fare clic su Avanti: Rete virtuale.
8. Selezionare la rete virtuale e la subnet che hai preparato nella sezione Preparare la rete virtuale e la subnet.
9. Fare clic su Avanti: DNS.
10. Lasciare l'opzione Integrazione con la zona DNS privata impostata su No. Il DNS viene configurato manualmente in un passaggio successivo.
11. Fare clic su Avanti: Etichette.
12. Fare clic su Avanti: Rivedi e crea.
13. Esaminare la configurazione e fare clic su Crea per distribuire l'endpoint privato.
14. Al termine della distribuzione, registrare questi valori:
    • Nome dell'endpoint privato: Il nome del tuo endpoint privato.
    • GUID della risorsa: passa alla risorsa dell'endpoint privato, fai clic su Visualizzazione JSON e trova il valore in properties.resourceGuid. Questa operazione è necessaria nel passaggio 2.
    • Indirizzo IP privato: nella visualizzazione JSON, trova l'indirizzo IP in properties.customDnsConfigs[0].ipAddresses[0]. Questa operazione è necessaria nel passaggio 3.

Dopo la distribuzione, lo stato di connessione dell'endpoint privato viene visualizzato come In sospeso. Questo è previsto. L'endpoint rimane in stato In sospeso fino a quando non si completa il passaggio 2.

Passaggio 2: Registrare l'endpoint privato

Dopo aver creato l'endpoint privato nel portale di Azure, registrarlo con Azure Databricks.

1. Passare alla console dell'account Azure Databricks.
2. Nella barra laterale, fare clic su Sicurezza>Rete>Endpoint>Registra endpoint.

Passaggio 3: Configurare DNS

Dopo aver registrato l'endpoint privato, configurare DNS in modo che il traffico venga instradato attraverso l'endpoint privato usando il privatelink.azuredatabricks.net dominio.

• Databricks consiglia una convenzione di denominazione che include l'area e lo scopo, ad esempio PE westus2 for inbound private link.

1. Creare una zona DNS privata Azure denominata privatelink.azuredatabricks.net.
   • Se l'area di lavoro usa già un collegamento privato in ingresso (vedere Configura collegamento privato in ingresso), riutilizzare la zona esistente privatelink.azuredatabricks.net.
   • Per le nuove zone, vedere Creare una zona DNS privata Azure usando il portale di Azure.
2. Collegare la zona DNS privata alla rete virtuale che ospita l'endpoint privato. Vedi Collega la rete virtuale.

Creare un record DNS A

1. Passare alla privatelink.azuredatabricks.net zona DNS privata.
2. Selezionare la scheda Recordset in Gestione DNS.
3. Fare clic su Aggiungi per aggiungere un set di record.
4. Configurare il record A:
   • Name: <region>.service-direct (sostituire <region> con l'area Azure, ad esempio westus2.service-direct)
   • Tipo: A
   • Indirizzo IP: indirizzo IP privato dall'endpoint privato (registrato nel passaggio 1)
5. Fare clic su OK per salvare il record.

Verificare la risoluzione DNS

Da una macchina nel tuo VNet o da un job dell'area di lavoro collegato alla zona DNS privata, verificare che le query DNS vengano risolte nell'IP dell'endpoint privato:

nslookup westus2.service-direct.privatelink.azuredatabricks.net

In alternativa, usare dig:

dig westus2.service-direct.privatelink.azuredatabricks.net

Entrambi i comandi restituiscono l'indirizzo IP privato dell'endpoint privato.

Verificare la connettività della rete virtuale

Se la rete virtuale che genera traffico è diversa dalla rete virtuale che ospita l'endpoint privato, configurare il peering tra reti virtuali o la connettività tra di esse. Per indicazioni dettagliate, vedere Scenari di integrazione DNS di Azure Private Endpoint.

Disabilitare l'accesso pubblico (facoltativo)

** Completare la configurazione di collegamento privato non blocca automaticamente l'accesso a Internet pubblico al tuo spazio di lavoro. L'accesso pubblico e privato sono impostazioni indipendenti. Per applicare la connettività solo privata, disabilitare l'accesso alla rete pubblica:

1. Nel portale di Azure passare alla risorsa dell'area di lavoro Azure Databricks.
2. In Impostazioni impostare Consenti accesso alla rete pubblica su Disabilita.

Limitazioni

• Gli endpoint privati per servizi ad alte prestazioni si applicano a livello di account e influiscono automaticamente su tutte le aree di lavoro Premium nella stessa regione.
• Ogni account è limitato a 5 endpoint privati per i servizi ad elevato utilizzo di risorse per regione e 100 per account. Per l'aumento delle quote, contattare il team dell'account Azure Databricks.

Risorse aggiuntive

• Distribuisci Azure Databricks nella rete virtuale di Azure (iniezione VNet)
• Configurare collegamento privato in ingresso
• Indirizzi IP e domini per i servizi e le risorse di Azure Databricks