Derivazione esterna

Unity Catalog acquisisce automaticamente la derivazione dei dati di runtime tra query eseguite in Azure Databricks. Tuttavia, potresti avere carichi di lavoro eseguiti al di fuori di Azure Databricks (ad esempio, ETL di prima fase o BI di fase finale). Unity Catalog consente di aggiungere metadati di derivazione esterni per aumentare la derivazione dei dati di Azure Databricks che acquisisce automaticamente, offrendo una visualizzazione di derivazione end-to-end in Unity Catalog. Ciò è utile quando si vogliono acquisire i dati provenienti da (ad esempio, Salesforce o MySQL) prima che vengano inseriti in Unity Catalog o in cui i dati vengano utilizzati al di fuori del catalogo unity (ad esempio, Tableau o Power BI).

È possibile aggiungere una derivazione esterna in due modi:

Il seguente grafico di lineage mostra due tabelle esterne in MySQL e PostgreSQL acquisite in Azure Databricks come tabella gestita in Unity Catalog, con colonne trasformate in una colonna release_date, e quindi usata da un report esterno.

Grafo di derivazione che mostra tabelle esterne a monte e un report a valle connesso a una tabella Unity Catalog, con il pulsante Crea derivazione esterna situato nell'angolo superiore destro.

Per informazioni generali sulla derivazione dei dati in Azure Databricks, vedere Derivazione in Unity Catalog.

Requisiti

Per aggiungere metadati di derivazione esterni nel catalogo unity, è necessario disporre dei privilegi seguenti, a seconda dell'attività specifica:

  • Per creare un oggetto metadati esterno proteggibile in Unity Catalog, è necessario disporre del privilegio CREATE EXTERNAL METADATA sul metastore.
  • Per specificare le relazioni di derivazione tra un oggetto metadati esterno e qualsiasi altro oggetto Catalogo Unity, è necessario disporre del MODIFY privilegio per l'oggetto metadati esterno.
  • Per specificare una relazione di derivazione downstream con un oggetto Catalogo Unity, è necessario disporre dei privilegi di lettura per l'oggetto , SELECT ad esempio in una tabella.
  • Per specificare una relazione di derivazione upstream con un oggetto Catalogo Unity, è necessario disporre dei privilegi di scrittura per l'oggetto , MODIFY ad esempio in una tabella.

Aggiungere metadati di derivazione esterni

Per aggiungere metadati di derivazione esterni:

  1. Creare un oggetto proteggibile di metadati esterni in Unity Catalog.

    Questo oggetto rappresenta un'entità in un sistema esterno, ad esempio un dashboard in Tableau.

  2. Configurare una relazione di derivazione tra l'oggetto metadati esterno e un altro oggetto Catalog di Unity, ad esempio una tabella, un modello, un percorso o un altro oggetto metadati esterno.

    Dopo aver creato relazioni di derivazione, l'oggetto metadati esterno viene visualizzato nella vista del grafico di derivazione.

È possibile creare oggetti metadati esterni e configurare relazioni di derivazione usando l'interfaccia utente di Esplora cataloghi. Per iniziare da un grafico di derivazione esistente, fare clic su Crea derivazione esterna nell'angolo superiore destro del grafico. È anche possibile iniziare dalla sezione Dati esterni in Esplora cataloghi, come descritto nelle sezioni seguenti.

Creare un oggetto metadati esterno

È possibile creare un oggetto metadati esterno usando Esplora cataloghi o l'API Metadati esterni.

Per usare Esplora cataloghi per creare un oggetto metadati esterno:

  1. Nell'area di lavoro di Azure Databricks fare clic sull'icona Dati.Catalogo.

  2. Fare clic sul pulsante Dati >esterni, passare alla scheda Metadati esterni e fare clic su Crea metadati esterni.

  3. Specificare i dettagli dei metadati.

    Obbligatorio:

    • Nome: Immettere un nome comprensibile che aiuti gli utenti di Azure Databricks a capire cosa stanno visualizzando nel lineage. Gli oggetti metadati esterni sono oggetti a protezione diretta di Unity Catalog, quindi il nome deve seguire le regole di denominazione degli oggetti del catalogo Unity. Vedere Requisiti di denominazione degli oggetti proteggibili.
    • Tipo di sistema: selezionare dall'elenco dei dati esterni comuni e dei sistemi BI. Se non si trova il proprio, selezionare Personalizzato.
    • Tipo di entità: immettere il tipo di oggetto, ad esempio "table" o "dashboard".

    Facoltativo:

    • URL: immettere l'URL dell'oggetto se si vuole che i visualizzatori del grafico di derivazione possano fare clic sull'asset esterno, ad esempio un dashboard di Tableau.
    • Descrizione

    Avanzato:

    • Colonne: se si vuole eseguire il mapping a livello di colonna da questo oggetto esterno a un altro oggetto Catalogo Unity, immettere i nomi delle colonne. Selezionare l'interfaccia utente per immetterli uno alla volta o Input di testo per immettere un elenco delimitato da virgole in una singola casella di testo.
    • Proprietà: se sono presenti altre proprietà da tenere traccia nella derivazione, immetterle come coppie chiave-valore JSON. È possibile usare l'interfaccia utente per immettere ogni coppia chiave-valore oppure immettere un oggetto JSON completo.

  4. Clicca su Crea.

    Una finestra di dialogo consente di visualizzare l'oggetto metadati esterno o di creare relazioni di derivazione per l'oggetto.

Creare relazioni di derivazione

È possibile creare relazioni di derivazione usando Esplora cataloghi, l'API Derivazione esterna o Databricks SDK per Python.

Per aggiungere relazioni tra un oggetto metadati esterno e altri oggetti del catalogo Unity:

  1. Seguire la richiesta indicata in precedenza o trovare l'oggetto metadati esterno esistente in Esplora cataloghi:

    1. Fare clic sull'icona Dati.Catalogo
    2. Fare clic sul pulsante Dati >esterni
    3. Passare alla scheda Metadati esterni e selezionare l'oggetto metadati esterno.

  2. Fare clic su Crea relazione di derivazione.

  3. Selezionare se si vuole creare una relazione upstream o downstream.

  4. Immettere il tipo di oggetto a cui si vuole creare la relazione:

    • Tabella: selezionare la tabella usando la finestra di dialogo di ricerca.
    • Modello: selezionare il modello usando la finestra di dialogo di ricerca e quindi selezionare la versione del modello.
    • Percorso: per i volumi o le posizioni esterne, inserire il percorso.
    • Metadati esterni: selezionare l'oggetto metadati esterno dal menu a discesa.

  5. (Facoltativo) Fare clic su Avanzate per aggiungere:

    • Associazioni di colonne tra l'oggetto metadati esterno e l'oggetto di origine o di destinazione.
    • Altri metadati come coppie chiave-valore JSON. Ad esempio, è possibile usarli per immettere il testo della query che ha creato una tabella dall'oggetto metadati esterno o dalle annotazioni che spiegano il flusso di lavoro esterno che ha generato la relazione.

  6. Clicca su Crea.

È ora possibile visualizzare la relazione di derivazione esterna nella scheda Derivazione degli oggetti correlati.

Modellare le relazioni di derivazione esterna

Quando si aggiunge manualmente una derivazione esterna, usare i modelli seguenti per modellare relazioni più complesse:

  • Connettere due tabelle di Catalogo Unity: per specificare una relazione di derivazione tra due tabelle registrate in Unity Catalog, creare un oggetto metadati esterno che si trova tra di essi. Specificare una tabella come upstream per l'oggetto metadati esterno e l'altra come downstream in modo che vengano visualizzate collegate nel grafico di derivazione.
  • Aggiungere più livelli di derivazione: per annotare i dati che passano attraverso più sistemi prima di immettere Azure Databricks, creare più oggetti metadati esterni e configurare relazioni di derivazione esterne tra di esse.
  • Aggiungi derivazione a livello di colonna: specificare i nomi di colonna quando si crea l'oggetto metadati esterno, quindi eseguire il mapping delle colonne di origine e di destinazione quando si configura la relazione di derivazione.

Limitations

  • La derivazione esterna non viene registrata nelle tabelle di sistema di derivazione (system.access.table_lineage e system.access.column_lineage).
  • È possibile creare fino a 10.000 oggetti metadati esterni e 100.000 relazioni di derivazione esterna per metastore. Vedere Limiti delle risorse.

Risorse aggiuntive

  • Last updated on