Creare una preparazione dei dati visivi in Lakeflow Designer

Lakeflow Designer permette di costruire workflow di trasformazione dati su un canvas visivo drag-and-drop. Questa pagina spiega come creare una preparazione visuale dei dati, dall'aggiunta di un'origine dati e dal collegamento degli operatori all'anteprima dei risultati e alla scrittura dei risultati in Unity Catalog.

Requisiti

Per usare Lakeflow Designer, è necessario disporre di:

• Un'area di lavoro di Azure Databricks con Il catalogo Unity abilitato.
• CAN USE autorizzazione su almeno una risorsa di calcolo generica (serverless o all-purpose).

Seleziona la risorsa di calcolo da usare dal selettore delle risorse di calcolo in alto a destra di Designer, accanto al pulsante Pianifica.

Creare una nuova preparazione dei dati visivi

Per creare una nuova preparazione dei dati visivi, fare clic Novità nella barra laterale e selezionare Preparazione dati visivi.

Designer si apre con una schermata di benvenuto in cui è possibile aggiungere un'origine dati o esplorare un esempio di preparazione visiva dei dati.

Aggiungere un'origine dati

Ogni preparazione dei dati visivi inizia con una o più origini dati. L'operatore Source rappresenta un'origine dati sul canvas.

Per aggiungere un'origine dati:

1. Aggiungere un operatore Source. Nella schermata iniziale fare clic su Seleziona operatore di origine. Nell'area di disegno aprire il menu dell'operatore e selezionare Origine.
2. Nel riquadro Configurazione origine scegliere come inserire i dati. È possibile cercare una tabella esistente, caricare un file CSV locale o Excel, creare una tabella da un file o importare da Google Drive o SharePoint.
3. Selezionare o configurare l'origine dati. L'operatore Source viene visualizzato nell'area di disegno.

È anche possibile trascinare e rilasciare un file CSV o Excel direttamente nell'area di disegno per creare rapidamente un operatore Source.

Per modificare l'origine in un secondo momento, aprire l'operatore Source e fare clic su Seleziona una nuova origine dati. La modifica dell'origine invalida la cache di output per tutti gli operatori downstream.

Per informazioni dettagliate su ogni opzione di inserimento, vedere Inserire dati in LakeFlow Designer.

Aggiungere e configurare operatori

Per aggiungere un operatore, aprire il menu dell'operatore nel riquadro laterale sul lato sinistro dell'area di disegno. Fare clic su un operatore per aggiungerlo all'area di disegno oppure trascinare un operatore dal menu nell'area di disegno. È anche possibile fare clic sul + pulsante accanto a qualsiasi operatore esistente per aggiungere un nuovo operatore con una connessione automatica.

Per configurare un operatore, fare doppio clic su di esso oppure tenere premuto il puntatore su di esso e fare clic operatore Modifica) per aprire il riquadro di configurazione. Impostare le opzioni per il tipo di operatore, quindi fare clic su Applica.

Per informazioni dettagliate su ogni operatore disponibile, vedere Operatori predefiniti in Lakeflow Designer. Per informazioni dettagliate sulla creazione di operatori definiti dall'utente, vedere Operatori definiti dall'utente in Lakeflow Designer.

Collega operatori

Per connettere due operatori, fare clic e trascinare dall'handle di output (il piccolo cerchio sul bordo destro di un operatore) all'handle di input (il piccolo cerchio sul bordo sinistro dell'operatore successivo). Specifica che i dati vengono trasmessi dal primo operatore al secondo. I dati passano da sinistra a destra attraverso la preparazione dei dati visivi.

Alcuni operatori, ad esempio Join e Combine, accettano più input.

Per rimuovere una connessione, tenere premuto il puntatore su di esso e fare clic Nella barra degli strumenti visualizzata sulla connessione.

Usare il codice Genie

In qualsiasi momento durante la modifica in Lakeflow Designer, è possibile creare richieste al codice Genie per facilitare l'operazione. Vedere Codice Genie.

Quando si usa Genie Code, i pulsanti seguenti offrono funzionalità aggiuntive:

• : carica un'immagine da usare come parte del prompt.
• : usare per menzionare oggetti, ad esempio tabelle o file, da usare come parte del prompt.
• : avvia un nuovo thread di chat con il nuovo contesto dell'agente.
• : apre il riquadro laterale per la cronologia delle conversazioni e una visualizzazione più dettagliata delle operazioni dell'agente.

Genie Code mostra un riepilogo di una riga della modifica più recente sopra la casella di input.

Visualizzare in anteprima i risultati

Selezionare qualsiasi operatore per visualizzare i risultati nel riquadro di output nella parte inferiore della schermata. Per la maggior parte dei tipi di operatore, i dati di input si trova a sinistra e i dati di output si trova a destra. Gli operatori che producono risultati non di tabella, ad esempio tracciati, HTML o immagini, eseguono il rendering di tali output direttamente nel riquadro di output.

Usa il controllo di visualizzazione nel riquadro di output per passare tra input e output (opzione predefinita), solo input oppure solo output. Nella visualizzazione combinata trascinare il divisore per ridimensionare i riquadri di input e output.

Per impostazione predefinita, gli operatori elaborano un campione limitato di dati per le anteprime. Usare l'elenco a discesa Righe analizzate nel riquadro di output per controllare il numero di righe da elaborare:

• Righe analizzate: limite: elabora le prime N righe di input. Specificare il numero di righe nel campo accanto all'elenco a discesa.
• Righe analizzate: max: elabora tutte le righe di input.

L'impostazione Righe analizzata controlla solo l'elaborazione in anteprima. Le esecuzioni pianificate e le esecuzioni di processi elaborano sempre il set di dati completo.

Scrivere risultati in Unity Catalog

Aggiungere un operatore Output per scrivere i risultati in una tabella nel catalogo unity:

1. Aprire il menu dell'operatore e selezionare Output oppure fare clic + accanto all'ultimo operatore e selezionare Output.
2. Connettere l'handle di output dell'ultima trasformazione all'handle di input dell'operatore Output se non è già connesso.
3. Fare doppio clic sull'operatore Output per aprire il relativo riquadro di configurazione.
4. Digitare un nome di tabella e selezionare il percorso di output (catalogo e schema).
5. Fare clic su Esegui.

Ogni esecuzione crea o sostituisce la tabella di output gestita, quindi le esecuzioni pianificate lo sovrascrivono anziché accodare. Vedere Output.

Pianificare o eseguire nell'ambiente di produzione

È possibile automatizzare i flussi di lavoro pianificandoli come processi.

• Pianifica direttamente: fare clic sul pulsante Pianifica nel menu in alto per creare un processo pianificato per la preparazione dei dati visivi.
• Aggiungi a un job: crea un job di Azure Databricks e scegli la preparazione visiva dei dati come attività. In questo modo è possibile combinare la preparazione dei dati visivi con altre attività in una pipeline più grande.

Per visualizzare e gestire le pianificazioni esistenti, fare di nuovo clic su Pianifica per aprire l'elenco. Fare clic su Aggiungi pianificazione per crearne un'altra oppure aprire il menu kebab di una pianificazione rappresentato dall'icona per Modifica, Esegui ora, Sospendi, Clona, Visualizza nei processi o Elimina.

Quando si pianifica una preparazione dei dati visivi, è possibile eseguire facoltativamente l'override dei relativi valori dei parametri per tale pianificazione. Ad esempio, è possibile creare una pianificazione eseguita con un environment parametro impostato su test e un altro che viene eseguito con esso impostato su production. Vedere Parametri.

Archiviare e gestire i file di preparazione dei dati visivi

I file di preparazione dei dati visivi vengono archiviati in modo nativo nell'area di lavoro. È possibile esportarli, importarli e tenerli traccia con Git quando vengono inseriti all'interno di una cartella Git.

Esportare un file di preparazione dei dati visivi

1. Fare clic Nell'angolo in alto a destra.
2. Selezionare File>Esporta.
3. Il file viene esportato come <file_name>.designer.ipynb.

Importare un file di preparazione dei dati visivi

1. Nel file system dell'area di lavoro fare clic
2. Seleziona Importa
3. Scegliere il file di preparazione dei dati visivi da importare.

Usare i file di preparazione dei dati visivi con Git

1. Creare una cartella Git nell'area di lavoro.
2. Spostare il file di preparazione dei dati visivi in tale cartella Git.
3. Tenere traccia del file, eseguire il commit e gestirne le versioni come faresti con qualsiasi altro notebook in Git.
4. In Git il file viene visualizzato come <file_name>.designer.ipynb.

Rinominare una preparazione visiva dei dati

Per rinominare una preparazione dei dati visivi, fare clic sulla scheda che ne mostra il nome nella parte superiore dell'editor, quindi digitare un nuovo nome.

Eliminare una preparazione visuale dei dati

Per eliminare una preparazione dei dati visivi, aprire Menu kebab per il file e selezionare Sposta nel cestino.

Per eliminare più file di preparazione dei dati visivi contemporaneamente, aprire Area di lavoro dal riquadro di spostamento a sinistra, selezionare i file da rimuovere e scegliere Sposta nel cestino nella parte superiore dell'elenco.

Suggerimenti aggiuntivi quando si lavora nell'area di disegno

Nell'area di disegno sono disponibili le azioni seguenti che consentono di modificare la preparazione dei dati visivi.

• Rinominare un operatore: fare clic sul campo di testo nella parte superiore di qualsiasi riquadro di configurazione per rinominare l'operatore. I nomi descrittivi rendono più facile capire a colpo d’occhio la preparazione visiva dei dati. Alcuni operatori, ad esempio l'operatore SQL, possono fare riferimento all'output di altri operatori in base al nome.
• Copiare un operatore: tenere premuto il puntatore su un operatore e fare clic oppure selezionare un operatore e premere CMD/CTRL+C , quindi CMD/CTRL+V.
• Elimina un operatore: tenere premuto il puntatore su un operatore e fare clic Nella barra degli strumenti visualizzata sopra di esso oppure selezionare l'operatore e premere Canc.
• Auto-layout: fare clic nella barra degli strumenti dell'intestazione per disporre automaticamente tutti gli operatori in un layout compatto.
• Adatta visualizzazione: fare clic su Nella barra degli strumenti dell'intestazione per visualizzare tutti gli operatori nel riquadro di visualizzazione corrente.
• Annulla e ripristina: premi Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z, oppure usa i pulsanti di annullamento e ripristino nella barra degli strumenti dell'intestazione.
• Visualizzare il codice generato: per visualizzare il codice PySpark generato dalla finestra di progettazione, aprire cronologia delle versioni nel riquadro destro, eseguire il push del file in una cartella Git e visualizzarlo lì oppure visualizzarlo nei dettagli dell'esecuzione del processo.
• Visualizza cronologia versioni: fare clic riquadro destro per aprire la cronologia delle versioni dei dati visivi, in cui sono elencate le modifiche. Selezionare una versione da confrontare con la versione seguente.

Risorse aggiuntive

• Inserire dati in Lakeflow Designer
• Operatori predefiniti in Lakeflow Designer