Monitoraggio dei job Lakeflow

L'interfaccia utente Azure Databricks consente di visualizzare i processi a cui si ha accesso, esplorare una cronologia delle esecuzioni per ogni processo e esaminare i dettagli delle singole esecuzioni di processo. Per configurare le notifiche per i processi, vedere Aggiungere notifiche in un processo.

Per informazioni sull'uso della CLI di Databricks per visualizzare ed eseguire i lavori, eseguire i comandi della CLI databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Per informazioni sull'uso dell'API Processi, vedere l'API Processi.

Se si ha accesso allo schema system.lakeflow, è anche possibile visualizzare ed eseguire query sui record delle esecuzioni dei lavori e dei task nell'account. Consultare Informazioni di riferimento sulla tabella di sistema processi. È anche possibile unire le tabelle di sistema dei processi con le tabelle di fatturazione per monitorare il costo dei processi nell'account. Consulta Monitor i costi dei processi e le prestazioni & con le tabelle di sistema.

Visualizzare processi e pipeline

Per visualizzare l'elenco dei processi a cui si ha accesso, fare clic Processi e pipeline nella barra laterale. La scheda Processi e pipeline nell'interfaccia utente di Processi Lakeflow elenca le informazioni su tutti i processi e le pipeline disponibili, ad esempio l'autore, il trigger (se presente) e il risultato delle ultime cinque esecuzioni.

Per modificare le colonne visualizzate nell'elenco, fare clic e selezionare o deselezionare le colonne.

È possibile filtrare i processi nell'elenco Processi e pipeline , come illustrato nello screenshot seguente.

1. Ricerca di testo: la ricerca di parole chiave è supportata per i campi Nome e ID processo . Per cercare un tag creato con una chiave e un valore, è possibile eseguire ricerche in base alla chiave, al valore o sia alla chiave che al valore. Ad esempio, per un tag con la chiave department e il valore finance, è possibile cercare department o finance trovare i lavori corrispondenti. Per eseguire una ricerca in base alla chiave e al valore, immettere la chiave e il valore separati da due punti ( ad esempio, department:finance).
2. Tipo: selezionare solo processi, pipeline o tutti.
3. Proprietario: selezionare solo i processi o le pipeline di cui si è proprietari.
4. Preferiti: selezionare tutti i processi o le pipeline contrassegnati come preferiti.
5. Tag: usare i tag. Per eseguire ricerche in base al tag, è possibile usare il menu a discesa tag per filtrare fino a cinque tag contemporaneamente o usare direttamente la ricerca di parole chiave.
6. Esegui come: filtra per un massimo di due run as valori.

Per avviare un lavoro o una pipeline, fare clic sul pulsante . Per arrestare un flusso di lavoro, fare clic sul pulsante . Per accedere ad altre azioni, fare clic sull'icona del menu Kebab. Ad esempio, è possibile eliminare il flusso di lavoro o le impostazioni di accesso per una pipeline da questo menu.

Visualizza le esecuzioni recenti di tutti i job e le pipeline

È possibile visualizzare un elenco di esecuzioni in esecuzione e completate di recente per tutti i processi e le pipeline in un'area di lavoro accessibile dall'utente, incluse le esecuzioni avviate da strumenti di orchestrazione esterni, ad esempio Apache Airflow o Azure Data Factory. Per visualizzare l'elenco delle esecuzioni recenti:

1. Fare clic Processi e pipeline nella barra laterale.
2. Fare clic sulla scheda Esecuzioni per visualizzare il grafico Conteggio esecuzioni completate e l'elenco di esecuzioni di processi e pipeline.
3. (Facoltativo) Fare clic su Jobs o Pipelines per filtrare l'elenco per tipo.

L'elenco delle esecuzioni include opzioni di filtro nella parte superiore, un grafico delle esecuzioni completate di recente e i primi 5 errori e un elenco delle esecuzioni completate di recente.

Puoi filtrare per:

• Nome del processo o della pipeline.
• Tutti, lavori o pipeline.
• Tipo di pipeline (ETL, Inserimento, MV/ST o Sincronizzazione tabelle di database).
• Utente Esegui come.
• Usa l'ID esecuzione per trovare un'esecuzione specifica.
• L'orario di avvio (nell'ambito delle ultime 48 ore).
• Lo stato di esecuzione.
• Codice di errore per le esecuzioni non riuscite.

I filtri si applicano al grafico, ai codici di errore e all'elenco di esecuzioni.

Grafico del conteggio delle esecuzioni completate

Il grafico Numero di esecuzioni completate mostra il numero di esecuzioni completate nelle ultime 48 ore. Per impostazione predefinita, il grafico mostra le esecuzioni non riuscite, saltate e riuscite. È anche possibile filtrare il grafico per visualizzare stati di esecuzione specifici o limitare il grafico a un intervallo di tempo specifico.

I filtri nella parte superiore della scheda Esecuzioni si applicano al grafico.

Per limitare l'intervallo di tempo visualizzato nel grafico Conteggio esecuzioni completate, definisci un intervallo di tempo nel filtro. In alternativa, è possibile fare clic e trascinare il cursore nel grafico per selezionare l'intervallo di tempo. Il grafico e la tabella delle esecuzioni si aggiornano per mostrare solo le esecuzioni nell'intervallo di tempo definito.

La tabella Primi 5 tipi di errore mostra un elenco dei tipi di errore più frequenti dell'intervallo di tempo selezionato, consentendo di visualizzare rapidamente le cause più comuni dei problemi nell'area di lavoro.

Elenco delle esecuzioni

La scheda Esecuzioni include anche una tabella delle esecuzioni di job e di pipeline degli ultimi 60 giorni. Azure Databricks mantiene la cronologia di esecuzione per 60 giorni sia per i processi che per le pipeline. Per impostazione predefinita, la tabella include dettagli sulle esecuzioni non riuscite, saltate e riuscite.

I filtri in cima alla scheda Esecuzioni si applicano all'elenco.

Per impostazione predefinita, l'elenco delle esecuzioni nella tabella delle esecuzioni visualizza quanto segue:

• Ora di inizio per l'esecuzione.
• Nome del processo o della pipeline associato all'esecuzione.
• Tipo (Job o Pipeline) dell'esecuzione.
• Nome utente in cui viene eseguita l'esecuzione.
• Cosa ha attivato l'esecuzione (avviata): una pianificazione, una richiesta API o un avvio manuale.
• Tempo trascorso per un processo o una pipeline in esecuzione o il tempo totale di esecuzione per un'esecuzione completata. L'interfaccia utente visualizza un avviso se la durata supera un tempo di completamento previsto configurato.
• Stato dell'esecuzione: in coda, in sospeso, in esecuzione, ignorato, riuscito, riuscito con errori, non riuscito, timeout, annullamento o annullato.
• Qualsiasi codice di errore con cui è stata terminata l'esecuzione.
• Qualsiasi parametro per l'esecuzione.
• Per arrestare un processo o una pipeline in esecuzione, fare clic sul pulsante Arresta. Per aprire le azioni per l'esecuzione, fare clic Ad esempio, per arrestare un'esecuzione attiva o eliminare un'esecuzione completata.

Per modificare le colonne visualizzate nell'elenco delle esecuzioni, fare clic e selezionare o deselezionare le colonne.

Per visualizzare i dettagli dell'esecuzione del lavoro, cliccare sul collegamento nella colonna Ora di inizio per l'esecuzione. Per visualizzare i dettagli del job o della pipeline, fare clic sul nome nella colonna Job.

Visualizza le esecuzioni per un singolo job

È possibile visualizzare un elenco delle esecuzioni attualmente in esecuzione e completate di recente per un processo a cui si ha accesso, incluse le esecuzioni avviate da strumenti di orchestrazione esterni, ad esempio Apache Airflow o Azure Data Factory. Per visualizzare l'elenco delle esecuzioni dei lavori recenti:

1. Nella barra laterale dell'area di lavoro di Azure Databricks fare clic su Processi e pipeline.

2. Opzionalmente, selezionare i filtri Attività e Di mia proprietà.

3. Fare clic sul Nome del collegamento del proprio lavoro.

   La scheda Esecuzioni è visibile con le visualizzazioni matrice ed elenco delle esecuzioni attive e completate.

La visualizzazione matrice mostra una cronologia delle esecuzioni per il lavoro, inclusa ogni task del lavoro.

Nella riga Durata totale esecuzione della matrice viene visualizzata la durata totale dell'esecuzione e lo stato dell'esecuzione. Per visualizzare i dettagli dell'esecuzione, inclusi l'ora di inizio, la durata e lo stato, passare il puntatore sulla barra nella riga Durata totale esecuzione.

Ogni cella nella riga Tasks rappresenta una task e lo stato corrispondente della task. Per visualizzare i dettagli di ogni task, inclusi l'ora di inizio, la durata, il cluster e lo stato, passare il puntatore del mouse sulla cella per tale task.

Le barre di esecuzione del lavoro e di esecuzione delle task sono codificate a colori per indicare lo stato dell'esecuzione. Le esecuzioni riuscite sono verdi. Le esecuzioni non riuscite sono rosse, le esecuzioni ignorate sono rosa e le esecuzioni in attesa di ritentativo sono gialle. In sospeso, annullati o scaduti sono in grigio. L'altezza delle singole barre di esecuzione di processi e attività indica visivamente la durata dell'esecuzione.

Se è stato configurato un tempo di completamento previsto, la visualizzazione matrice visualizza un avviso quando la durata di un'esecuzione supera il tempo configurato.

Per impostazione predefinita, la visualizzazione elenco esecuzioni visualizza quanto segue:

• Ora di inizio per l'esecuzione.
• Identificatore dell'esecuzione. Vedere URL di esecuzione e ID del processo per sapere come trovare e condividere l'URL di esecuzione.
• Se l'esecuzione è stata attivata da una pianificazione dei processi o da una richiesta API, oppure è stata avviata manualmente.
• Tempo trascorso per un lavoro attualmente in esecuzione o il tempo di esecuzione totale per un'esecuzione completata. Se la durata supera un tempo di completamento previsto configurato, viene visualizzato un avviso.
• Lo stato dell'esecuzione può essere In coda, In sospeso, In esecuzione, Saltata, Completata, Completata con errori, Non riuscita, Terminata per timeout, In annullamento oppure Annullata.
• Codice di errore con cui è stata terminata l'esecuzione.
• Parametri di esecuzione.

Le esecuzioni attive attualmente visualizzano un pulsante di stop. Per arrestare tutti i processi attivi e in coda, selezionare Annulla processi o Annulla tutti i processi in coda dal menu a discesa.

Per accedere alle azioni contestuali per l'esecuzione, fare clic Ad esempio, per arrestare un'esecuzione attiva o eliminare un'esecuzione completata.

Per modificare le colonne visualizzate nella visualizzazione elenco esecuzioni, cliccare su e selezionare o deselezionare le colonne.

Per visualizzare i dettagli per un'esecuzione del job, cliccare sul link dell'esecuzione nella colonna Ora di inizio nella visualizzazione elenco delle esecuzioni. Per visualizzare i dettagli dell'esecuzione più recente del processo, fare clic su Vai all'ultima esecuzione riuscita.

Azure Databricks conserva uno storico delle esecuzioni dei lavori per un massimo di 60 giorni. Se è necessario mantenere le esecuzioni dei lavori, Databricks consiglia di esportare i risultati prima della loro scadenza. Per altre informazioni, vedere Esportazione dei risultati di esecuzione del lavoro.

Visualizzare i dettagli di esecuzione del lavoro

La pagina dei dettagli di esecuzione del lavoro contiene l'output del lavoro e i collegamenti ai log, incluse le informazioni sull'esito positivo o negativo di ogni task nell'esecuzione del lavoro. È possibile accedere ai dettagli dell'esecuzione del lavoro dalla scheda Esecuzioni per il lavoro.

Per visualizzare i dettagli dell'esecuzione del lavoro dalla scheda Esecuzioni, cliccare sul collegamento per l'esecuzione nella colonna Ora di inizio nella visualizzazione dell'elenco esecuzioni. Per tornare alla scheda Esecuzioni per il lavoro, cliccare sul valore ID lavoro.

I lavori con più attività hanno anche un grafico, una sequenza temporale e una visualizzazione elenco.

Vista grafico

Fare clic su un nodo attività nel grafico per visualizzare i dettagli dell'esecuzione dell'attività, tra cui:

• Dettagli dell'attività, tra cui esegui come, modalità di avvio del processo, ora di inizio, ora di fine, durata e stato.
• Codice sorgente.
• Cluster che ha eseguito l'attività e collegamenti alla cronologia delle query e ai log.
• Metriche per l'attività.

Visualizzazione sequenza temporale

I processi che contengono più attività hanno una vista cronologica per identificare le attività che richiedono molto tempo per il completamento, comprendere le dipendenze e le sovrapposizioni per supportare il debug e l'ottimizzazione di questi processi.

Per i processi serverless, le query e i profili di query sono integrati nella visualizzazione sequenza temporale. Fare clic sulla freccia accanto a un nome di attività per visualizzare le istruzioni di query e le relative durate, quindi fare clic su un'istruzione per passare al profilo di query corrispondente. Vedere Visualizzare i dettagli delle query per le esecuzioni dei processi.

Visualizzazione elenco

Per impostazione predefinita, la visualizzazione elenco mostra lo stato, il nome, il tipo, la risorsa, la durata e le dipendenze. È possibile aggiungere e rimuovere colonne in questa visualizzazione.

È possibile cercare un'attività in base al nome, filtrare in base allo stato dell'attività o al tipo di attività e ordinare le attività in base allo stato, al nome o alla durata.

Cliccare sul valore ID del lavoro per tornare alla scheda Esecuzioni.

Per visualizzare il tempo trascorso in un'esecuzione e le operazioni che è possibile eseguire per ridurlo, visualizzare la suddivisione delle fasi. Vedi la suddivisione dell'esecuzione per fase.

Come Azure Databricks determina lo stato di esecuzione del processo

Azure Databricks determina se un'esecuzione del processo è stata eseguita correttamente in base al risultato delle attività foglia del processo. Un'attività foglia è un'attività che non ha dipendenze a valle. Un'esecuzione di un processo può avere uno dei risultati seguenti:

• Operazione completata: tutte le task hanno avuto esito positivo.
• Operazione riuscita con errori: alcune attività non sono andate a buon fine, ma tutte le attività foglia hanno avuto esito positivo.
• Operazione non riuscita: una o più attività foglia non sono riuscite.
• Ignorato: l'esecuzione del job è stata saltata. Ad esempio, un'attività potrebbe essere saltata perché è stato superato il numero massimo di esecuzioni simultanee consentite per il job o per lo spazio di lavoro.
• Timeout: il processo ha richiesto troppo tempo e non è stato completato nei tempi previsti.
• Annullata: l'esecuzione del processo è stata annullata( ad esempio, un utente ha annullato manualmente l'esecuzione in corso).

Le singole attività possono anche terminare con uno Disabled stato quando vengono disabilitate esplicitamente nelle impostazioni del job, o quando i Lakeflow Jobs le disabilitano per un'esecuzione perché un'attività a monte è disabilitata. Le attività disabilitate mostrano un Nell'angolo superiore destro del DAG. Vedere Attività disabilitate in Job Lakeflow.

Visualizza le metriche delle prestazioni delle attività

Le metriche delle attività di streaming e quelle delle prestazioni delle query serverless sono documentate insieme agli altri strumenti di monitoraggio delle prestazioni dei processi. Vedere Diagnosticare le prestazioni dei processi Lakeflow.

Visualizzare la cronologia di esecuzione della task

Per visualizzare la cronologia di esecuzione di una task, incluse le esecuzioni riuscite e non riuscite:

1. Fare clic su un'attività nella pagina Dettagli esecuzione del processo. Viene visualizzata la pagina dei dettagli dell'esecuzione del task.
2. Nel menu a discesa della cronologia delle esecuzioni, selezionare l'esecuzione del task.

Visualizza la cronologia delle esecuzioni per un'attività For each

L'accesso alla cronologia delle esecuzioni di un'attività For each è uguale a quello di un'attività standard di Lakeflow Jobs. È possibile cliccare sul nodo task For each nella pagina Dettagli esecuzione lavoro o nella cella corrispondente nella visualizzazione matrice. Tuttavia, a differenza di un compito standard, i dettagli di esecuzione per un compito For each vengono presentati come tabella delle iterazioni del compito nidificato.

Per visualizzare solo le iterazioni non riuscite, cliccare su Solo iterazioni non riuscite.

Per visualizzare l'output di un'iterazione, cliccare sui valori Ora di inizio o Ora di fine dell'iterazione.

Visualizzare le informazioni sulla derivazione per un lavoro

Se Unity Catalog è abilitato nell'area di lavoro, è possibile visualizzare le informazioni sulla derivazione per qualsiasi tabella di Unity Catalog nel flusso di lavoro. Se sono disponibili informazioni sulla derivazione dei dati per il flusso di lavoro, viene visualizzato un collegamento con il numero di tabelle upstream e downstream nel riquadro Dettagli processo del processo, nel riquadro Dettagli esecuzione processo per un'esecuzione del processo oppure nel riquadro Dettagli esecuzione attività per un'esecuzione dell'attività. Cliccare sul collegamento per visualizzare l'elenco delle tabelle. Cliccare su una tabella per visualizzare informazioni dettagliate in Explorer catalogo.

Visualizzare ed eseguire un processo creato con bundle di automazione dichiarativa

È possibile usare l'interfaccia utente dei processi Lakeflow per visualizzare ed eseguire i processi distribuiti dai bundle di automazione dichiarativa. Per impostazione predefinita, questi processi sono di sola lettura nell'interfaccia utente dei processi. Per modificare un processo distribuito da un bundle, modificare il file di configurazione del bundle e ridistribuire il processo. L'applicazione delle modifiche solo alla configurazione del bundle garantisce che i file di origine del bundle acquisiscano sempre la configurazione del processo corrente.

Tuttavia, se è necessario apportare modifiche immediate a un processo, è possibile disconnettere il processo dalla configurazione del bundle per abilitare la modifica delle impostazioni del processo nell'interfaccia utente. Per disconnettere il lavoro, fare clic su Disconnetti dalla sorgente. Nella finestra di dialogo Disconnetti dall'origine fare clic su Disconnetti per confermare.

Le modifiche apportate all'attività nell'interfaccia utente non vengono applicate alla configurazione del bundle. Per applicare le modifiche apportate nell'interfaccia utente al bundle, è necessario aggiornare manualmente la configurazione del bundle. Per riconnettere il processo alla configurazione del bundle, ridistribuire il processo usando il bundle.

Esportare i risultati di esecuzione del lavoro

È possibile esportare i risultati di esecuzione del notebook e i log di esecuzione dei lavori per tutti i tipi di lavoro.

Esportare i risultati di esecuzione del notebook

È possibile rendere persistenti le esecuzioni dei lavori esportandone i risultati. Per le esecuzioni dei lavori notebook, è possibile esportare un notebook reso che può essere successivamente importato nell'area di lavoro di Azure Databricks.

Per esportare i risultati di esecuzione del notebook per un lavoro con una singola attività:

1. Nella pagina dei dettagli del lavoro cliccare sul collegamento Visualizza dettagli per l'esecuzione nella colonna Esegui della tabella Esecuzioni completate (ultimi 60 giorni).
2. Cliccare su Esporta in HTML.

Per esportare i risultati di esecuzione del notebook per un lavoro con più task:

1. Nella pagina dei dettagli del lavoro cliccare sul collegamento Visualizza dettagli per l'esecuzione nella colonna Esegui della tabella Esecuzioni completate (ultimi 60 giorni).
2. Fare clic sulla task del notebook da esportare.
3. Cliccare su Esporta in HTML.

Esportare i log di esecuzione del lavoro

È anche possibile esportare i log relativi all'esecuzione del lavoro. È possibile configurare le attività per recapitare automaticamente i log a DBFS mentre si configura il calcolo delle attività (vedere riferimento alla configurazione di calcolo) o tramite l'API delle attività. Vedere l'oggetto new_cluster.cluster_log_conf nel corpo della richiesta passato all'operazione Crea un nuovo job (POST /jobs/create) nell'API Jobs.