Informazioni di riferimento sulle proprietà della pipeline

Informazioni di riferimento sulle impostazioni di configurazione JSON della pipeline e sulle proprietà della tabella. Per altre informazioni sull'uso di queste proprietà e configurazioni, vedere gli articoli seguenti:

• Configurare le pipeline
• Pipelines REST API

Configurazione delle pipeline di Lakeflow e pipeline dichiarative di Apache Spark™

Le pipeline di Lakeflow sono basate su pipeline dichiarative di Apache Spark™ (SDP). La configurazione della pipeline è in gran parte un superset della specifica del progetto SDP. Vengono annotate differenze nell'utilizzo delle proprietà tra le pipeline SDP e Lakeflow. Per un confronto delle funzionalità che le pipeline di Lakeflow e la condivisione SDP, vedere Pipeline dichiarative di Apache Spark.

Configurazioni della pipeline

• id

  Tipo: string

  Identificatore univoco globale per questa pipeline. L'identificatore viene assegnato dal sistema e non può essere modificato.

  Solo pipeline di Lakeflow. SDP non assegna un identificatore di pipeline

• name

  Tipo: string

  Nome facile da usare per questa pipeline. Il nome può essere usato per identificare i processi della pipeline nell'interfaccia utente.

  Disponibile in SDP come campo obbligatorio name

• configuration

  Tipo: object

  Elenco facoltativo di impostazioni da aggiungere alla configurazione Spark del cluster che esegue la pipeline. Queste impostazioni vengono lette dal runtime della pipeline e disponibili per le query della pipeline tramite la configurazione di Spark.

  Gli elementi devono essere formattati come coppie di key:value.

  Disponibile in SDP come configuration

• parameters

  Tipo: object

  Importante

  Questa funzionalità è in versione beta. Gli amministratori dell'area di lavoro possono controllare l'accesso a questa funzionalità dalla pagina Anteprime . Vedere Gestire le anteprime di Azure Databricks.

  Una mappa facoltativa di coppie chiave-valore a cui il codice sorgente della pipeline può fare riferimento usando la sintassi dei parametri denominati , ad esempio :source_catalog. Usare i parametri per riutilizzare lo stesso codice sorgente della pipeline in ambienti o set di dati senza modificare l'origine.

  Le chiavi possono contenere caratteri alfanumerici, caratteri di sottolineatura (_), trattini (-) e punti (.). I valori sono sempre stringhe.

  È possibile eseguire l'override di queste impostazioni predefinite quando si avvia un aggiornamento, in un'attività della pipeline in un processo o con parametri di processo di cui è stato eseguito il push. È possibile fare riferimento ai parametri della pipeline solo dal codice sorgente SQL. Consulta Usare i parametri con le pipeline.

  Solo pipeline di Lakeflow

• libraries

  Tipo: array of objects

  Matrice di file di codice contenenti il codice della pipeline e gli artefatti necessari.

  Disponibile in SDP come libraries, specificato come elenco di modelli GLOB di file di origine anziché una matrice di oggetti file di codice

• clusters

  Tipo: array of objects

  Matrice di specifiche per i cluster per l'esecuzione della pipeline.

  Se non viene specificato, le pipeline selezionano automaticamente una configurazione cluster predefinita per la pipeline.

  Solo pipeline di Lakeflow. SDP non gestisce il calcolo

• development

  Tipo: boolean

  Flag che indica se eseguire la pipeline in modalità development o production.

  Il valore predefinito è false.

  Solo pipeline di Lakeflow

• notifications

  Tipo: array of objects

  Una matrice facoltativa di specifiche per le notifiche tramite posta elettronica al termine di un aggiornamento della pipeline, ha esito negativo con un errore riprovabile, ha esito negativo con un errore non ritentabile o un flusso non riesce.

  Solo pipeline di Lakeflow

• continuous

  Tipo: boolean

  Indicatore che indica se eseguire la pipeline in modo continuo.

  Il valore predefinito è false.

  Solo pipeline di Lakeflow

• catalog

  Tipo: string

  Nome del catalogo predefinito per la pipeline, in cui vengono pubblicati tutti i set di dati e i metadati per la pipeline. L'impostazione di questo valore abilita Unity Catalog per la pipeline.

  Se non è stato impostato, la pipeline pubblica nel metastore Hive legacy usando il percorso specificato in storage.

  In modalità di pubblicazione legacy specifica il catalogo contenente lo schema di destinazione in cui vengono pubblicati tutti i set di dati della pipeline corrente. Visualizza lo schema IN DIRETTA (legacy) .

  Disponibile in SDP come catalog

• schema

  Tipo: string

  Nome dello schema predefinito per la pipeline, in cui tutti i set di dati e i metadati per la pipeline vengono pubblicati per impostazione predefinita. Vedere Impostare il catalogo e lo schema di destinazione.

  Disponibile in SDP come database, che accetta anche l'alias schema

• target (eredità)

  Tipo: string

  Nome dello schema di destinazione in cui vengono pubblicati tutti i set di dati definiti nella pipeline corrente.

  L'impostazione di target anziché schema configura la pipeline per l'uso della modalità di pubblicazione legacy. Visualizza lo schema IN DIRETTA (legacy) .

  Solo pipeline di Lakeflow

• storage (eredità)

  Tipo: string

  Posizione su DBFS o nell'archiviazione cloud dove vengono memorizzati i dati di output e i metadati necessari per l'esecuzione della pipeline. Le tabelle e i metadati sono archiviati nelle sottodirectory di questa posizione.

  Quando l'impostazione storage non viene specificata, per impostazione predefinita il sistema viene impostato su un percorso in dbfs:/pipelines/.

  L'impostazione storage non può essere modificata dopo la creazione di una pipeline.

  Disponibile in SDP come campo obbligatorio storage . Nelle pipeline storage di Lakeflow è un'impostazione legacy

• channel

  Tipo: string

  Versione del runtime della pipeline da usare. I valori supportati sono:

  • preview per testare la tua pipeline con le modifiche imminenti alla versione del runtime.
  • current per usare la versione di runtime corrente.

  Il campo channel è facoltativo. Il valore predefinito è current. Databricks consiglia di usare la versione di runtime corrente per i carichi di lavoro di produzione.

  Solo pipeline di Lakeflow

• edition

  Tipo string

  Edizione del prodotto per eseguire la pipeline. Questa impostazione consente di scegliere l'edizione del prodotto migliore in base ai requisiti della pipeline:

  • CORE per eseguire flussi di dati in streaming.
  • PRO per eseguire carichi di lavoro di streaming per l'ingestione e il change data capture (CDC).
  • ADVANCED per eseguire carichi di lavoro di inserimento in streaming, carichi di lavoro CDC e carichi di lavoro che richiedono aspettative per applicare vincoli di qualità dei dati.

  Il campo edition è facoltativo. Il valore predefinito è ADVANCED.

  Solo pipeline di Lakeflow

• photon

  Tipo: boolean

  Un flag che indica se utilizzare What is Photon? per eseguire la pipeline. Photon è il motore Spark ad alte prestazioni di Azure Databricks. Le pipeline abilitate per photon vengono fatturate a una tariffa diversa rispetto alle pipeline non Foton.

  Il campo photon è facoltativo. Il valore predefinito è false.

  Solo pipeline di Lakeflow

• serverless

  Tipo: boolean

  Flag che indica se la pipeline usa l'ambiente di calcolo serverless. Consulta Configurare una pipeline serverless.

  Solo pipeline di Lakeflow

• event_log

  Tipo: object

  Configurazione per la destinazione del registro eventi della pipeline, come oggetto con namei campi , cataloge schema che pubblicano il registro eventi in una tabella del catalogo Unity. Vedere Registro eventi della pipeline.

  Solo pipeline di Lakeflow

• tags

  Tipo: object

  Mappa facoltativa dei tag definiti dall'utente per la pipeline. È possibile aggiungere un massimo di 25 tag.

  Solo pipeline di Lakeflow

• budget_policy_id

  Tipo: string

  ID dei criteri di budget serverless da applicare a questa pipeline, usato per attribuire l'utilizzo serverless per il rilevamento dei costi. Questo campo viene visualizzato nella configurazione JSON o YAML solo quando si imposta in modo esplicito un criterio. Se non è impostato, Azure Databricks risolve automaticamente un criterio predefinito. I criteri risolti vengono visualizzati nell'interfaccia utente delle impostazioni della pipeline, ma non vengono scritti nella configurazione JSON o YAML.

  Solo pipeline di Lakeflow

• root_path

  Tipo: string

  Percorso radice per la pipeline. Se impostata, questa directory viene aggiunta a sys.path quando si esegue Python file di origine, in modo che i moduli possano essere importati in relazione.

  Solo pipeline di Lakeflow

• environment

  Tipo: object

  Specifica dell'ambiente usata per installare Python dipendenze per la pipeline.

  Solo pipeline di Lakeflow

• pipelines.maxFlowRetryAttempts

  Tipo: int

  Se si verifica un errore riprovabile durante un aggiornamento della pipeline, si tratta del numero massimo di tentativi di ripetizione di un flusso prima di non riuscire l'aggiornamento della pipeline.

  Usare questa opzione per associare i tentativi in un singolo flusso soggetto a errori riprovabili in modo che non possa bloccarsi un intero aggiornamento.

  Impostazione predefinita: due tentativi di ripetizione. Quando si verifica un errore riprovabile, il runtime della pipeline tenta di eseguire il flusso tre volte, incluso il tentativo originale.

  Solo pipeline di Lakeflow

• pipelines.numUpdateRetryAttempts

  Tipo: int

  Se si verifica un errore riprovabile durante un aggiornamento, si tratta del numero massimo di tentativi di ripetizione dell'aggiornamento prima di non riuscire definitivamente l'aggiornamento. Il nuovo tentativo viene eseguito come aggiornamento completo.

  Usare questa opzione per associare i tentativi per un intero aggiornamento, quindi un aggiornamento bloccato non riesce in modo permanente anziché riprovare a tempo indeterminato.

  Questo parametro si applica solo alle pipeline che usano il comportamento automatico di ripetizione e riavvio. I tentativi non vengono tentati per gli aggiornamenti ad hoc eseguiti dall'editor o quando si esegue un Validate aggiornamento.

  Impostazione predefinita:

  • Cinque per le pipeline attivate.
  • Illimitato per le pipeline continue.

  Solo pipeline di Lakeflow

Proprietà della tabella della pipeline

Oltre alle proprietà della tabella supportate da Delta Lake, è possibile impostare le proprietà della tabella seguenti.

• pipelines.autoOptimize.zOrderCols

  Impostazione predefinita: Nessuno

  Stringa facoltativa contenente un elenco di nomi di colonna separati da virgole per ordinare questa tabella in base all'ordine z. Ad esempio, pipelines.autoOptimize.zOrderCols = "year,month"

  Databricks consiglia il clustering liquido anziché l'ordinamento Z per ottimizzare il layout dei dati nelle tabelle della pipeline. Per consentire a Databricks di selezionare e gestire automaticamente le colonne di clustering, usare CLUSTER BY AUTO (cluster_by_auto=True in Python). Vedere Usare clustering liquido per le tabelle.

  Solo pipeline di Lakeflow

• pipelines.reset.allowed

  Impostazione predefinita: true

  Controlla se per questa tabella è consentito un aggiornamento completo.

  Disponibile in SDP come pipelines.reset.allowed

• pipelines.autoOptimize.managed

  Impostazione predefinita: true

  Abilita o disabilita l'ottimizzazione programmata automaticamente di questa tabella.

  Per le pipeline gestite dall'ottimizzazione predittiva, questa proprietà non viene usata.

  Solo pipeline di Lakeflow

intervallo di trigger delle pipeline

È possibile specificare un intervallo di trigger della pipeline per l'intera pipeline o come parte di una dichiarazione del set di dati. Fare riferimento a Impostare l'intervallo di trigger per le pipeline continue.

• pipelines.trigger.interval

  Il valore predefinito è basato sul tipo di flusso:

  • Cinque secondi per le query di streaming.
  • Un minuto per le query complete quando tutti i dati di input provengono da origini Delta.
  • Dieci minuti per le query complete quando alcune origini dati potrebbero non essere Delta.

  Il valore è un numero più l'unità temporale. Di seguito sono riportate le unità di tempo valide:

  • second, seconds
  • minute, minutes
  • hour, hours
  • day, days

  È possibile usare l'unità singolare o plurale quando si definisce il valore, ad esempio:

  • {"pipelines.trigger.interval" : "1 hour"}
  • {"pipelines.trigger.interval" : "10 seconds"}
  • {"pipelines.trigger.interval" : "30 second"}
  • {"pipelines.trigger.interval" : "1 minute"}
  • {"pipelines.trigger.interval" : "10 minutes"}
  • {"pipelines.trigger.interval" : "10 minute"}

  Solo pipeline di Lakeflow

Attributi del cluster che non sono impostabili dall'utente

Poiché le pipeline gestiscono i cicli di vita del cluster, molte impostazioni del cluster vengono impostate dal sistema e non possono essere configurate manualmente dagli utenti, in una configurazione della pipeline o in criteri del cluster usati da una pipeline. Nella tabella seguente sono elencate queste impostazioni e il motivo per cui non possono essere impostate manualmente.

Solo pipeline di Lakeflow. SDP non gestisce il calcolo, quindi questi attributi del cluster non si applicano

• cluster_name

  SDP imposta i nomi dei cluster usati per eseguire gli aggiornamenti della pipeline. Questi nomi non possono essere modificati.

• data_security_mode

  access_mode

  Questi valori vengono impostati automaticamente dal sistema.

• spark_version

  I cluster SDP vengono eseguiti in una versione personalizzata di Databricks Runtime che viene continuamente aggiornata per includere le funzionalità più recenti. La versione di Spark è in bundle con la versione di Databricks Runtime e non può essere sottoposta a override.

• autotermination_minutes

  Poiché SDP gestisce la terminazione automatica e la logica di riutilizzo del cluster, non è possibile eseguire l'override del tempo di terminazione automatica del cluster.

• runtime_engine

  Anche se è possibile controllare questo campo abilitando Photon per la pipeline, non è possibile impostare direttamente questo valore.

• effective_spark_version

  Questo valore viene impostato automaticamente dal sistema.

• cluster_source

  Questo campo viene impostato dal sistema ed è di sola lettura.

• docker_image

  Poiché SDP gestisce il ciclo di vita del cluster, non è possibile usare un contenitore personalizzato con cluster di pipeline.

• workload_type

  Questo valore viene impostato dal sistema e non può essere sottoposto a override.

Opzioni di origine e query

Alcuni comportamenti di inserimento ed elaborazione dei dati vengono configurati nell'origine dati o nella query anziché come proprietà della pipeline. Questi includono l'evoluzione dello schema, gli hint dello schema e l'inferenza, i limiti di frequenza di inserimento e il filtro dei file. Per configurarle, usare le opzioni per read_files e Caricatore automatico. Per l'evoluzione dello schema con from_json, vedere Inferre ed evolvere lo schema usando from_json nelle pipeline.