Aggiornamenti automatici

Databricks aggiorna automaticamente le tabelle gestite di Unity Catalog per usare le funzionalità consigliate disponibili a livello generale, senza richiedere modifiche al codice o istruzioni manuali ALTER TABLE . Gli aggiornamenti automatici verificano che i client siano compatibili prima di attivare nuove funzionalità.

Gli aggiornamenti automatici offrono i vantaggi seguenti:

• Ridurre l'impegno amministrativo necessario per convalidare i singoli requisiti di compatibilità per ogni combinazione di tabelle e funzionalità nelle aree di lavoro. Ciò è particolarmente utile se sono presenti cataloghi con migliaia di tabelle.
• Ottenere automaticamente i miglioramenti più recenti delle prestazioni e dell'affidabilità nelle tabelle gestite.
• Aggiornare le tabelle in modo sicuro. Gli aggiornamenti automatici attivano le funzionalità solo dopo aver verificato la compatibilità del carico di lavoro.

Per altri dettagli sui vantaggi associati a queste funzionalità, vedere Aggiornamenti automatici: funzionalità consigliate per le tabelle lakehouse.

Funzionamento degli aggiornamenti automatici

Gli aggiornamenti automatici monitorano i modelli di accesso alle tabelle gestite di Unity Catalog e usano una finestra di osservazione per verificare che i modelli di accesso siano compatibili prima di attivare qualsiasi funzionalità. La finestra di osservazione è di 50 giorni per gli aggiornamenti nell'anteprima pubblica e di 100 giorni per gli aggiornamenti disponibili a livello generale. Vedere Funzionalità supportate.

Gli aggiornamenti automatici usano il calcolo serverless per aggiornare le tabelle in background. Non è previsto alcun addebito per questo processo.

Schemi e tabelle

Il comportamento degli aggiornamenti automatici dipende dal fatto che uno schema sia nuovo o già esistente al rilascio della funzionalità. Quando si crea una nuova tabella, eredita le funzionalità dalle proprietà predefinite dello schema. La tabella seguente descrive ogni caso:

Carichi di lavoro verificati

Un carico di lavoro viene considerato verificato per una funzionalità specifica se ha eseguito l'accesso alla tabella da un cluster Databricks con una versione di Databricks Runtime in corrispondenza o superiore alla versione minima richiesta della funzionalità.

Gli aggiornamenti automatici considerano i carichi di lavoro seguenti non verificati:

• Client esterni e servizi di terze parti, ad esempio Flink o Presto. Vedere Integrazioni del catalogo Unity.
• Azure Databricks servizi con accesso diretto alle tabelle, ad esempio Zerobus, che ignorano i modelli di accesso standard di Databricks Runtime. Consulta Panoramica del connettore di Ingest Zerobus.

Se una tabella in uno schema è stata accessibile all'interno della finestra di osservazione da una versione di Databricks Runtime al di sotto della versione minima richiesta della funzionalità o da un client esterno, gli aggiornamenti automatici non attivano la funzionalità corrispondente in qualsiasi tabella in tale schema.

Funzionalità supportate

Gli aggiornamenti automatici si applicano a un subset di funzionalità disponibili a livello generale, descritte nelle tabelle seguenti. La disponibilità delle funzionalità può variare in base all'area.

Funzionalità con aggiornamenti disponibili a livello generale

Le funzionalità seguenti sono disponibili a livello generale e gli aggiornamenti automatici li applicano ai tipi di tabella specificati. Il sistema di aggiornamento automatico è disponibile anche a livello generale.

Ogni funzionalità viene implementata gradualmente, a partire dalla data di rilascio e raggiungendo tutti i clienti entro circa sei mesi.

Funzionalità con aggiornamenti in anteprima pubblica

Le funzionalità seguenti sono disponibili a livello generale, ma gli aggiornamenti automatici sono in anteprima pubblica e richiedono la registrazione.

Gli aggiornamenti automatici si applicano a queste funzionalità solo se si è registrati nell'anteprima pubblica e vengono applicati immediatamente dopo la registrazione:

Requirements

• L'ambiente di calcolo serverless deve essere disponibile nell'area.
• Le tabelle devono essere tabelle gestite dal catalogo Unity in formati Delta Lake o Apache Iceberg.

Osservare le funzionalità abilitate

Per verificare se gli aggiornamenti automatici sono attivati su una funzionalità di una tabella, cercare un'operazione SET TBLPROPERTIES nella scheda Cronologia in Esplora cataloghi o usare DESCRIBE HISTORY <table_name>. Se gli aggiornamenti automatici hanno eseguito l'operazione, il campo nome utente mostra un valore hash anziché un nome utente, ad esempio 4d137f29-62. Vedere Che cos'è Esplora cataloghi? e Visualizza cronologia tabelle.

Dopo l'aggiornamento automatico, attivare le funzionalità nelle tabelle in un nuovo schema, visualizzare le impostazioni predefinite dello schema nella scheda Proprietà in Esplora cataloghi. Ad esempio, uno schema con rilevamento delle righe attivato mostra una proprietà, catalog.schema.enableRowTracking: "true"ad esempio . Gli schemi esistenti non hanno proprietà di osservabilità degli aggiornamenti automatici.

Per la visibilità dell’intero account, eseguire una query sulla tabella di sistema degli aggiornamenti automatici. Questa tabella registra ogni funzionalità che gli aggiornamenti automatici aggiungono a una tabella, quando è stata aggiunta e quale tabella è stata interessata, in modo da poter controllare l'attività di aggiornamento in tutte le aree di lavoro. Consulta il riferimento alla tabella di sistema degli aggiornamenti automatici.

Gestire le funzionalità consigliate

Gli amministratori possono ripristinare le modifiche da un aggiornamento o disattivare le funzionalità nelle singole tabelle.

Annulla le modifiche

Usare RESTORE per ripristinare i dati e i metadati di una tabella a una versione prima dell'attivazione della funzionalità:

RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;

Per altre informazioni sulla cronologia e sul ripristino delle tabelle, vedere Ripristinare una tabella in uno stato precedente .

Disattivare le funzionalità per le tabelle

Per disattivare una funzionalità in una singola tabella:

ALTER TABLE <table_name> DROP FEATURE <feature_name>

Gli aggiornamenti automatici non attivano di nuovo una funzionalità dopo averlo disattivato manualmente.

Limitations

• Le tabelle condivise da Delta Lake Sharing, sia da Databricks a Open che da Databricks a Databricks, vengono escluse dagli aggiornamenti automatici. Vedere Che cos'è OpenSharing?.
• Gli aggiornamenti automatici non hanno un meccanismo di rollback batch per disattivare una funzionalità in tutte le tabelle di un account. Vedere Gestire le funzionalità consigliate per gli aggiornamenti automatici.
• Le viste materializzate e le tabelle di streaming non sono supportate.
• I carichi di lavoro che ignorano Il catalogo unity e accedono direttamente alle tabelle in base al percorso non vengono rilevati dagli aggiornamenti automatici. Se i carichi di lavoro usano l'accesso basato sul percorso, contattare il team dell'account per discutere la compatibilità.
• Le tabelle esterne vengono escluse dagli aggiornamenti automatici. Le tabelle esterne sono in genere accessibili dal percorso del file, ignorando il catalogo Unity e Unity Catalog non è in grado di tenere traccia in modo affidabile di questi modelli di accesso. Consultare Lavorare con tabelle esterne.

Domande frequenti

Di seguito sono riportate le risposte alle domande comuni sugli aggiornamenti automatici.

Che cosa sono gli aggiornamenti automatici per le tabelle gestite di Unity Catalog?

Vedere l'introduzione nella parte superiore di questa pagina.

In che modo gli aggiornamenti automatici controllano la compatibilità?

Vedere Carichi di lavoro verificati.

Gli aggiornamenti automatici modificano automaticamente le tabelle?

Yes. Dopo che una funzionalità è stata verificata come sicura per una tabella, Databricks la applica tramite un processo in background leggero. È comunque possibile disattivare le funzionalità nelle singole tabelle.

Se si disattiva una funzionalità in una tabella, gli aggiornamenti automatici possono riattivarlo in un secondo momento?

No Dopo aver disattivato una funzionalità aggiunta agli aggiornamenti automatici, gli aggiornamenti automatici non attivano di nuovo tale funzionalità per tale tabella.

Gli aggiornamenti automatici modificano le tabelle esistenti?

Sì, ma solo dopo la finestra di osservazione conferma che ogni client che ha eseguito l'accesso alla tabella supporta la funzionalità. Il clustering liquido automatico è l'eccezione: si applica solo alle tabelle appena create, mai a quelle esistenti, perché in questo modo si modifica il layout dei dati esistente.

In che modo gli aggiornamenti automatici sono diversi dall'ottimizzazione predittiva?

L'ottimizzazione predittiva mantiene il layout dei dati tramite operazioni quali compattazione e vuoto, con l'opzione di usare il clustering liquido automatico. Gli aggiornamenti automatici attivano nuove funzionalità della tabella, ad esempio il rilevamento delle righe o il checkpoint V2. I due sono complementari: uno mantiene le tabelle ben gestite e l'altra li mantiene aggiornati. Il clustering liquido automatico viene applicato alle nuove tabelle attraverso aggiornamenti automatici. Consulta Ottimizzazione predittiva per le tabelle gestite di Unity Catalog.

In che modo gli aggiornamenti automatici verificano che una tabella sia sicura per l'aggiornamento?

Gli aggiornamenti automatici attivano solo le funzionalità disponibili a livello generale che non riducono materialmente le prestazioni o aumentano i costi. Gli aggiornamenti automatici aspettano che trascorra il periodo di osservazione, richiedono che ogni client che vi accede sia compatibile, saltano le tabelle che non riescono a verificare completamente e consentono di disattivare qualsiasi funzionalità su una tabella in qualsiasi momento.

Se la mia tabella è cambiata, come faccio a capire se è stato a causa di aggiornamenti automatici?

Ogni modifica apportata dagli aggiornamenti automatici viene visualizzata nell'output della DESCRIBE HISTORY tabella e nella scheda Cronologia in Esplora cataloghi, contrassegnata in modo distinto dalle proprie modifiche. Per la visibilità a livello di account, eseguire una query system.storage.table_auto_upgrade_operations_history per verificare quando una funzionalità è stata aggiunta a qualsiasi tabella. Vedere Visualizzare la cronologia delle tabelle.

Gli aggiornamenti automatici comprometteranno una tabella letta dai miei strumenti esterni o open source?

No Le tabelle a cui si accede da client esterni o open source non rientrano nell'ambito. Gli aggiornamenti automatici agiscono solo quando possono verificare che ogni client che accede a una tabella supporti la funzionalità.

Quali tabelle sono idonee per gli aggiornamenti automatici?

Vedere Requisiti e limitazioni.

Quanto manca prima che le mie tabelle vengano aggiornate? Quando vengono visualizzate le modifiche?

Gli aggiornamenti automatici usano la finestra di osservazione per acquisire carichi di lavoro poco frequenti, ad esempio processi batch mensili, report trimestrali e analisi ad hoc prima di agire. Dopo la verifica della compatibilità di una tabella, la funzionalità viene applicata poco dopo tramite un processo in background. Quando una funzionalità viene implementata per la prima volta, l'implementazione viene graduale tra clienti e tabelle, quindi possono essere necessari circa sei mesi per raggiungere le tabelle con carichi di lavoro compatibili.

Cosa è necessario fare per attivare automaticamente le funzionalità di tabella in Databricks?

Non è necessaria alcuna azione. Gli aggiornamenti automatici valutano e aggiornano le tabelle idonee senza configurazione.

È possibile disattivare gli aggiornamenti automatici per l'intero account o per uno schema, un catalogo o un'area di lavoro?

Gli aggiornamenti automatici non possono essere disattivati completamente, ma è possibile disattivare qualsiasi singola funzionalità in una tabella in qualsiasi momento. Dopo aver eseguito l'operazione, gli aggiornamenti automatici non attivano nuovamente tale funzionalità per la tabella.

Gli aggiornamenti automatici costano qualcosa?

Non è previsto alcun addebito per il processo di aggiornamento automatico (le operazioni in background ALTER TABLE ).

Le funzionalità applicate tramite gli aggiornamenti automatici costano qualcosa?

In generale, le funzionalità che aumentano materialmente i costi vengono escluse dagli aggiornamenti automatici. Diverse funzionalità implementate, come i vettori di eliminazione e Parquet v2, riducono i costi di archiviazione e di elaborazione. Il rilevamento delle righe aggiunge un costo iniziale occasionale secondario in tabelle molto grandi perché assegna un identificatore univoco a ogni riga, ma consente anche di risparmiare sulle viste materializzate abilitando l'aggiornamento incrementale anziché una ricompilazione completa.

Come è possibile tenere traccia delle funzionalità che verranno implementate tramite aggiornamenti automatici in futuro?

Controllare le funzionalità supportate per vedere quali funzionalità sono disponibili in anteprima pubblica e che verranno implementate a breve a tutti i clienti. Per ricevere una notifica quando vengono fornite nuove funzionalità, configurare un feed RSS nella pagina delle note sulla versione Azure Databricks. È anche possibile controllare Cosa sta arrivando?.