Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Apache Spark™ Declarative Pipelines è un framework dichiarativo per la compilazione di pipeline di dati batch e di streaming in SQL e Python. Le pipeline di Lakeflow estendono e sono interoperabili con Spark Declarative Pipelines e vengono eseguite su Databricks Runtime, ottimizzato per le prestazioni. I casi d'uso comuni per le pipeline includono l'inserimento di dati da origini come l'archiviazione cloud (ad esempio Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e i bus di messaggio (ad esempio Apache Kafka, Amazon Pubs, Google Pub/Sub, Azure EventHub e Apache Pulsar) e trasformazioni incrementali di batch e streaming.
Annotazioni
Le pipeline di Lakeflow richiedono il piano Premium. Per ulteriori informazioni, contattare il team dell'account Databricks.
Questa sezione fornisce informazioni dettagliate sull'uso delle pipeline. Gli argomenti seguenti consentono di iniziare.
| Argomento | Description |
|---|---|
| Concetti relativi alla pipeline | Scopri i concetti di alto livello delle pipeline, inclusi flussi, tabelle in streaming e viste materializzate. |
| Tutorial | Seguire i tutorial per ottenere un'esperienza pratica nell'uso delle pipeline. |
| Sviluppare pipeline | Informazioni su come sviluppare e testare pipeline che creano flussi per l'inserimento e la trasformazione dei dati. |
| Configurare le pipeline | Informazioni su come pianificare e configurare le pipeline. |
| Monitorare le pipeline | Informazioni su come monitorare le pipeline e risolvere i problemi relativi alle query della pipeline. |
| Gli sviluppatori | Informazioni su come usare Python e SQL durante lo sviluppo di pipeline. |
| Pipeline autonome | Informazioni sulla creazione di tabelle di streaming autonome e viste materializzate in Databricks SQL o Python. |
| Procedure consigliate | Informazioni sui modelli consigliati per la creazione di pipeline affidabili, efficienti e gestibili. |