Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Azure Synapse Link offre diversi modi per scrivere e leggere i dati in base a diversi scenari analitici. A seconda dello scenario analitico, puoi scegliere una configurazione specifica tra le opzioni seguenti.
| Scenario | Si applica a | Opzioni di configurazione disponibili |
|---|---|---|
| Report operativo | Tabelle di Microsoft Dataverse, tabelle di finanza e operazioni e entità. | Synapse Analytics con l'opzione Delta Lake offre tempi di risposta alle query migliori, particolarmente utile per l'esecuzione di query su grandi quantità di dati. Altre informazioni: Synapse Link con l'opzione Delta Lake |
| Report operativo | Solo tabelle di Dataverse. | Collegamento a Synapse con l'opzione di configurazione "Aggiornamento sul posto" fornisce file CSV nel data lake aggiornati quasi in tempo reale. Questa è un'opzione legacy disponibile per le tabelle di Dataverse. Questa opzione non è supportata per le tabelle dalle app finance and operations. |
| Integrazione dati | Tabelle Dataverse e tabelle ed entità per la finanza e le operazioni. | L'opzione "Solo aggiunta fornisce file CSV contenenti dati incrementali. È possibile creare pipeline che utilizzano dati incrementali e popolano i sistemi downstream La funzionalità Partizione dati specificata dall'utente consente di scegliere una strategia di partizionamento dei dati personalizzata specificatamente per le tabelle Dataverse. I dati delle tabelle per la finanza e le operazioni vengono partizionati dal sistema in base alla strategia di partizione appropriata. Questa opzione non è disponibile per le app finanziarie e operative. |
Note
In precedenza Collegamento ad Azure Synapse per Dataverse era denominato esporta in Data Lake. Microsoft ha rinominato il servizio nel maggio 2021. Il servizio continua a esportare i dati in Azure Data Lake Storage e in Azure Synapse Analytics. A partire da settembre 2023, Azure Synapse Link consente anche di scegliere i dati da Dynamics 365 applicazioni finanziarie e operative. Non tutti i modelli di integrazione sono supportati con le app per la finanza e le operazioni. Per indicazioni sulla transizione dalla funzionalità Esporta in Data Lake nelle app per la finanza e le operazioni a Collegamento a Synapse, consulta la Guida alla transizione.
Questo articolo illustra le impostazioni di configurazione avanzate disponibili per le tabelle Dataverse. Queste opzioni non sono disponili per le app per la finanza e le operazioni.
- Aggiornamenti sul posto e scritture solo in aggiunta.
- Partizionamento dei dati specificato dall'utente.
Aggiornamenti sul posto e scritture solo in aggiunta
Durante la scrittura di dati della tabella Dataverse nel data lake Azure, in base al valore createdOn, ovvero la data e l'ora di creazione del record, sono disponibili due impostazioni diverse tra cui scegliere. Sono, Aggiornamento sul posto e Aggiungi solo.
L'impostazione predefinita (per le tabelle in cui createdOn è disponibile) è quello di eseguire un aggiornamento sul posto o un upsert (aggiornamento o inserimento) dei dati incrementali nella destinazione. Se la modifica è nuova e nel lake non esiste una riga corrispondente, nel caso di una creazione, i file di destinazione vengono scansionati e le modifiche vengono inserite nella partizione del file corrispondente nel lake. Se la modifica è un aggiornamento ed esiste una riga nel lake, il file corrispondente nel lake viene aggiornato, anziché inserito, con i dati incrementali. In altre parole, l'impostazione predefinita per tutte le modifiche CUD (create, update, delete) nelle tabelle di Dataverse, in cui è disponibile createdOn, consiste nell'eseguire un aggiornamento sul posto nella destinazione, in Azure data lake.
Puoi cambiare il comportamento predefinito di un aggiornamento sul posto utilizzando un'impostazione facoltativa chiamata Aggiungi solo. Piuttosto che un Aggiornamento sul posto, nella modalità Aggiungi solo, i dati incrementali delle tabelle Dataverse vengono aggiunti alla partizione di file corrispondente nel lake. Questa è un'impostazione per tabella ed è disponibile come casella di controllo sotto Avanzate>Mostra impostazioni di configurazione avanzate. Per le tabelle Dataverse con Aggiungi solo attivato, tutte le modifiche CUD vengono aggiunte in modo incrementale ai file di destinazione corrispondenti nel lake. Quando si sceglie questa opzione, la strategia di partizione è impostata su Anno e quando i dati vengono scritti nel data lake, vengono partizionati su base annuale.
Solo aggiunta è l'impostazione predefinita per le tabelle Dataverse che non hanno un valore createdOn.
Questa tabella descrive come vengono gestite le righe nel lake rispetto agli eventi CUD per ciascuna delle opzioni di scrittura dei dati.
| Evento | Aggiornamento in loco | Solo aggiunta |
|---|---|---|
| Create | La riga viene inserita nel file di partizione ed è basata sul valore createdOn della riga. |
La riga viene aggiunta alla fine del file di partizione e si basa su valore createdOn del record. |
| Aggiornamento | Se la riga esiste nel file di partizione, viene sostituita o aggiornata con i dati aggiornati. Se non esiste, viene inserita nel file. | La riga, insieme alla versione aggiornata, viene aggiunta alla fine del file di partizione. |
| Delete | Se la riga esiste nel file di partizione, viene rimossa dal file. | La riga viene aggiunta alla fine del file di partizione con IsDelete column = True. |
Note
Per le tabelle Dataverse dove Aggiungi solo è abilitato, l'eliminazione di una riga nell'origine non elimina o rimuove la riga nel lake. La riga eliminata viene invece aggiunta come nuova riga nel lake e la colonna isDeleted è impostata su True.
La lettura errata (ALLOW_INCONSISTENT_READS) per serverless è abilitata per la modalità di sola aggiunta.
ALLOW_INCONSISTENT_READS significa che l'utente è in grado di leggere i file soggetti a modifiche costanti mentre la query SELECT è in esecuzione. I risultati sono coerenti ed equivalenti alla lettura di uno snapshot del file. Non è equivalente all'isolamento dello snapshot del database a causa del diverso momento di generazione dello snapshot.
Non tutte le modifiche CUD vengono acquisite solo nell'aggiunta: il collegamento a Synapse elabora le modifiche apportate ai dati in gruppi o "batch" prima di pubblicarli nel data lake. Di conseguenza, se l'utente apporta modifiche entro un breve intervallo di tempo, non tutte le modifiche CUD vengono acquisite nel data lake.
Ecco alcuni dettagli in più su quando utilizzare una delle opzioni.
Aggiornamento sul posto (legacy): questa opzione è l'impostazione predefinita e consigliata solo se si vuole connettersi direttamente al data lake ed è necessario lo stato corrente (non la cronologia o le modifiche incrementali). Il file contiene il set di dati completo e può essere usato tramite Power BI o copiando l'intero set di dati per le pipeline ETL (Extract, Transfer, Load).
Importante
L'aggiornamento sul posto è una modalità legacy e non è scalabile correttamente con volumi di dati elevati o quando le modifiche sono frequenti. Se la tua tabella presenta una grande quantità di dati o una frequenza elevata di creazioni, aggiornamenti o eliminazioni, utilizza Solo accodamento per assicurare un'esportazione dei dati affidabile ed efficiente.
Aggiungi solo: Seleziona questa opzione se non ti connetti direttamente ai dati nel lake e vuoi copiare in modo incrementale i dati su un'altra destinazione utilizzando le pipeline ETL. Questa opzione fornisce una cronologia delle modifiche per abilitare gli scenari IA e ML. Questa è l'opzione consigliata per le tabelle con volumi di dati di grandi dimensioni o modifiche frequenti ai dati.
È possibile attivare o disattivare il Visualizza le impostazioni di configurazione avanzate in Advanced in Azure Synapse Link per Dataverse per personalizzare la strategia di partizione dei dati e selezionare le opzioni per scrivere nel data lake Azure.
Partizionamento dei dati
Quando si scrivono dati di tabella di Dataverse in Azure Data Lake Storage usando Azure Synapse Link, le tabelle vengono partizionate nel lago in base al valore createdOn di ogni riga nell'origine. La strategia di partizione predefinita è per mese, quindi i dati vengono partizionati in Azure Data Lake su base mensile.
In base alla distribuzione dei dati e del volume della tabella Dataverse puoi scegliere di partizionare i dati per anno. Con questa opzione, quando i dati delle tabelle di Dataverse vengono scritti nel data lake di Azure, vengono partizionati su base annuale in base al createdOn valore di ogni riga nell'origine. Per le tabelle senza colonna createdOn le righe di dati vengono partizionate in un nuovo file ogni 5.000.000 di record. Questa è un'impostazione per tabella ed è disponibile come casella di controllo sotto Avanzate>Mostra impostazioni di configurazione avanzate.
Ecco alcuni esempi di come gestire i dati nel lake con una strategia di partizione annuale o mensile.
