Ottenere dati da Archiviazione di Azure

Questo articolo illustra come importare dati da Archiviazione di Azure (contenitori di Azure Data Lake Storage Gen2, contenitori BLOB o singoli BLOB) in una tabella di un database KQL. È possibile acquisire dati in modo continuo o con un'acquisizione una tantum. Al termine dell'inserimento, i dati sono disponibili per la query.

  • Acquisizione continua (anteprima): l'acquisizione continua configura una pipeline di acquisizione che consente a un'eventhouse di monitorare gli eventi di Archiviazione di Azure. La pipeline invia una notifica alla eventhouse di eseguire il pull delle informazioni quando si verificano eventi sottoscritti. Gli eventi sono BlobCreated e BlobRenamed.

  • Aserimento monouso: usare questo metodo per recuperare i dati da Archiviazione di Azure come operazione monouso.

    Annotazioni

Prerequisiti

Prerequisiti per l'inserimento continuo

In Azure:

  • Registrare il provider di risorse Event Grid con l'abbonamento Azure.
  • Assegnare le autorizzazioni del ruolo Lettore di dati BLOB di archiviazione all'identità dell'area di lavoro.
  • Creare un contenitore BLOB per contenere i file di dati.
    • Caricare un file di dati. La struttura del file di dati viene utilizzata per definire lo schema della tabella. Per maggiori informazioni, vedere Formati di dati supportati dall'Intelligence in tempo reale.

      Annotazioni

      È necessario caricare un file di dati:

      • Prima della configurazione per definire lo schema della tabella durante l'installazione.
      • Dopo la configurazione per attivare l'inserimento continuo, visualizzare in anteprima i dati e verificare la connessione.

      Annotazioni

      L'inserimento continuo da Archiviazione di Azure è supportato anche quando l'account di archiviazione è configurato con endpoint privati (collegamento privato). Assicurarsi che l'area di lavoro Fabric possa accedere all'account di archiviazione tramite il percorso di rete privato configurato.

Aggiungere l'assegnazione del ruolo di identità dell'area di lavoro all'account di archiviazione

  1. Dalle impostazioni dell'area di lavoro in Fabric, copia l'ID di identità dell'area di lavoro.

    Screenshot dell'impostazione dell'area di lavoro con l'ID dell'area di lavoro evidenziato.

  2. Nel portale di Azure passare all'account Archiviazione di Azure e selezionare Controllo di accesso (IAM)>Aggiungi>Aggiungi assegnazione di ruolo.

  3. Selezionare Lettore dati BLOB di archiviazione.

  4. Nella finestra di dialogo Aggiungi assegnazione di ruolo selezionare + Seleziona membri.

  5. Incollare l'ID identità dell'area di lavoro, selezionare l'applicazione e quindi Selezionare>Revisiona e assegna.

Creare un contenitore BLOB e caricare un file di dati

  1. Nell'account di archiviazione selezionare Contenitori.

  2. Selezionare + Contenitore, immettere un nome per il contenitore e selezionare Salva.

  3. Immettere il contenitore, selezionare Carica e caricare il file di dati preparato in precedenza.

    Per altre informazioni, vedere Formati supportati e compressione supportate.

  4. Dal menu di scelta rapida [...] selezionare Proprietà contenitore e copiare l'URL in input durante la configurazione.

    Screenshot dell'elenco di contenitori con il menu di scelta rapida aperto e l'opzione Proprietà contenitore evidenziata.

Selezionare Archiviazione di Azure come origine dati

Apri il flusso Get Data e seleziona Archiviazione di Azure come origine.

  1. Dalla tua area di lavoro, apri l'eventhouse e seleziona il database.

  2. Nella barra multifunzione del database KQL selezionare Recupera dati.

  3. Selezionare l'origine dati dall'elenco disponibile. In questo esempio si inseriscono dati da Archiviazione di Azure.

    Screenshot dei riquadri di recupero dati con l'opzione di archiviazione Azure evidenziata.

Configurare

  1. Selezionare una tabella di destinazione. Per inserire i dati in una nuova tabella, selezionare + Nuova tabella e immettere un nome di tabella.

    Annotazioni

    I nomi delle tabelle possono contenere fino a 1.024 caratteri, inclusi spazi, caratteri alfanumerici, trattini e caratteri di sottolineatura. I caratteri speciali non sono supportati.

  2. In Configura connessione Archiviazione BLOB di Azure verificare che l'inserimento continuo sia attivato. È attivato per impostazione predefinita.

  3. Configurare la connessione creando una nuova connessione o usando una connessione esistente.

    Per creare una nuova connessione:

    1. Selezionare Connetti a un account di archiviazione.

      Screenshot della scheda di configurazione con Inserimento continuo e connessione a un account selezionati.

    2. Usare le descrizioni seguenti per compilare i campi.

      impostazione Descrizione campo
      Abbonamento Sottoscrizione per l'account di archiviazione.
      Account di archiviazione BLOB Nome dell'account di archiviazione.
      Contenitore Contenitore di archiviazione contenente il file da inserire.
    3. Nel campo Connessione aprire l'elenco a discesa e selezionare + Nuova connessione e quindi selezionare Salva>chiudi. Le impostazioni di connessione sono precompilate.

    Annotazioni

    Quando si crea una nuova connessione, si crea anche un nuovo flusso di eventi. Il nome è definito come <storage_account_name>_eventstream. Non rimuovere il flusso di eventi di acquisizione continua dall'area di lavoro.

    Per usare una connessione esistente:

    1. Selezionare un account di archiviazione esistente.

      Screenshot della scheda di configurazione con Ingestione continua e connessione a un account esistente selezionato.

    2. Usare le descrizioni seguenti per compilare i campi.

      impostazione Descrizione campo
      RTAStorageAccount Un flusso di eventi connesso all'account di archiviazione da Fabric.
      Contenitore Contenitore di archiviazione contenente il file da inserire.
      Connessione Questo campo viene prepopolato con il stringa di connessione.
    3. Nel campo Connection aprire l'elenco a discesa e selezionare il stringa di connessione esistente dall'elenco. Selezionare quindi Salva>chiudi.

  4. Facoltativamente, espandere Filtri file e specificare i filtri seguenti:

    impostazione Descrizione campo
    Percorso della cartella Filtrare i dati per inserire file con un percorso di cartella specifico.
    Estensione del file Filtrare i dati per inserire file solo con un'estensione di file specifica.
  5. Nella sezione Impostazioni flusso di eventi selezionare gli eventi da monitorare in Impostazioni avanzate>Tipi di evento. Per impostazione predefinita, è selezionata l'opzione Blob created (BLOB creato ). È anche possibile selezionare Blob rinominato.

    Schermata delle Impostazioni avanzate con il menu a discesa Tipi di evento aperto.

  6. Selezionare Avanti per visualizzare in anteprima i dati.

Esaminare i dati di anteprima prima dell'inserimento

La scheda Ispezione si apre con un'anteprima dei dati.

Selezionare Fine per completare il processo di inserimento.

Screenshot della scheda Inspect che mostra un'anteprima dei dati inseriti prima di selezionare Fine.

Annotazioni

Per attivare l'inserimento continuo e visualizzare in anteprima i dati, caricare un nuovo BLOB dopo aver completato la configurazione.

Facoltativo:

  • Usare il menu a discesa del file di definizione dello schema per modificare il file da cui viene dedotto lo schema.

  • Usare l'elenco a discesa tipo di file per esplorare le opzioni avanzate in base al tipo di dati.

  • Usare l'elenco a discesa Table_mapping per definire una nuova mappatura.

  • Selezionare </> per aprire il visualizzatore comandi per visualizzare e copiare i comandi automatici generati dagli input. È anche possibile aprire i comandi in un set di query KQL.

  • Selezionare l'icona a forma di matita per modificare le colonne.

Modifica colonne

Annotazioni

  • Per i formati tabulari (CSV, TSV, PSV), non è possibile eseguire il mapping di una colonna due volte. Per eseguire il mapping a una colonna esistente, eliminare prima quella nuova.
  • Non è possibile modificare un tipo di colonna esistente. Se si tenta di eseguire il mapping su una colonna con un formato diverso, è possibile che appaiano colonne vuote.

Le modifiche che è possibile apportare in una tabella dipendono dai parametri seguenti:

  • Il tipo di tabella è nuovo o esistente
  • Il tipo di mapping può essere nuovo o esistente.
Tipo di tabella Tipo di mappatura Modifiche disponibili
Nuova tabella Nuova mappatura Rinominare la colonna, modificare il tipo di dati, modificare l'origine dati, eseguire la Trasformazione del mapping, aggiungere una colonna, eliminare una colonna
Tabella esistente Nuova mappatura Aggiungi colonna (per cui è poi possibile cambiare il tipo di dati, rinominare e aggiornare)
Tabella esistente Mappatura esistente Nessuno

Screenshot dell'editor di colonne con colonne di tabella aperte per la modifica di nomi, tipi di dati e mapping.

Trasformazioni della mappatura

Alcuni mapping del formato dati (Parquet, JSON e Avro) supportano semplici trasformazioni in fase di inserimento. Per applicare le trasformazioni del mapping, creare o aggiornare una colonna nella finestra Modifica colonne.

Le trasformazioni di mappatura possono essere eseguite su una colonna di tipo stringa o data/ora, con l'origine che ha un tipo di dati int o long. Per altre informazioni, vedere l'elenco completo delle trasformazioni di mapping supportate.

Opzioni avanzate in base al tipo di dati

Tabellare (CSV, TSV, PSV):

  • Se si inseriscono formati tabulari in una tabella esistente, è possibile selezionare Avanzate>Mantieni lo schema di tabella. I dati tabulari non comprendono necessariamente i nomi di colonna usati per eseguire il mapping dei dati di origine sulle colonne esistenti. Quando questa opzione è selezionata, il mapping viene eseguito in base all'ordine e lo schema della tabella rimane invariato. Se questa opzione è deselezionata, vengono create nuove colonne per i dati in ingresso, indipendentemente dalla struttura dei dati.

    Schermata delle opzioni avanzate.

  • I dati tabulari non comprendono necessariamente i nomi di colonna usati per eseguire il mapping dei dati di origine sulle colonne esistenti. Per usare la prima riga come nomi di colonna, selezionare Prima riga come intestazione di colonna.

    Screenshot della prima riga come intestazione di colonna.

Tabellare (CSV, TSV, PSV):

  • Se si inseriscono formati tabulari in una tabella esistente, selezionare Table_mapping>Usa schema esistente. I dati tabulari non comprendono necessariamente i nomi di colonna usati per eseguire il mapping dei dati di origine sulle colonne esistenti. Quando si seleziona questa opzione, il mapping viene eseguito in base all'ordine e lo schema della tabella rimane invariato. Se si deseleziona questa opzione, vengono create nuove colonne per i dati in ingresso, indipendentemente dalla struttura dei dati.

  • Per usare la prima riga come nomi di colonna, selezionare Prima intestazione di riga.

    Schermata delle opzioni CSV avanzate, incluse le opzioni per l'intestazione della prima riga e le impostazioni del delimitatore.

JSON:

  • Per determinare la divisione delle colonne dei dati JSON, selezionare Livelli annidati, da 1 a 100.

    Schermata delle opzioni JSON avanzate, compresa l'impostazione «Livelli annidati» utilizzata per suddividere le colonne JSON.

Rivedere il riepilogo dell'acquisizione

Nella finestra Riepilogo tutti i passaggi mostrano segni di spunta verdi al termine dell'inserimento dati. È possibile selezionare una scheda per esplorare i dati, eliminare i dati inseriti o creare un dashboard con le metriche chiave.

Screenshot della pagina di riepilogo per l'inserimento continuo con completamento dell'inserimento riuscito.

Quando si chiude la finestra, è possibile visualizzare la connessione nella scheda Esplora dati in Flussi di dati. Da qui è possibile filtrare i flussi di dati ed eliminare un flusso di dati.

Screenshot dell'esploratore database KQL con flussi di dati evidenziati.