Abrufen von Daten aus Azure Storage

In diesem Artikel erfahren Sie, wie Sie Daten aus Azure Storage (Azure Data Lake Storage Gen2 Containern, Blobcontainern oder einzelnen Blobs) in eine Tabelle in einer KQL-Datenbank abrufen. Sie können Daten kontinuierlich oder als einmalige Aufnahme aufnehmen. Nach Abschluss der Erfassung sind die Daten für die Abfrage verfügbar.

• Kontinuierliche Datenaufnahme (Vorschau): Die kontinuierliche Datenaufnahme richtet eine Datenaufnahmepipeline ein, die es einem Ereignishaus ermöglicht, Azure Storage-Ereignisse zu überwachen. Die Pipeline benachrichtigt das Ereignishaus, Informationen abzurufen, wenn abonnierte Ereignisse auftreten. Die Ereignisse sind BlobCreated und BlobRenamed.

• One-time ingestion: Verwenden Sie diese Methode, um Daten aus Azure Storage als einmaligen Vorgang abzurufen.

  Anmerkung

  • Ein fortlaufender Aufnahmedatenstrom kann sich auf Ihre Abrechnung auswirken. Weitere Informationen finden Sie unter Eventhouse- und KQL-Datenbanknutzung.

Voraussetzungen

• Ein Arbeitsbereich mit einer Microsoft Fabric aktivierten Kapazität.
• Eine KQL-Datenbank mit Bearbeitungsberechtigungen.
• Ein Azure Storagekonto.

Voraussetzungen für die kontinuierliche Aufnahme

• Eine Fabric-Arbeitsbereichsidentität. Mein Arbeitsbereich wird nicht unterstützt. Erstellen Sie bei Bedarf einen neuen Arbeitsbereich.

In Azure:

• Registern Sie den Ereignisrasterressourcenanbieter mit Ihrem Azure-Abonnement.
• Weisen Sie der Arbeitsbereichsidentität Rollenberechtigungen für den Speicher-BLOB-Datenleser zu.
• Erstellen Sie einen BLOB-Container , um die Datendateien zu speichern.

  • Laden Sie eine Datendatei hoch. Die Datendateistruktur wird verwendet, um das Tabellenschema zu definieren. Weitere Informationen finden Sie unter Datenformate, die von Real-Time Intelligenceunterstützt werden.

    Anmerkung

    Sie müssen eine Datendatei hochladen:

    • Vor der Konfiguration zum Definieren des Tabellenschemas während der Einrichtung.
    • Nach der Konfiguration, um die kontinuierliche Aufnahme auszulösen, um Daten in der Vorschau anzuzeigen und die Verbindung zu überprüfen.

    Anmerkung

    Die kontinuierliche Aufnahme von Azure Storage wird auch unterstützt, wenn das Speicherkonto mit privaten Endpunkten (Private Link) konfiguriert ist. Stellen Sie sicher, dass der Fabric Arbeitsbereich über den konfigurierten privaten Netzwerkpfad auf das Speicherkonto zugreifen kann.

Fügen Sie die Rollenzuweisung der Identität des Arbeitsbereichs zum Speicherkonto hinzu

1. Kopieren Sie in den Arbeitsbereichseinstellungen in Fabric Ihre Arbeitsbereichsidentitäts-ID.

   

2. Navigieren Sie im Azure-Portal zu Ihrem Azure Storage Konto, und wählen Sie Access Control (IAM)>Add>Add role assignment aus.

3. Wählen Sie den Speicher-BLOB-Datenleser aus.

4. Wählen Sie im Dialogfeld " Rollenzuweisung hinzufügen " +Mitglieder auswählen.

5. Fügen Sie die Arbeitsbereichsidentitäts-ID ein, wählen Sie die Anwendung aus, und wählen Sie dann ">Überprüfen+ zuweisen" aus.

Erstellen eines BLOB-Containers und Hochladen einer Datendatei

1. Wählen Sie im Speicherkonto "Container" aus.

2. Wählen Sie +Container, geben Sie einen Namen für den Container ein, und wählen Sie "Speichern" aus.

3. Geben Sie den Container ein, wählen Sie "Hochladen" aus, und laden Sie die zuvor vorbereitete Datendatei hoch.

   Weitere Informationen finden Sie unter unterstützten Formaten und unterstützten Komprimierungen.

4. Wählen Sie im Kontextmenü [...]Containereigenschaften aus, und kopieren Sie die URL, die während der Konfiguration eingegeben werden soll.

   

Wählen Sie Azure Storage als Datenquelle aus.

Öffnen Sie den Datenfluss abrufen, und wählen Sie Azure Storage als Quelle aus.

1. Öffnen Sie im Arbeitsbereich das Eventhouse, und wählen Sie die Datenbank aus.

2. Wählen Sie im Menüband der KQL-Datenbank die Option "Daten abrufen" aus.

3. Wählen Sie die Datenquelle aus der verfügbaren Liste aus. In diesem Beispiel werden Daten aus Azure Storage aufgenommen.

   

Konfigurieren

Vorschaudaten vor dem Import prüfen

Die Registerkarte Untersuchen wird mit einer Vorschau der Daten geöffnet.

Um den Erfassungsprozess abzuschließen, wählen Sie Fertig stellen aus.

Optionalerweise:

• Verwenden Sie das Dropdownmenü der Schemadefinitionsdatei, um die Datei zu ändern, von der das Schema abgeleitet wird.

• Verwenden Sie das Dropdownmenü "Dateityp", um erweiterte Optionen basierend auf dem Datentyp zu erkunden.

• Verwenden Sie das Dropdown-Menü Table_mapping, um eine neue Zuordnung zu definieren.

• Wählen Sie </> aus, um die Befehlsanzeige zu öffnen und die automatisch aus Ihren Eingaben generierten Befehle anzuzeigen und zu kopieren. Sie können die Befehle auch in einem KQL-Abfrageset öffnen.

• Wählen Sie das Bleistiftsymbol aus, um Spalten zu bearbeiten.

Spalten bearbeiten

Die Änderungen, die Sie in einer Tabelle vornehmen können, hängen von den folgenden Parametern ab:

• Tabellentyp ist neu oder vorhanden
• Die Zuordnung ist neu oder vorhanden.

Zuordnungstransformationen

Einige Datenformatzuordnungen (Parquet, JSON und Avro) unterstützen einfache Transformationen während der Erfassung. Erstellen oder aktualisieren Sie zum Anwenden von Zuordnungstransformationen eine Spalte im Fenster Spalten bearbeiten.

Zuordnungstransformationen können für eine Spalte vom Typ "Zeichenfolge" oder "datetime" ausgeführt werden, wobei die Quelle den Datentyp "int" oder "long" aufweist. Weitere Informationen finden Sie in der vollständigen Liste der unterstützten Zuordnungstransformationen.

Erweiterte Optionen basierend auf dem Datentyp

Tabellarisch (CSV, TSV, PSV):

• Wenn Sie Tabellenformate in eine bestehende Tabelle übernehmen, wählen Sie Erweitert>Tabellenschema beibehalten aus. Tabellarische Daten enthalten nicht unbedingt die Spaltennamen, die zum Zuordnen von Quelldaten zu den vorhandenen Spalten verwendet werden. Wenn diese Option aktiviert ist, erfolgt die Zuordnung nach Reihenfolge, und das Tabellenschema bleibt gleich. Wenn diese Option deaktiviert ist, werden neue Spalten für eingehende Daten erstellt, unabhängig von der Datenstruktur.

  

• Tabellarische Daten enthalten nicht unbedingt die Spaltennamen, die zum Zuordnen von Quelldaten zu den vorhandenen Spalten verwendet werden. Wählen Sie Erste Zeile ist Spaltenüberschrift aus, um die erste Zeile als Spaltennamen zu verwenden.

  

Tabellarisch (CSV, TSV, PSV):

• Wenn Sie tabellarische Formate in einer vorhandenen Tabelle aufnehmen, wählen Sie Table_mapping>Vorhandenes Schema verwenden. Tabellarische Daten enthalten nicht unbedingt die Spaltennamen, die zum Zuordnen von Quelldaten zu den vorhandenen Spalten verwendet werden. Wenn Sie diese Option auswählen, erfolgt die Zuordnung nach Reihenfolge, und das Tabellenschema bleibt gleich. Wenn Sie diese Option deaktivieren, werden neue Spalten für eingehende Daten erstellt, unabhängig von der Datenstruktur.

• Wenn Sie die erste Zeile als Spaltennamen verwenden möchten, wählen Sie die Überschrift " Erste Zeile" aus.

  

JSON:

• Um die Spaltenteilung von JSON-Daten zu bestimmen, wählen Sie "Geschachtelte Ebenen" von 1 bis 100 aus.

  

Überprüfen der Erfassungszusammenfassung

Im Zusammenfassungsfenster zeigen alle Schritte grüne Häkchen an, wenn die Datenaufnahme erfolgreich abgeschlossen ist. Sie können eine Karte auswählen, um die Daten zu durchsuchen, die aufgenommenen Daten zu löschen oder ein Dashboard mit wichtigen Metriken zu erstellen.

Verwandte Inhalte

• Informationen zum Verwalten Ihrer Datenbank finden Sie unter "Verwalten von Daten".
• Informationen zum Erstellen, Speichern und Exportieren von Abfragen finden Sie unter Abfragedaten in einem KQL-Abfrageset.