Einführung in Azure Data Lake Storage

Azure Data Lake Storage ist eine Reihe von Funktionalitäten für Big Data-Analysen, die auf Azure Blob Storage erstellt wurden. In diesem Artikel werden die wichtigsten Features, unterstützten Integrationen und die Architektur von Azure Data Lake Storage vorgestellt, um sie für Ihre Analyseworkloads auszuwerten.

Azure Data Lake Storage baut auf den von Azure Data Lake Storage Gen1 pionierierten Fähigkeiten auf und kombiniert sie mit Azure Blob Storage. Data Lake Storage bietet zum Beispiel Dateisystem-Semantik, Sicherheit auf Dateiebene und Skalierbarkeit. Da diese Funktionen auf Blob Storage basieren, erhalten Sie auch kostengünstigen, mehrstufigen Speicher mit hohen Verfügbarkeits- und Notfallwiederherstellungsfunktionen.

Data Lake Storage macht Azure Storage zur Grundlage für den Aufbau von Daten-Lakes für Unternehmen auf Azure. Data Lake Storage wurde von Anfang an so konzipiert, dass es mehrere Petabytes an Daten verwalten kann und gleichzeitig einen Durchsatz von Hunderten von Gigabits ermöglicht. Data Lake Storage bietet Ihnen die Möglichkeit, große Datenmengen einfach zu verwalten.

Was ist ein Data Lake?

Ein Data Lake ist ein einzelnes, zentralisiertes Repository, in dem Sie alle Ihre Daten speichern können, sowohl strukturierte als auch unstrukturierte. Mit einem Data Lake kann Ihre Organisation eine Vielzahl von Daten schnell und einfach an einem zentralen Ort speichern, darauf zugreifen und sie analysieren. Mit einem Data Lake müssen Sie Ihre Daten nicht an eine vorhandene Struktur anpassen. Stattdessen können Sie Ihre Daten im Rohformat oder nativen Format speichern, in der Regel als Dateien oder als Binary Large Objects (Blobs).

Azure Data Lake Storage ist eine cloudbasierte Data Lake-Lösung für Unternehmen. Die Lösung wurde entwickelt, um große Datenmengen in jedem beliebigen Format zu speichern und Big Data-Analyseworkloads zu ermöglichen. Verwenden Sie sie, um Daten beliebiger Art und Geschwindigkeit an einem zentralen Ort zu erfassen, um einfachen Zugriff und eine einfache Analyse mithilfe verschiedener Frameworks zu ermöglichen.

Azure Data Lake Storage-Funktionen

Azure Data Lake Storage ist kein dedizierter Dienst- oder Kontotyp. Stattdessen wird es als eine Reihe von Funktionen implementiert, die Sie mit dem Blob Storage-Dienst Ihres Azure Storage-Kontos verwenden. Entsperren Sie diese Funktionen, indem Sie die hierarchische Namespaceeinstellung aktivieren.

Data Lake Storage umfasst die folgenden Funktionalitäten.

  • Hadoop-kompatibler Zugriff

  • Hierarchische Verzeichnisstruktur

  • Optimierte Kosten und Leistung

  • Genaueres Sicherheitsmodell

  • Große Skalierbarkeit

Hadoop-kompatibler Zugriff

Azure Data Lake Storage ist in erster Linie für die Arbeit mit Hadoop und allen Frameworks konzipiert, die Apache Hadoop Distributed File System (HDFS) als Datenzugriffsebene verwenden. Hadoop-Distributionen enthalten den Azure Blob File System (ABFS)-Treiber, der vielen Anwendungen und Frameworks den direkten Zugriff auf Azure Blob Storage ermöglicht. Der ABFS-Treiber ist speziell für Big Data-Analysen optimiert. Die entsprechenden REST-APIs sind über den Endpunkt dfs.core.windows.netverfügbar.

Datenanalyseframeworks, die HDFS als Datenzugriffsebene verwenden, können direkt auf Azure Data Lake Storage-Daten über ABFS zugreifen. Die Apache Spark-Analyse-Engine und die Presto SQL-Abfrage-Engine sind Beispiele für solche Frameworks.

Weitere Informationen über unterstützte Dienste und Plattformen finden Sie unter Azure Dienste, die Azure Data Lake Storage unterstützen und Open-Source-Plattformen, die Azure Data Lake Storage unterstützen.

Hierarchische Verzeichnisstruktur

Der hierarchische Namespace ist eine zentrale Funktion, die Azure Data Lake Storage in die Lage versetzt, einen hochleistungsfähigen Datenzugriff in der Größenordnung von Objektspeichern zu einem günstigen Preis zu ermöglichen. Verwenden Sie dieses Feature, um alle Objekte und Dateien in Ihrem Speicherkonto in einer Hierarchie von Verzeichnissen und geschachtelten Unterverzeichnissen zu organisieren. Anders ausgedrückt: Ihre Azure Data Lake Storage-Daten werden ähnlich organisiert wie Dateien auf Ihrem Computer.

Vorgänge wie das Umbenennen oder Löschen eines Verzeichnisses werden zu einzelnen Atommetadatenvorgängen im Verzeichnis. Es müssen nicht alle Objekte aufgezählt und verarbeitet werden, die das Namenspräfix des Verzeichnisses gemeinsam haben.

Optimierte Kosten und Leistung

Die Preise für Azure Data Lake Storage entsprechen denen von Azure Blob Storage. Es baut auf den Funktionen von Azure Blob Storage auf, etwa der automatisierten Verwaltung von Lebenszyklusrichtlinien und dem Tiering auf Objektebene, um die Speicherkosten für große Datenmengen zu verwalten.

Die Leistung verbessert sich, da Sie vor der Analyse keine Daten kopieren oder transformieren müssen. Die hierarchische Namespacefunktion von Azure Data Lake Storage ermöglicht effizienten Zugriff und effiziente Navigation. Diese Architektur bedeutet, dass die Datenverarbeitung weniger Rechenressourcen erfordert, was sowohl die Zeit als auch die Kosten für den Zugriff auf Daten reduziert.

Genaueres Sicherheitsmodell

Das Zugriffssteuerungsmodell von Azure Data Lake Storage unterstützt sowohl die rollenbasierte Zugriffssteuerung von Azure (Azure RBAC) als auch die Zugriffskontrolllisten (ACLs) des Portable Operating System Interface for UNIX (POSIX). Es gibt auch einige zusätzliche Sicherheitseinstellungen, die spezifisch für Azure Data Lake Storage sind. Legen Sie Berechtigungen auf Verzeichnis- oder Dateiebene fest. Azure Data Lake Storage verschlüsselt alle ruhenden Daten mithilfe von Microsoft verwalteten oder vom Kunden verwalteten Verschlüsselungsschlüsseln.

Große Skalierbarkeit

Azure Data Lake Storage bietet umfangreichen Speicherplatz und akzeptiert zahlreiche Datentypen für Analysen. Es gibt keinerlei Einschränkungen für Kontogrößen, Dateigrößen oder die Menge an Daten, die im Data Lake gespeichert werden können. Einzelne Dateien können Größen aufweisen, die von einigen Kilobyte (KBs) bis hin zu Hunderten von Terabytes (TBs) reichen. Azure Data Lake Storage verarbeitet Anforderungen bei nahezu konstanten Latenzen pro Anforderung, die auf Dienst-, Konto- und Dateiebene gemessen werden.

Dieses Design bedeutet, dass Azure Data Lake Storage problemlos und schnell hochskaliert werden kann, um die anspruchsvollsten Workloads zu ermöglichen. Die Lösung kann auch genauso einfach wieder herunterskaliert werden, wenn der Bedarf nachlässt.

Basiert auf Azure Blob Storage

Die von Ihnen erfassten Daten werden im Speicherkonto als Blobs gespeichert. Der Dienst, der Blobs verwaltet, ist der Azure Blob Storage-Dienst. Data Lake Storage beschreibt die Funktionen oder "Verbesserungen" für diesen Dienst, die den Anforderungen von Big Data-Analysearbeitslasten entsprechen.

Da diese Funktionen auf Blob Storage basieren, stehen Ihrem Konto Funktionen wie Diagnoseprotokollierung, Zugriffsebenen und Lebenszyklusverwaltungsrichtlinien zur Verfügung. Die meisten Blob Storage-Funktionen werden vollständig unterstützt. Einige Funktionen werden jedoch möglicherweise nur auf Vorschauebene unterstützt und eine Hand voll Funktionen wird noch nicht unterstützt. Eine vollständige Liste der Supportanweisungen finden Sie unter Unterstützung der Blob Storage-Funktion in Azure Storage-Konten. Der Status der einzelnen aufgelisteten Features ändert sich im Laufe der Zeit, während die Unterstützung weiterhin erweitert wird.

Terminologie: Blobs, Dateien und Container

Das Azure Blob Storage-Inhaltsverzeichnis enthält zwei Inhaltsabschnitte. Der Inhaltsabschnitt Data Lake Storage bietet bewährte Verfahren und Anleitungen für die Nutzung der Funktionalitäten von Data Lake Storage. Der Abschnitt Blob Storage enthält Anleitungen für Funktionen, die nicht speziell für Data Lake Storage gelten.

In den verschiedenen Abschnitten werden Sie einige kleinere Unterschiede in der Terminologie feststellen. In der Blob Storage-Dokumentation wird beispielsweise der Begriff Blob anstelle von Datei verwendet. Technisch gesehen werden die Dateien, die Sie in Ihrem Speicherkonto erfassen, im Konto zu Blobs. Daher ist der Begriff richtig. Der Begriff Blob kann jedoch zu Verwirrung führen, wenn Sie an den Begriff Datei gewöhnt sind. Außerdem wird der Begriff Container verwendet, um ein Dateisystem zu bezeichnen. Diese beiden Begriffe sind als Synonyme zu verstehen.

Weitere Informationen

  • Last updated on