Migrieren von Daten aus Google Cloud Storage zu Azure Blob Storage mit Azure Storage Mover

Die S3-Quellmigrationsfunktion (Simple Storage Service) in Azure Storage Mover überträgt Daten aus S3-kompatiblen Google Cloud Storage (GCS)-Objektspeichern sicher in Azure Blob Storage.

Im Gegensatz zu AWS S3 -Migrationen (Amazon Simple Storage Services), die Azure Arc Multicloud-Connectors verwenden, verwenden S3-kompatible Quellmigrationen einen vereinfachten Ansatz. Wenn Sie die Quellendpunkt-URL und die HMAC-Anmeldeinformationen (Hash-based Message Authentication Code) sicher in Azure Key Vault speichern, benötigen Sie keinen Multicloud-Connector oder eine automatisierte Quellermittlung.

Dieser Artikel führt Sie durch den vollständigen Prozess der Konfiguration von Storage Mover zum Migrieren Ihrer Daten aus einer GCS S3-kompatiblen Quelle zu Azure Blob Storage. Der Prozess besteht darin, Quellanmeldeinformationen in Azure Key Vault zu speichern, Quell- und Zielendpunkte zu konfigurieren und einen Migrationsauftrag zu erstellen und auszuführen.

Voraussetzungen

Bevor Sie beginnen stellen Sie sicher, dass Sie über Folgendes verfügen:

• Ein aktives Azure-Abonnement mit Berechtigungen zum Erstellen und Verwalten von Azure Storage Mover-Ressourcen.
• Ein Google Cloud-Konto mit Zugriff auf den GCS-Bucket, von dem Sie migrieren möchten.
• Ein Azure Storage Konto, das als Ziel verwendet werden soll.
• Eine Storage Mover-Ressource, die in Ihrem Azure-Abonnement bereitgestellt wird.
• Ein Azure Key Vault, um Ihre HMAC-Quellanmeldeinformationen sicher zu speichern.
• HMAC-Schlüssel, die für Ihren GCS-Bucket generiert werden. Siehe Generieren von HMAC-Schlüsseln für GCS.
• Ein Setup für private Verbindungen auf Azure, wenn nur über ein privates Netzwerk auf Ihre Quelldaten zugegriffen werden kann.

Limits

Das S3-kompatible GCS-Quellmigrationsfeature in Azure Storage Mover hat die folgenden Grenzwerte:

• Jeder Migrationsauftrag unterstützt die Übertragung von 500 Millionen Objekten.
• Pro Abonnement werden maximal 10 gleichzeitige Aufträge unterstützt. Wenn Sie mehr als 10 ausführen müssen, erstellen Sie eine Supportanfrage.
• Nur HTTPS-Zugriff auf die S3-kompatible Quelle wird unterstützt.
• Die S3-kompatible Quelle muss die AWS Signature Version 4 (SigV4)-Stilauthentifizierung unterstützen.

Wichtige Hinweise

Bevor Sie mit der Migration beginnen, lesen Sie die folgenden Aspekte, die für GCS S3-kompatible Quellmigrationen spezifisch sind:

Authentifizierungsmethode

GCS S3-kompatibler Zugriff verwendet HMAC-Schlüssel (Zugriffstasten-ID und geheimer Schlüssel), die einem GCS-Dienstkonto oder Benutzerkonto zugeordnet sind. Diese Schlüssel ermöglichen GCS, mithilfe des AWS Signature Version 4-Authentifizierungsprozesses auf standard-S3-API-Anforderungen zu reagieren.

Generieren von HMAC-Schlüsseln für GCS

Um über die S3-kompatible Schnittstelle auf Ihren GCS-Bucket zuzugreifen, müssen Sie HMAC-Schlüssel in der Google Cloud Console generieren.

1. Navigieren Sie zur Google Cloud Console.

2. Wechseln Sie zur Registerkarte "Interoperabilität der >>".

3. Wenn Noch nicht geschehen, wählen Sie "Standardprojekt für den Interoperabilitätszugriff festlegen" aus.

4. Wählen Sie im Abschnitt "Zugriffstasten für Dienstkonten " das Dienstkonto aus, das Sie verwenden möchten, und wählen Sie " Schlüssel erstellen" aus.

5. Notieren Sie sich die Werte des Zugriffsschlüssels und des geheimen Schlüssels. Sie benötigen diese Werte im nächsten Schritt.

   Important

   Speichern Sie diese Schlüssel sicher. Der geheime Schlüssel wird nur einmal angezeigt. Der Schlüssel ist nur während der ersten Erstellung sichtbar und kann später nicht abgerufen werden.

6. Stellen Sie sicher, dass die HMAC-Anmeldeinformationen einen Mindestgültigkeitszeitraum von einer Woche haben, um sicherzustellen, dass der Auftragsabschluss und die optimale Sicherheit gewährleistet sind.

Speichern von Quellanmeldeinformationen in Azure Key Vault

Speichern Sie sie nach dem Generieren von HMAC-Schlüsseln für Ihren GCS-Bucket als geheime Schlüssel in Azure Key Vault für den sicheren Zugriff durch den Storage Mover-Dienst.

1. Navigieren Sie mithilfe des Azure-Portals zu dem Azure Key Vault, der sich im selben Abonnement wie Ihre Storage Mover-Ressource befindet.

2. Erweitern Sie im linken Navigationsbereich das Menü "Objekte ", und wählen Sie "Geheime Schlüssel" aus. Wählen Sie als Nächstes "Generieren/Importieren" aus.

   

   

3. Erstellen Sie einen geheimen Schlüssel für den Zugriffsschlüssel:

   • Name: Geben Sie einen aussagekräftigen Namen an (z. B gcs-access-key. ).
   • Geheimer Wert: Fügen Sie den Wert für den HMAC-Zugriffsschlüssel aus dem vorherigen Abschnitt ein.
   • Wählen Sie "Erstellen" aus.

   

4. Erstellen Sie einen zweiten geheimen Schlüssel für den geheimen Schlüssel:

   • Name: Geben Sie einen aussagekräftigen Namen an (z. B gcs-secret-key. ).
   • Geheimer Wert: Fügen Sie den Wert des geheimen HMAC-Schlüssels aus dem vorherigen Abschnitt ein.
   • Wählen Sie "Erstellen" aus.

   

5. Notieren Sie sich den vollständigen Geheim-ID-URI für jeden geheimen Schlüssel. Sie benötigen diese Bezeichner beim Erstellen des Quellendpunkts.

Weitere Informationen finden Sie unter Festlegen und Abrufen eines Geheimnisses aus Key Vault mithilfe von Azure-Portal.

Konfigurieren von Quell- und Zielendpunkten

Nachdem Sie Ihre HMAC-Anmeldeinformationen in Ihrem Azure Key Vault gespeichert haben, besteht der nächste Schritt darin, die Quell- und Zielendpunkte Ihrer Migration zu erstellen.

Im Kontext des Azure Storage Mover-Diensts ist ein Endpunkt eine Ressource, die den Pfad zu einer Quelle oder einem Zielspeicherort und anderen relevanten Informationen enthält. Speicherverschiebungsauftragsdefinitionen verwenden Endpunkte, um die Quell- und Zielspeicherorte für Kopiervorgänge zu definieren.

Konfigurieren eines MIT GCS S3 kompatiblen Quellendpunkts

Quellendpunkte identifizieren Speicherorte, von denen Ihre Daten migriert werden. Quellendpunkte werden verwendet, um den Ursprung der daten zu definieren, die in Ihrem Migrationsprojekt angegeben wurden.

In den folgenden Schritten wird der Prozess zum Erstellen eines Quellendpunkts beschrieben.

1. Navigieren Sie in der Azure portal zu Ihrer Storage Mover-Instanz.

2. Wählen Sie in der Gruppe Ressourcenverwaltung innerhalb der linken Navigation die Option Speicherendpunkte aus. Wählen Sie die Registerkarte "Quellendpunkte " und dann " Endpunkt erstellen " aus, um den Bereich " Quellendpunkt erstellen" zu öffnen.

3. Im Bereich "Quellendpunkt erstellen ":

   • Wählen Sie die Multicloud-Migration als Migrationstyp aus.
   • Wählen Sie GCS-Objektspeicher - S3 als Quelltyp aus.
   • Quell-URL: Geben Sie die vollständige HTTPS-URL in Ihr GCS-Bucket im S3-kompatiblen Format ein. Verwenden Sie das Format https://storage.googleapis.com/<bucket-name>/ oder https://storage.googleapis.com/<bucket-name>/<prefix>/, um nur eine Teilmenge von Objekten zu migrieren.
   • URI für den Zugriff auf das Key Vault-Geheimnis: Geben Sie den vollständigen URI des Geheimnisses ein, das Ihren HMAC-Zugriffsschlüssel enthält.
   • Geheimer URI für das Key Vault-Geheimnis: Geben Sie den vollständigen URI des Geheimnisses ein, das Ihren HMAC-Geheimnisschlüssel enthält.
   • Geben Sie optional eine Beschreibung für den Endpunkt an.

4. Stellen Sie sicher, dass Ihre Auswahl korrekt ist, und wählen Sie "Erstellen" aus, um den Endpunkt zu erstellen.

   

   Hinweis

   Wenn der Quellendpunkt erstellt wird, wird automatisch eine vom System zugewiesene verwaltete Identität bereitgestellt. Diese Identität benötigt Zugriff mittels rollenbasierter Zugriffssteuerung auf Basis der Rolle Key Vault-Geheimnisbenutzer in Ihrem Azure Key Vault, um während der Migration die HMAC-Anmeldeinformationen abzurufen. Das Portal versucht, diese Rolle automatisch zuzuweisen. Wenn die Zuweisung aufgrund unzureichender Berechtigungen fehlschlägt, weisen Sie sie manuell zu, oder wenden Sie sich an ihren Azure Administrator, um die Rolle manuell zu gewähren.

Konfigurieren eines Azure Blob Storage Zielendpunkts

1. Wählen Sie in der Gruppe Ressourcenverwaltung innerhalb der linken Navigation die Option Speicherendpunkte aus. Wählen Sie die Registerkarte "Zielendpunkte " und dann " Endpunkt hinzufügen " aus, um den Bereich "Zielendpunkt erstellen" zu öffnen.

2. Im Bereich "Zielendpunkt erstellen ":

   • Wählen Sie Ihr Abonnement - und Speicherkonto aus den jeweiligen Dropdownlisten aus.
   • Wählen Sie Blob-Container im Feld Zieltyp aus.
   • Wählen Sie den BLOB-Container aus, zu dem Sie aus der Dropdownliste migrieren möchten.
   • Geben Sie optional eine Beschreibung für den Endpunkt an.

3. Stellen Sie sicher, dass Ihre Auswahl korrekt ist, und wählen Sie "Erstellen" aus, um den Endpunkt zu erstellen.

RBAC-Rollen zuweisen

Wenn Sie Endpunkte über das Azure-Portal erstellen, werden die erforderlichen RBAC-Rollen automatisch den vom System zugewiesenen verwalteten Identitäten zugewiesen:

Wenn die automatische Zuweisung fehlschlägt (z. B. aufgrund unzureichender Berechtigungen), müssen Sie diese Rollen manuell zuweisen oder ihren Azure Administrator kontaktieren.

Erstellen eines Migrationsprojekts und einer Auftragsdefinition

Nachdem Sie Quell- und Zielendpunkte für Ihre Migration definiert haben, müssen Sie ein Migrationsprojekt und eine Auftragsdefinition für Storage Mover erstellen.

Mit einem Migrationsprojekt können Sie große Migrationen in kleinere, verwaltbare Einheiten organisieren. Eine Auftragsdefinition beschreibt Ressourcen und Migrationsoptionen für einen bestimmten Satz von Kopiervorgängen. Diese Ressourcen umfassen z. B. die Quell- und Zielendpunkte sowie alle Migrationseinstellungen, die Sie anwenden möchten.

Führen Sie die Schritte in diesem Abschnitt aus, um ein Migrationsprojekt zu erstellen und einen Migrationsauftrag auszuführen.

Projekt erstellen

1. Navigieren Sie zu dem Abschnitt "Projekte" unter "Plan+ Ausführen von Migrationen in Ihrer Speicherverschiebungsinstanz", und wählen Sie auf der Registerkarte "Projekte erstellen" die Option "Projekt erstellen" aus.

2. Stellen Sie Werte für die folgenden Felder bereit:

   • Name: Ein aussagekräftiger Name für das Migrationsprojekt.
   • Projektbeschreibung: Eine nützliche Beschreibung für das Projekt.

3. Wählen Sie "Erstellen" aus, um das Projekt zu erstellen.

   

Erstellen einer Auftragsdefinition

Wählen Sie das Projekt aus, nachdem es angezeigt wird, und wählen Sie dann " Auftrag erstellen" aus. Der Assistent für die Auftragserstellung verfügt über vier Registerkarten: Grundlagen, Zeitplan, Einstellungen und Überprüfung.

Grundlagen-Tab

1. Stellen Sie Werte für die folgenden Felder bereit:

   Feld	Wert
   Migrationstyp	Wählen Sie Multicloud-Migration aus.
   Quellentyp	GCS-Objektspeicher auswählen - S3 (Vorschau)
   S3-Buckettyp	Auswählen von "Öffentlich" oder "Privat" (Vorschau)
   Name	Ein aussagekräftiger Name für den Auftrag
   Beschreibung	(Optional) Eine Beschreibung für den Auftrag (max. 1.024 Zeichen)

   

2. Im Quellabschnitt :

   • Quellendpunkt: Wählen Sie "Quellendpunkt hinzufügen" aus, um einen neuen Endpunkt zu erstellen, oder wählen Sie einen vorhandenen GCS S3-kompatiblen Quellendpunkt aus.
   • Quellunterpfad: (optional) Geben Sie einen Unterordnerpfad an, um nur einen Teil Ihres Buckets zu migrieren. Wenn er leer bleibt, beginnt der Auftrag vom Stamm des Buckets.
   • Überprüfen Sie, ob der angezeigte vollständige Pfad korrekt ist.

3. Im Abschnitt Target:

   • Zielendpunkt: Wählen Sie "Zielendpunkt hinzufügen" aus, um einen neuen Endpunkt zu erstellen, oder wählen Sie einen vorhandenen Azure Blob Storage Zielendpunkt aus.
   • Zielunterpfad: (Optional) Geben Sie einen Zielunterordner an. Wenn er leer bleibt, werden alle Inhalte in den Containerstamm migriert. Ein einzigartiger Unterpfad erstellt einen neuen Unterordner.

   

4. Wenn Sie " Privat " für den Buckettyp "S3" ausgewählt haben, wird ein Abschnitt " Private Verbindungen " angezeigt:

   • Wählen Sie "Hinzufügen" aus, um genehmigte private Verbindungen diesem Auftrag zuzuordnen.
   • Es können nur Verbindungen im Status "Genehmigt " hinzugefügt werden.
   • Sie können mehrere private Verbindungen zum Lastenausgleich verknüpfen.

   Hinweis

   Private Speicher-Buckets erfordern private Verbindungen. Sie müssen über mindestens eine genehmigte private Verbindung verfügen, bevor Sie einen Auftrag mit dem Typ "Privater Bucket" starten können. Anweisungen zum Einrichten finden Sie unter private Netzwerkkonnektivität für GCS .

5. Klicken Sie auf Weiter, um fortzufahren.

Registerkarte „Zeitplan“

Wählen Sie aus, wann die Migration ausgeführt werden soll:

Registerkarte "Einstellungen"

1. Wählen Sie den gewünschten Kopiermodus aus der Dropdownliste aus:

   Kopiermodus	Behavior
   Inhalt in das Ziel zusammenführen	Dateien werden im Ziel gespeichert, auch wenn sie nicht in der Quelle vorhanden sind. Dateien mit übereinstimmenden Namen und Pfaden werden aktualisiert, um der Quelle zu entsprechen. Ordnerbenennungen zwischen Kopien können zu duplizierten Inhalten im Ziel führen.
   Quelle auf Ziel spiegeln	Macht das Ziel zu einem exakten Replikat der Quelle. Aus der Quelle gelöschte Objekte werden ebenfalls aus dem Ziel gelöscht.

2. Überprüfen Sie den Abschnitt "Migrationsergebnisse ", um zu verstehen, wie Ihre Daten zugeordnet werden:

   Ergebnis	Description
   Verzeichnisstruktur	Das Ziel unterstützt "virtuelle" Ordner. Dateien wird ihr Quellpfad dem Namen vorangestellt und sie werden in einer flachen Liste abgelegt. Leere Ordner werden als leeres Blob dargestellt, wobei Ordnermetadaten in benutzerdefinierten Metadaten erhalten bleiben.
   Zeitstempel erstellen	Wird als benutzerdefinierte Blobmetadaten beibehalten. Der blob-systemeigene Zeitstempel gibt den Zeitpunkt der Migration der Datei wieder.
   Zeitstempel ändern	Wird als benutzerdefinierte Blobmetadaten beibehalten. Es ist kein blob-nativer Zeitstempel dieses Typs vorhanden.
   Geänderter Zeitstempel	Wird als benutzerdefinierte Blobmetadaten beibehalten. Der blob-systemeigene Zeitstempel gibt den Zeitpunkt der Migration der Datei wieder.
   Letzter Zugriff auf den Zeitstempel	Wird als benutzerdefinierte Blobmetadaten beibehalten, wenn sie in der Quelle vorhanden ist. Kein systemeigener Blob-Zeitstempel dieses Typs.
   Weitere Metadaten	In den benutzerdefinierten Metadaten des Ziel-Blobs gespeichert. Es können nur 4 KiB-Metadaten gespeichert werden. Metadaten, die größer als 4 KiB sind, werden nicht migriert.
   Cloudmigrationsprotokoll	Blob REST-API

3. Klicken Sie auf Weiter, um fortzufahren.

Registerkarte „Überprüfen“

Überprüfen Sie die Zusammenfassung Ihrer Konfiguration:

• Grundlagen: Auftragsname, Migrationstyp
• Quelle: Quelltyp, Quell-URL mit Bucketname, Cloudname (GCS), Quellunterpfad
• Ziel: Speicherkonto, Azure BLOB-Container, Zielunterpfad
• Zeitplan: Migrationshäufigkeit
• Einstellungen: Kopiermodus

Wenn alle Einstellungen korrekt sind, wählen Sie "Erstellen" aus, um den Auftrag bereitzustellen. Wählen Sie "Zurück" aus, um Änderungen vorzunehmen.

Ausführen eines Migrationsauftrags

Starten eines Auftrags

Azure portal

1. Navigieren Sie zur Registerkarte "Projekte ". Ihr neu erstellter Auftrag wird in der Liste unter Ihrem Projekt angezeigt.
2. Wählen Sie Ihre Auftragsdefinition aus, um die Details auf der Registerkarte "Eigenschaften " anzuzeigen.
3. Wählen Sie die Schaltfläche " Auftrag starten " aus.
4. Bestätigen Sie im Aufgabenbereich "Start " die Auftragsdetails, und wählen Sie "Start " aus, um mit der Migration zu beginnen.

Die Aufgabe wird im Hintergrund ausgeführt. Sie können den Fortschritt auf der Registerkarte "Migrationsübersicht " überwachen.

Überwachen des Migrationsfortschritts

Während Sie Storage Mover zum Migrieren Ihrer Daten verwenden, sollten Sie die Kopiervorgänge auf potenzielle Probleme überwachen. Daten zu den Vorgängen, die während der Migration ausgeführt werden, werden auf der Registerkarte "Migrationsübersicht " angezeigt. Mit diesen Daten können Sie den Fortschritt Ihrer Migration nachverfolgen, indem Sie den aktuellen Status und wichtige Informationen wie Fortschritt, Geschwindigkeit und geschätzte Fertigstellungszeit bereitstellen.

Bei der Konfiguration stellt Azure Storage Mover auch Kopierprotokolle und Auftragsausführungsprotokolle bereit. Mit diesen Protokollen können Sie das Migrationsergebnis von Auftragsausführungen und einzelnen Dateien nachverfolgen.

1. Navigieren Sie zur Registerkarte "Migrationsaufträge ".
2. Wählen Sie Ihren Auftrag aus, um Fortschritt, Geschwindigkeit und geschätzte Fertigstellungszeit anzuzeigen.
3. Wählen Sie Protokolle aus, um nach Fehlern oder Warnungen zu suchen.
4. Überprüfen Sie nach Abschluss der Migration die Daten in Azure Blob Storage.

Weitere Informationen zu den Kopier- und Auftragsprotokollen von Azure Storage Mover finden Sie im Artikel Wie Sie Azure Storage Mover-Kopier- und Auftragsprotokolle aktivieren können.

Überprüfung nach der Migration

Die Überprüfung nach der Migration stellt sicher, dass Ihre Daten korrekt sind und dass die Übertragung von GCS zu Azure Blob Storage abgeschlossen ist. Dieser Überprüfungsprozess überprüft die Datenintegrität, indem migrierte Daten mit denselben Daten aus der Quelle verglichen werden.

Führen Sie die folgenden Schritte aus, um die manuelle Überprüfung abzuschließen und nicht verwendete GCS-Ressourcen zu bereinigen:

1. Quelle und Ziel vergleichen: Überprüfen Sie, ob alle erwarteten Objekte übertragen werden, indem Sie die Objektanzahl und die Gesamtdatengröße zwischen dem GCS-Bucket und dem Azure Blob-Container vergleichen.
2. Spot-Check-Datenintegrität: Laden Sie ein repräsentatives Beispiel von Objekten aus Quelle und Ziel herunter und vergleichen Sie Prüfsummen.
3. Aktivieren Sie die inkrementelle Synchronisierung (falls erforderlich): Wenn Sie den GCS-Bucket und Azure Blob-Container im Laufe der Zeit synchronisieren müssen, planen Sie die Ausführung von wiederkehrenden Aufgaben.
4. Außerbetriebnahmequelle: Löschen Sie die GCS-Bucket- und HMAC-Schlüssel, nachdem die Migration vollständig abgeschlossen und überprüft wurde. Entfernen Sie die entsprechenden geheimen Schlüssel aus Azure Key Vault, wenn sie nicht mehr benötigt werden.

Problembehandlung und Support

Wenn während der Migration Probleme auftreten, beginnen Sie mit der Problembehandlung, indem Sie die folgenden Schritte ausführen.

Wenn Sie Ihr Problem nicht beheben können, erstellen Sie eine Azure-Support Anforderung.

Verwandte Inhalte

Die folgenden Artikel können Ihnen helfen, sich mit dem Storage Mover-Dienst vertraut zu machen:

• Grundlegendes zum Verständnis der Ressourcenhierarchie von Storage Mover.
• Bereitstellen einer Storage Mover-Ressource.
• So aktivieren Sie Azure Storage Mover-Kopier- und Auftragsprotokolle.
• Verwalten Azure Storage Mover-Endpunkte.