Eseguire la migrazione dei dati da Google Cloud Storage a Archiviazione BLOB di Azure con Mover Archiviazione di Azure

La funzionalità di migrazione dell'origine S3 (Simple Storage Service) in Archiviazione di Azure Mover trasferisce in modo sicuro i dati da archivi di oggetti compatibili con Google Cloud Storage (GCS) compatibili con S3 a Archiviazione BLOB di Azure.

A differenza delle migrazioni AWS S3 (Amazon Simple Storage Services) che usano i connettori multicloud di Azure Arc, le migrazioni da origini compatibili con S3 usano un approccio semplificato. Quando si archivia l'URL dell'endpoint di origine e le credenziali HMAC (Hash-based Message Authentication Code) in modo sicuro in Azure Key Vault, non è necessario un connettore multicloud o l'individuazione automatica dell'origine.

Questo articolo illustra il processo completo di configurazione di Storage Mover per eseguire la migrazione dei dati da un'origine compatibile con GCS S3 a Archiviazione BLOB di Azure. Il processo consiste nell'archiviare le credenziali di origine in Azure Key Vault, configurare gli endpoint di origine e di destinazione e creare ed eseguire un processo di migrazione.

Prerequisites

Prima di iniziare, assicurarsi di disporre di:

• Una sottoscrizione di Azure attiva con le autorizzazioni necessarie per creare e gestire le risorse di Archiviazione di Azure Mover.
• Un account Google Cloud con accesso al bucket GCS da cui si vuole eseguire la migrazione.
• Un account Archiviazione di Azure da usare come destinazione.
• Una risorsa di Storage Mover distribuita nella sottoscrizione Azure.
• Un Azure Key Vault per archiviare in modo sicuro le credenziali HMAC di origine.
• Chiavi HMAC generate per il bucket GCS. Consulta la generazione di chiavi HMAC per GCS.
• Una configurazione di connessione privata in Azure, se i dati di origine sono accessibili solo tramite una rete privata.

Limits

La funzionalità di migrazione dell'origine GCS compatibile con S3 in Archiviazione di Azure Mover presenta i limiti seguenti:

• Ogni processo di migrazione supporta il trasferimento di 500 milioni di oggetti.
• Per ogni sottoscrizione è supportato un massimo di 10 processi simultanei. Se è necessario eseguire più di 10, creare una richiesta di supporto.
• È supportato solo l'accesso HTTPS all'origine compatibile con S3.
• L'origine dati compatibile con S3 deve supportare l'autenticazione basata su AWS Signature Version 4 (SigV4).

Informazioni utili

Prima di iniziare la migrazione, esaminare le considerazioni seguenti specifiche per le migrazioni di origine compatibili con GCS S3:

Metodo di autenticazione

L'accesso compatibile con GCS S3 usa chiavi HMAC (ID chiave di accesso e chiave privata) associate a un account del servizio GCS o a un account utente. Queste chiavi consentono a GCS di rispondere alle richieste API S3 standard usando il processo di autenticazione della firma AWS versione 4.

Generare chiavi HMAC per GCS

Per accedere al bucket GCS usando l'interfaccia compatibile con S3, è necessario generare chiavi HMAC in Google Cloud Console.

1. Accedere al Google Cloud Console.

2. Vai alla scheda Archiviazione cloud>Impostazioni>Interoperabilità.

3. Se non è già stato fatto, selezionare Imposta un progetto predefinito per l'accesso all'interoperabilità.

4. Nella sezione Chiavi di accesso per gli account del servizio selezionare l'account del servizio che si vuole usare e selezionare Crea una chiave.

5. Prendere nota dei valori chiave di accesso e chiave privata . Questi valori sono necessari nel passaggio successivo.

   Importante

   Archiviare queste chiavi in modo sicuro. La chiave privata viene visualizzata una sola volta. La chiave è visibile solo durante la creazione iniziale e non può essere recuperata in un secondo momento.

6. Verificare che le credenziali HMAC abbiano un periodo di validità minimo di una settimana per garantire il completamento del processo e la sicurezza ottimale.

Archiviare le credenziali di origine in Azure Key Vault

Dopo aver generato le chiavi HMAC per il bucket GCS, archiviarle come segreti in Azure Key Vault per l'accesso sicuro dal servizio Storage Mover.

1. Usando il portale di Azure, passare al Azure Key Vault che si trova all'interno della stessa sottoscrizione della risorsa di Storage Mover.

2. Nel riquadro di spostamento a sinistra espandere il menu Oggetti e selezionare Segreti. Selezionare quindi Genera/Importa.

   

   

3. Creare un segreto per la chiave di accesso:

   • Nome: specificare un nome significativo , ad esempio gcs-access-key.
   • Valore segreto: incollare il valore della chiave di accesso HMAC dalla sezione precedente.
   • Selezionare Crea.

   

4. Creare un secondo segreto per la chiave privata:

   • Nome: specificare un nome significativo , ad esempio gcs-secret-key.
   • Valore segreto: incollare il valore chiave privata HMAC dalla sezione precedente.
   • Selezionare Crea.

   

5. Prendere nota dell'URI completo dell'identificatore segreto per ogni segreto. Questi identificatori sono necessari durante la creazione dell'endpoint di origine.

Per altre informazioni, vedere Impostare e recuperare un segreto da Key Vault usando portale di Azure.

Configurare gli endpoint di origine e di destinazione

Dopo aver archiviato le credenziali HMAC all'interno del Azure Key Vault, il passaggio successivo consiste nel creare gli endpoint di origine e destinazione della migrazione.

Nel contesto del servizio Archiviazione di Azure Mover, un endpoint è una risorsa che contiene il percorso di una posizione di origine o di destinazione e altre informazioni pertinenti. Le definizioni dei processi di Storage Mover utilizzano endpoint per definire le posizioni di origine e di destinazione per le operazioni di copia.

Configurare un endpoint di origine compatibile con GCS S3

Gli endpoint di origine identificano le posizioni da cui viene eseguita la migrazione dei dati. Gli endpoint di origine vengono usati per definire l'origine dei dati specificati all'interno del progetto di migrazione.

I passaggi seguenti descrivono il processo di creazione di un endpoint di origine.

1. Vai all'istanza di Storage Mover nel portale di Azure.

2. Nel gruppo Gestione risorse nel riquadro di spostamento a sinistra selezionare Endpoint di archiviazione. Selezionare la scheda Endpoint di origine e quindi selezionare Crea endpoint per aprire il riquadro Crea endpoint di origine.

3. Nel riquadro Crea endpoint di origine :

   • Selezionare Migrazione multicloud come tipo di migrazione.
   • Selezionare GCS Object Storage- S3 come Tipo di origine.
   • URL di origine: immettere l'URL HTTPS completo del bucket GCS in formato compatibile con S3. Usare il formato: https://storage.googleapis.com/<bucket-name>/ oppure https://storage.googleapis.com/<bucket-name>/<prefix>/ per migrare solo un sottoinsieme di oggetti.
   • URI del segreto di Key Vault della chiave di accesso: immettere l'URI completo del segreto contenente la chiave di accesso HMAC
   • URI del segreto di Secret Key Vault: Immettere l'URI completo del segreto contenente la chiave segreta HMAC
   • Facoltativamente, specificare una descrizione per l'endpoint.

4. Verificare che le selezioni siano corrette e selezionare Crea per creare l'endpoint.

   

   Annotazioni

   Quando viene creato l'endpoint di origine, viene eseguito automaticamente il provisioning di un'identità gestita assegnata dal sistema. Questa identità richiede l'accesso al ruolo di controllo degli accessi in base al ruolo (RBAC) Key Vault Secrets User nell'insieme di credenziali delle chiavi di Azure per recuperare le credenziali HMAC durante la migrazione. Il portale tenta di assegnare automaticamente questo ruolo. Se l'assegnazione non riesce a causa di autorizzazioni insufficienti, assegnarle manualmente o contattare l'amministratore Azure per concedere il ruolo manualmente.

Configurare un endpoint di destinazione Archiviazione BLOB di Azure

1. Nel gruppo Gestione risorse nel riquadro di spostamento a sinistra selezionare Endpoint di archiviazione. Selezionare la scheda Endpoint di destinazione e quindi selezionare Aggiungi endpoint per aprire il riquadro Crea endpoint di destinazione .

2. Nel riquadro Crea endpoint di destinazione :

   • Selezionare la sottoscrizione e l'account di archiviazione nei rispettivi elenchi a discesa.
   • Seleziona contenitore BLOB dal campo Tipo di destinazione.
   • Scegliere il contenitore BLOB di cui si vuole eseguire la migrazione dall'elenco a discesa.
   • Facoltativamente, specificare una descrizione per l'endpoint.

3. Verificare che le selezioni siano corrette e selezionare Crea per creare l'endpoint.

Assegna ruoli RBAC

Quando si creano gli endpoint tramite il portale Azure, i ruoli RBAC necessari vengono assegnati automaticamente alle identità gestite assegnate dal sistema:

Se l'assegnazione automatica non riesce , ad esempio a causa di autorizzazioni insufficienti, è necessario assegnare manualmente questi ruoli o contattare l'amministratore Azure.

Creare un progetto di migrazione e una definizione di attività

Dopo aver definito gli endpoint di origine e di destinazione per la migrazione, i passaggi successivi sono la creazione di un progetto di migrazione di Storage Mover e una definizione del processo.

Un progetto di migrazione consente di organizzare migrazioni di grandi dimensioni in unità più piccole e gestibili. Una definizione di processo descrive le risorse e le opzioni di migrazione per un set specifico di operazioni di copia. Queste risorse includono, ad esempio, gli endpoint di origine e di destinazione e tutte le impostazioni di migrazione da applicare.

Seguire i passaggi descritti in questa sezione per creare un progetto di migrazione ed eseguire un processo di migrazione.

Creare un progetto

1. Passare alla sezione Progetti in Pianificare ed eseguire migrazioni nell'istanza di Spostamento archiviazione e selezionare Crea progetto nella scheda Progetti .

2. Fornire i valori per i campi seguenti:

   • Nome: nome significativo per il progetto di migrazione.
   • Descrizione progetto: descrizione utile per il progetto.

3. Selezionare Crea per creare il progetto.

   

Creare una definizione di lavoro

Selezionare il progetto dopo che viene visualizzato, quindi selezionare Crea un processo. La procedura guidata di creazione del processo comprende quattro schede: Informazioni di base, Pianificazione, Impostazioni e Riepilogo.

Scheda Informazioni di base

1. Fornire i valori per i campi seguenti:

   Campo	Value
   Tipo di migrazione	Selezionare Migrazione multicloud
   Tipo di origine	Selezionare Archiviazione oggetti GCS - S3 (anteprima)
   Tipo di bucket S3	Selezionare Pubblico o Privato (anteprima)
   Nome	Un nome significativo per l'attività
   Description	(Facoltativo) Descrizione del processo (massimo 1.024 caratteri)

   

2. Nella sezione Origine :

   • Endpoint di origine: selezionare Aggiungi endpoint di origine per creare un nuovo endpoint o selezionare un endpoint di origine compatibile con GCS S3 esistente.
   • Sottopercorso di origine: (Facoltativo) Specifica il percorso di una sottocartella per migrare solo una parte del bucket. Se lasciato vuoto, il processo inizia dalla radice del bucket.
   • Verificare che il percorso completo visualizzato sia corretto.

3. Nella sezione Destinazione :

   • Endpoint di destinazione: selezionare Aggiungi endpoint di destinazione per creare un nuovo endpoint oppure selezionare un endpoint di destinazione di Archiviazione BLOB di Azure esistente.
   • Sottopercorso di destinazione: (facoltativo) Specificare una sottocartella di destinazione. Se lasciato vuoto, viene eseguita la migrazione di tutto il contenuto alla radice del contenitore. Un sottopercorso univoco crea una nuova sottocartella.

   

4. Se è stata selezionata l'opzione Privato per il tipo di bucket S3, viene visualizzata una sezione Connessioni private :

   • Selezionare Aggiungi per associare le connessioni private approvate a questa attività.
   • È possibile aggiungere solo le connessioni in stato Approvato .
   • È possibile associare più connessioni private per il bilanciamento del carico.

   Annotazioni

   I bucket privati richiedono connessioni private. È necessario disporre di almeno una connessione privata approvata prima di poter avviare un processo con tipo di bucket privato. Per la procedura di configurazione, vedere Connettività di rete privata per GCS .

5. Seleziona Avanti per continuare.

Scheda Pianificazione

Scegliere quando si vuole eseguire la migrazione:

Scheda delle Impostazioni

1. Selezionare la modalità copia desiderata dall'elenco a discesa:

   Copy mode	Behavior
   Unire il contenuto nella destinazione	I file vengono conservati nella destinazione anche se non esistono nell'origine. I file con nomi e percorsi corrispondenti vengono aggiornati in modo che corrispondano all'origine. Le ridenominazione delle cartelle tra copie potrebbero causare la duplicazione del contenuto nella destinazione.
   Esegui il mirroring dall'origine alla destinazione	Rende la destinazione una replica esatta dell'origine. Anche gli oggetti eliminati dall'origine vengono eliminati dalla destinazione.

2. Esaminare la sezione Risultati della migrazione per comprendere come vengono mappati i dati:

   Risultato	Description
   Struttura della directory	La destinazione supporta le cartelle "virtuali". I file ottengono il percorso di origine anteposto al nome e vengono inseriti in un elenco flat. Le cartelle vuote sono rappresentate come BLOB vuoti con metadati di cartella mantenuti nei metadati personalizzati.
   Creare un timestamp	Conservato come metadati blob personalizzati. Il timestamp nativo del BLOB riflette l'ora in cui è stata eseguita la migrazione del file.
   Data e ora di modifica	Conservato come metadati blob personalizzati. Non esiste alcun timestamp nativo del BLOB di questo tipo.
   Timestamp modificato	Conservato come metadati blob personalizzati. Il timestamp nativo del BLOB riflette l'ora in cui è stata eseguita la migrazione del file.
   Timestamp dell'ultimo accesso	Mantenuto come metadati BLOB personalizzati, se presente nell'origine. Nessun timestamp nativo del BLOB di questo tipo.
   Altri metadati	Salvato nei metadati personalizzati del blob di destinazione. È possibile archiviare solo 4 KiB di metadati. I metadati maggiori di 4 KiB non vengono migrati.
   Protocollo di migrazione cloud	Blob REST API

3. Seleziona Avanti per continuare.

Scheda Revisione

Esaminare il riepilogo della configurazione:

• Informazioni di base: Nome del processo, tipo di migrazione
• Origine: tipo di origine, URL di origine con nome bucket, nome cloud (GCS), percorso secondario di origine
• Destinazione: account di archiviazione, contenitore BLOB di Azure, sottopercorso di destinazione
• Pianificazione: frequenza di migrazione
• Impostazioni: modalità di copia

Se tutte le impostazioni sono corrette, selezionare Crea per distribuire il processo. Selezionare Indietro per apportare modifiche.

Eseguire un'operazione di migrazione

Avviare un processo

Azure portal

1. Vai alla scheda Progetti. L'attività appena creata compare nell'elenco sotto il tuo progetto.
2. Seleziona la definizione del job per visualizzarne i dettagli nella scheda Proprietà.
3. Selezionare il pulsante Avvia processo .
4. Nel riquadro Avvia processo confermare i dettagli del processo e selezionare Avvia per avviare la migrazione.

Il processo viene eseguito in background. È possibile monitorare lo stato di avanzamento nella scheda Panoramica della migrazione .

Monitorare il progresso della migrazione

Quando si usa Storage Mover per eseguire la migrazione dei dati, è necessario monitorare le operazioni di copia per individuare potenziali problemi. I dati relativi alle operazioni eseguite durante la migrazione vengono visualizzati nella scheda Panoramica della migrazione . Questi dati consentono di tenere traccia dello stato di avanzamento della migrazione fornendo informazioni sullo stato corrente e sulle informazioni chiave, ad esempio lo stato, la velocità e il tempo di completamento stimato.

Se configurato, Archiviazione di Azure Mover fornisce anche i log di copia e i log di esecuzione del processo. Questi log consentono di tracciare il risultato della migrazione delle esecuzioni dei processi e dei singoli file.

1. Passare alla scheda Processi di migrazione .
2. Seleziona la tua attività per visualizzare lo stato di avanzamento, la velocità e il tempo di completamento stimato.
3. Selezionare Log per verificare la presenza di errori o avvisi.
4. Al termine della migrazione, verificare i dati in Archiviazione BLOB di Azure.

Per ulteriori informazioni sui log di copia e attività di Storage Mover, vedere l'articolo Come abilitare i log di copia e attività di Storage Mover di Azure.

Convalida post-migrazione

La convalida dei dati post-migrazione garantisce che i dati siano accurati e che il trasferimento da GCS a Archiviazione BLOB di Azure sia completo. Questo processo di convalida verifica l'integrità dei dati confrontando i dati migrati con gli stessi dati dall'origine.

Seguire questa procedura per completare la convalida manuale e pulire le risorse GCS inutilizzate:

1. Confrontare l'origine e la destinazione: verificare che tutti gli oggetti previsti vengano trasferiti confrontando i conteggi degli oggetti e le dimensioni totali dei dati tra il bucket GCS e il contenitore BLOB Azure.
2. Verificare a campione l'integrità dei dati: Scaricare un campione rappresentativo di oggetti sia dall'origine sia dalla destinazione e confrontare i checksum.
3. Abilitare la sincronizzazione incrementale (se necessario): Se devi mantenere sincronizzati nel tempo il bucket GCS e il contenitore BLOB di Azure, pianifica esecuzioni ricorrenti del processo.
4. Dismissione dell'origine: eliminare il bucket GCS e le chiavi HMAC una volta che la migrazione è stata completata e verificata. Rimuovere i segreti corrispondenti da Azure Key Vault quando non sono più necessari.

Risoluzione dei problemi e supporto

Se si verificano problemi durante la migrazione, iniziare la risoluzione dei problemi seguendo questa procedura.

Se non è possibile risolvere il problema, creare una richiesta di supporto tecnico di Azure.

Contenuti correlati

Gli articoli seguenti consentono di acquisire familiarità con il servizio Storage Mover:

• Informazioni sulla gerarchia di risorse di Storage Mover.
• Distribuzione di una risorsa di Storage Mover.
• Come abilitare i log di copia e dei processi di Archiviazione di Azure Mover.
• Gestire gli endpoint di Archiviazione di Azure Mover.