Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Connettersi alle GPU H100 ed eseguire carichi di lavoro distribuiti nel runtime di intelligenza artificiale usando la serverless_gpu libreria Python.
La serverless_gpu libreria consente l'esecuzione senza problemi dei carichi di lavoro GPU direttamente dai notebook di Databricks. Fornisce decoratori e strumenti di runtime per il calcolo distribuito su GPU. Per altre informazioni, vedere la documentazione dell'API GPU serverless.
Connessione alla computazione GPU senza server
Per eseguire questo notebook, è necessario accedere al calcolo GPU serverless di Databricks con acceleratori H100.
- Nel selettore di calcolo selezionare GPU serverless.
- Nella scheda "Ambiente" sul lato destro selezionare 8xH100 per l'acceleratore. Questa opzione usa 8 chip H100 in un singolo nodo.
- Scegliere Ambiente di intelligenza artificiale v5 nel pannello destro che contiene tutte le librerie necessarie per eseguire questo esempio di notebook.
- Fare clic su Applica.
Quando usare GPU H100
Rispetto agli A10s, gli H100s offrono operazioni in virgola mobile per secondo (FLOPS) più elevate e memoria HBM con larghezza di banda elevata. Usare H100s per il training di modelli di grandi dimensioni in cui è necessaria una velocità effettiva elevata e/o una memoria GPU di grandi dimensioni.
Verificare la connessione GPU
Usare il nvidia-smi comando per verificare di essere connessi a 8 GPU H100. Questo comando visualizza informazioni sulla GPU, tra cui modello, memoria e utilizzo.
%sh nvidia-smi
Thu Jan 15 17:56:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.57.08 Driver Version: 575.57.08 CUDA Version: 12.9 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA H100 80GB HBM3 On | 00000000:53:00.0 Off | 0 |
| N/A 26C P0 70W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA H100 80GB HBM3 On | 00000000:64:00.0 Off | 0 |
| N/A 28C P0 68W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 2 NVIDIA H100 80GB HBM3 On | 00000000:75:00.0 Off | 0 |
| N/A 26C P0 71W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 3 NVIDIA H100 80GB HBM3 On | 00000000:86:00.0 Off | 0 |
| N/A 29C P0 68W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 4 NVIDIA H100 80GB HBM3 On | 00000000:97:00.0 Off | 0 |
| N/A 27C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 5 NVIDIA H100 80GB HBM3 On | 00000000:A8:00.0 Off | 0 |
| N/A 26C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 6 NVIDIA H100 80GB HBM3 On | 00000000:B9:00.0 Off | 0 |
| N/A 26C P0 69W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
| 7 NVIDIA H100 80GB HBM3 On | 00000000:CA:00.0 Off | 0 |
| N/A 26C P0 67W / 700W | 0MiB / 81559MiB | 0% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+
Esempio Hello World
Questo esempio illustra come eseguire una funzione distribuita tra più GPU usando il decoratore @distributed.
La funzione annotata seguente viene eseguita su 8 processi, una per GPU nel nodo a cui è collegato il notebook.
La funzione usa il runtime modulo per accedere ai ranghi della GPU locale e globale.
from serverless_gpu import distributed
from serverless_gpu import runtime as rt
@distributed(
gpus=8,
gpu_type='h100',
)
def hello_world(name: str) -> list[int]:
if rt.get_local_rank() == 0:
print('hello world', name)
return rt.get_global_rank()
result = hello_world.distributed('SGC')
assert result == [0, 1, 2, 3, 4, 5, 6, 7]
Passaggi successivi
- Procedure consigliate per il calcolo GPU serverless
- Risoluzione dei problemi di elaborazione GPU senza server
- Formazione distribuita multi-GPU e multi-nodo
- Documentazione dell'API GPU serverless