Che cos'è il throughput provisionato per i modelli Foundry?

Visualizzazione attualmente:Nuova versione - Passare alla versione per il portale di Foundry classico

La larghezza di banda dedicata è un tipo di distribuzione in Microsoft Foundry che garantisce una larghezza di banda dedicata per l'elaborazione dei modelli nella tua distribuzione. A differenza delle distribuzioni standard, in cui la capacità di inferenza è condivisa tra i clienti e la velocità di elaborazione può variare in base alla domanda, una distribuzione con capacità riservata mantiene una quantità fissa di capacità di elaborazione dedicata esclusivamente alla distribuzione, indipendentemente dal fatto che vengano inviate richieste oppure no.

Questo articolo illustra i concetti fondamentali alla base del throughput provisionato: cos’è, quando utilizzarlo, come viene misurata e fatturata la capacità, e cosa occorre sapere in merito alle quote e alla capacità prima di procedere all’implementazione.

Categorie di distribuzione confrontate

Le distribuzioni standard, le distribuzioni in batch, l'elaborazione prioritaria e la larghezza di banda garantita sono modalità di distribuzione dei modelli in Microsoft Foundry. La scelta corretta dipende dai requisiti di latenza, dai modelli di traffico e dalla tolleranza dei costi.

Quando usare la velocità effettiva con provisioning

La larghezza di banda garantita è la scelta giusta quando la tua applicazione presenta:

• Modelli di traffico prevedibili: si dispone di una stima ragionevole delle richieste al minuto e dei volumi di token.
• Requisiti sensibili alla latenza: gli utenti o i sistemi downstream necessitano di risposte coerenti e a bassa latenza.
• Volumi a livello di produzione: casi d'uso con throughput elevato in cui la fatturazione per token diventa costosa.
• Scenari in tempo reale o interattivi: applicazioni chat, copiloti o agenti in cui i tempi di risposta variabili riducono l'esperienza utente.

Le distribuzioni standard rimangono più adatte per lo sviluppo, il test, l'utilizzo a basso volume o il traffico altamente variabile che rende difficile ridimensionare una distribuzione in anticipo.

Unità elaborate con provisioning (PTU)

Le unità di throughput assegnate (PTU) sono l'unità di misura del throughput assegnato. Un PTU rappresenta una quantità fissa di capacità di elaborazione del modello. Quando si crea una distribuzione con provisioning, è necessario specificare il numero di PTU da assegnare. Foundry riserva tale quantità di risorse di calcolo e la mantiene a disposizione per la tua distribuzione.

Caratteristiche principali delle PTU:

• Indipendente dal modello: la stessa quota PTU può essere usata per distribuire qualsiasi modello supportato. Non si acquistano PTU per un modello specifico.
• Specifica dell'area: la quota PTU viene concessa per sottoscrizione, per area e per tipo di distribuzione. La quota negli Stati Uniti orientali non passa all'Europa occidentale.
• La velocità effettiva varia in base al modello: i token al minuto (TPM) forniti da un determinato numero di PTU dipendono dal modello. Un modello più pesante richiede più PTU per gestire lo stesso TPM di uno più leggero. Per i rapporti da PTU a TPM per modello, vedere Parametri di velocità effettiva per modello.
• Si applicano le dimensioni minime della distribuzione: ogni modello ha un numero minimo di PTU necessario per creare una distribuzione. I minimi variano in base al modello e sono elencati in Parametri di distribuzione e valori di velocità effettiva in base al modello.

Quota e capacità

La quota e la capacità di PTU sono correlati ma concetti distinti che influiscono su se è possibile creare una distribuzione. In questa sezione viene illustrato che cos'è, come richiedere una quota aggiuntiva e come verificare se la capacità è disponibile nell'area.

Che cos'è la quota PTU?

La quota PTU è il numero massimo di PTU che è possibile distribuire per sottoscrizione, per area e per tipo di distribuzione. La quota è un limite di criteri applicato da Azure e non ha alcun costo associato. La quota è definita a livello di offerta (Global Provisioned, Data Zone Provisioned e Regional Provisioned sono pool di quote separati) e a livello di area geografica (ad esempio, la quota in East US non si applica a West Europe).

Una quota predefinita viene assegnata alle sottoscrizioni idonee in diverse aree.

Che cos'è la capacità?

La capacità è la quantità effettiva di PTU per ogni versione del modello che è disponibile per la distribuzione. La capacità viene allocata in fase di distribuzione e mantenuta per la durata della distribuzione.

Poiché la capacità è una risorsa finita che cambia dinamicamente:

• La disponibilità della capacità cambia durante il giorno in base alla domanda dei clienti in tutte le aree e in tutti i modelli.
• L'eliminazione o la riduzione delle dimensioni di una distribuzione rilascia la relativa capacità nel pool della regione. Non esiste alcuna garanzia che la stessa capacità sia disponibile se si ricrea o si ridimensiona la distribuzione in un secondo momento.

Come ottenere la quota

Una quantità predefinita di quota con provisioning globale, zona dati e a livello di area viene assegnata alle sottoscrizioni idonee in diverse aree. È possibile richiedere una maggiore quota o capacità inviando il modulo di richiesta di quota. Il modulo è disponibile anche nel portale Foundry nella pagina Quota .

L'approvazione potrebbe richiedere diversi giorni in base alla disponibilità della quota e si riceve una notifica tramite posta elettronica quando la richiesta viene approvata.

Come controllare la capacità disponibile

Per verificare la disponibilità della capacità in tempo reale:

• Usare l'esperienza di distribuzione del portale Foundry, che indica se la capacità è disponibile quando si tenta di creare una distribuzione ed elenca le aree alternative con capacità disponibile se l'area di destinazione non è sufficiente.
• Usare l'API delle capacità del modello per eseguire una query a livello di codice sul numero massimo di PTU distribuibili per un determinato modello e area.

Se l'area di destinazione non ha capacità disponibile:

• Inviare il modulo di richiesta di quota per richiedere una maggiore quota o capacità.
• Prova a distribuire con meno PTU.
• Riprovare più tardi, man mano che la disponibilità della capacità cambia in modo dinamico durante il giorno.

Per istruzioni dettagliate sulla creazione di distribuzioni con provisioning e sulla gestione dei vincoli di capacità, vedere Introduzione alle distribuzioni con provisioning.

Dimensionamento della PTU

Prima di creare una distribuzione con provisioning, valuta quante PTU sono necessarie per il tuo carico di lavoro. Tre fattori determinano il calcolo:

• Forma richiesta: le richieste previste al minuto (RPM), le dimensioni medie dei prompt (token di input) e le dimensioni medie della risposta (token di output).
• Rapporto tra output e input: i token di output richiedono una capacità di elaborazione maggiore rispetto ai token di input. Ogni modello ha un rapporto che esprime il numero di token di input che un token di output equivale a per scopi di capacità. Per i modelli GPT-4.1 e per i successivi modelli Azure OpenAI, questo rapporto corrisponde al rapporto di prezzo standard globale del modello tra token di output e token di input. Per altre informazioni su questo rapporto, vedere Parametri di distribuzione e valori di velocità effettiva per modello.
• Percentuale della cache: la frazione dei token di input forniti dalla cache del prompt. I token memorizzati nella cache non utilizzano la capacità PTU, quindi una frequenza di cache più elevata riduce le unità PTU necessarie.

Il calcolo delle dimensioni usa questi fattori per convertire i volumi di token previsti in una singola figura TPM normalizzata , quindi divide per valore TPM di input per PTU del modello per arrivare al conteggio PTU richiesto.

È possibile ridimensionare manualmente, usando le formule e i valori per modello oppure usare il calcolatore della capacità nel portale foundry per una stima guidata.

Per la metodologia di dimensionamento completa, incluse formule, esempi elaborati e informazioni di riferimento sul calcolatore della capacità, vedere Determinare il ridimensionamento PTU per un carico di lavoro.

Tipi di implementazione con throughput predefinito

La larghezza di banda garantita è disponibile in tre tipi di implementazione. Tutti forniscono capacità dedicata e latenza prevedibile dopo la distribuzione. La differenza è la posizione in cui viene elaborato il traffico di inferenza:

Per un confronto completo di tutti i tipi di distribuzione Foundry, inclusi standard, batch e con provisioning, vedere Deployment types for Microsoft Foundry Models.

Modelli supportati

Per un elenco completo dei modelli Foundry che supportano la larghezza di banda garantita, compresi i tipi di distribuzione supportati da ciascun modello e la disponibilità a livello regionale, consultare Disponibilità a livello regionale dei modelli Foundry venduti direttamente da Azure.

Effetto a catena

Lo spillover è una configurazione opzionale che consente di gestire le fluttuazioni del traffico nelle distribuzioni provisionate, reindirizzando automaticamente le richieste in eccesso verso una distribuzione standard corrispondente all'interno della stessa risorsa Foundry. Quando una distribuzione sottoposta a provisioning è completamente utilizzata e restituisce risposte con codice diverso da 200, ad esempio 429 quando le PTU sono esaurite, il meccanismo di spillover reindirizza tali richieste alla distribuzione standard, contribuendo a ridurre le interruzioni durante i picchi di traffico.

Tutti i modelli Azure OpenAI in Foundry che supportano la larghezza di banda con provisioning supportano anche lo spillover. I modelli foundry di altri provider (Azure DeepSeek, Meta Llama) attualmente non supportano lo spillover.

Lo spillover può essere configurato per tutte le richieste su una distribuzione oppure controllato per singola richiesta utilizzando l'intestazione di richiesta x-ms-spillover-deployment. Per le istruzioni di configurazione, consultare Gestione del traffico con spillover per le distribuzioni configurate.

Fatturazione oraria e prenotazioni Azure

Le distribuzioni provisionate supportano due modalità di fatturazione: fatturazione oraria per un utilizzo flessibile e a breve termine e Azure Reservations per carichi di lavoro di produzione continui a una tariffa scontata.

Fatturazione oraria

Tutti i tipi di distribuzione provisionati vengono fatturati a una tariffa oraria ($/PTU/hr) in base al numero di PTU provisionate, indipendentemente dal numero di token consumati. Il contatore inizia a funzionare quando viene creata l'implementazione e si interrompe quando questa viene eliminata.

La fatturazione oraria è pratica per scenari a breve termine, ad esempio il benchmarking di un nuovo modello o il ridimensionamento temporaneamente per un evento come un hackathon. Tuttavia, non prevedere di aumentare o ridurre le distribuzioni configurate in base al traffico per continuare a usufruire della fatturazione oraria per i seguenti motivi:

• La capacità potrebbe non essere disponibile quando sarà necessario aumentarla di nuovo.

• La fatturazione oraria continua con un utilizzo elevato supera in genere le tariffe di prenotazione.

Per informazioni complete sulla fatturazione oraria e sul ridimensionamento delle distribuzioni provisionate, consultare Fatturazione oraria.

Prenotazioni di Azure

Le prenotazioni di Azure sono uno sconto economico applicato al contatore di fatturazione PTU (il contatore dell'utilizzo orario in base al quale Azure addebita i costi), non alle singole distribuzioni. In cambio di un impegno di 1 mese o 1 anno, si riceve una tariffa effettiva $/PTU/hr scontata. Alcuni aspetti chiave da notare sulle prenotazioni includono:

• Le prenotazioni vengono acquistate per tipo di distribuzione (globale, zona dati o area geografica) e possono essere limitate a una o più sottoscrizioni o gruppi di risorse.

• Le prenotazioni e le distribuzioni sono vagamente correlate, il che significa che è possibile creare distribuzioni e prenotazioni in modo indipendente.

• Le prenotazioni non garantiscono la capacità. Crea prima le distribuzioni per verificare che la capacità sia disponibile, quindi acquista la prenotazione per garantirti la tariffa scontata.

Per informazioni complete su come dimensionare, acquistare e gestire le prenotazioni, consultare Prenotazioni Azure per la larghezza di banda con provisioning.

Come tenere traccia dei costi e della fatturazione di PTU

Usare Gestione dei costi Microsoft per tenere traccia e analizzare i costi di utilizzo e prenotazione PTU:

Contenuti correlati

• Inizia con le distribuzioni preconfigurate
• Costi e fatturazione PTU
• Gestire il traffico con spillover per le distribuzioni di cui è stato effettuato il provisioning
• Abilita l'elaborazione prioritaria per i modelli Microsoft Foundry
• Risparmia sui costi con le prenotazioni di throughput fornite da Microsoft Foundry
• Quote e limiti per i modelli Foundry