Determinare un dimensionamento delle PTU per un carico di lavoro

Visualizzazione attualmente:Nuova versione - Passare alla versione per il portale di Foundry classico

Prima di creare una distribuzione con provisioning, stimare di quante unità di velocità effettiva con provisioning (PTU) ha bisogno il carico di lavoro. Questo articolo fornisce i parametri di throughput necessari per ogni modello e illustra come calcolare i requisiti PTU utilizzando formule di dimensionamento o il calcolatore della capacità di Foundry.

Se non si ha familiarità con la velocità effettiva con provisioning, iniziare con Che cos'è la velocità effettiva con provisioning per i modelli foundry?. Quando sei pronto per creare la distribuzione, vedi Avvio rapido: Creare una distribuzione con throughput provisionato.

Prerequisites

Familiarità con i concetti descritti in Che cos'è la velocità effettiva con provisioning per i modelli Foundry?.
Stima delle caratteristiche del carico di lavoro: richieste di picco previste al minuto (RPM), dimensioni medie dei prompt nei token e dimensioni medie delle risposte nei token.

Stimare le PTU necessarie

Sono disponibili due approcci per stimare il numero di PTU necessari per un carico di lavoro:

Usare le formule di ridimensionamento per il controllo completo del calcolo
Usa il calcolatore della capacità di Foundry per una stima guidata.

Entrambi gli approcci usano valori per modello dalle tabelle dei parametri di distribuzione per generare stime. Per ottenere risultati più accurati, eseguire il benchmark di una distribuzione rispetto al traffico rappresentativo anziché basarsi esclusivamente sugli input stimati.

Note

Per i modelli meno recenti (prima di GPT-4o), la distribuzione della forma di richiesta/chiamata influisce sul consumo di capacità: un numero ridotto di chiamate di grandi dimensioni può utilizzare una capacità significativamente maggiore rispetto a molte chiamate di piccole dimensioni con lo stesso numero medio di token. Per i modelli GPT-4o e versioni successive, TPM per PTU viene impostato separatamente per i token di input e output, quindi questo effetto di suddivisione in livelli non viene applicato.

Stima manualmente

È possibile stimare i PTU richiesti dal carico di lavoro usando i valori specifici del modello dalle tabelle dei parametri di distribuzione e le informazioni sul traffico previsto come indicato di seguito:

Input	Description
Modello	Il modello che si intende distribuire, ad esempio, `gpt-5.2`. Determina i valori del TPM di input per PTU e rapporto output-to-input da usare dalle tabelle dei parametri di distribuzione.
Tipo di distribuzione	Il tipo di distribuzione con provisioning: con provisioning globale, con provisioning nell'area dati o con provisioning regionale.
Rpm di picco	Numero massimo previsto di chiamate al minuto inviate al modello.
Dimensioni medie richieste	Numero medio di token di input per richiesta.
Dimensioni medie della risposta	Numero medio di token di output per richiesta.
Velocità della cache	Percentuale di token di input forniti dalla cache dei prompt. Usare `0` se la memorizzazione nella cache non viene usata. I token memorizzati nella cache vengono detratti da 100% dal calcolo dell'utilizzo e non usano la capacità PTU.

TPM normalizzato

Il calcolo manuale delle PTU converte il volume di token previsto in un singolo numero denominato TPM normalizzato. Il numero di PTU necessari viene quindi determinato dividendo il TPM normalizzato in base al valore TPM di input del modello per PTU .

Formule:

TPM di input = RPM di picco × dimensione media del prompt (token)
TPM di output = RPM di picco × dimensione media della risposta (token)
TPM normalizzato = (TPM di input × (1 − frequenza cache)) + (rapporto tra output e input × TPM di output)
PTU necessarie = TPM di input normalizzati ÷ TPM di input per ogni PTU

Esempio lavorato:

Si supponga che l'applicazione invii richieste con una velocità massima di 1.000 RPM, con una dimensione media di richiesta di 200 token e una dimensione media di risposta di 20 token, usando il modello gpt-5.2 con la distribuzione della velocità effettiva con provisioning dell'area dati. Dalla tabella gpt-5.2 ha un TPM di input per PTU pari a 3.400 e un rapporto di output-input pari a 8.

TPM di input = 1.000 × 200 = 200.000
TPM di output = 1.000 × 20 = 20.000
TPM normalizzato (nessuna cache) = 200.000 + (8 × 20.000) = 360.000
PTU richieste = 360.000 ÷ 3.400 = 105,88 (110 PTU, arrotondate per eccesso al multiplo di 5 PTU più vicino, in linea con l'incremento della scala Provisioned Data Zone per gpt-5.2.)

Se il 50% dei token di input proviene dalla prompt cache:

TPM di input effettivo = 200.000 × (1 − 0,50) = 100.000
TPM normalizzato = 100.000 + (8 × 20.000) = 260.000
PTU richieste = 260.000 ÷ 3.400 = 76,47 (80 PTU, arrotondate per eccesso al multiplo di 5 PTU più vicino, in linea con l'incremento della scala Provisioned Data Zone per gpt-5.2.)

Di seguito sono riepilogati i PTU necessari per questa forma di chiamata di esempio con e senza memorizzazione nella cache:

Chiamate di picco al minuto (RPM)	Dimensione del prompt (token)	Dimensioni della risposta (token)	Tasso della cache	Ingresso TPM	TPM in uscita	TPM normalizzato	PTU stimati	PTU (arrotondate per eccesso)¹
1,000	200	20	0%	200,000	20,000	360.000	105.88	110
1,000	200	20	50%	100,000	20,000	260.000	76.47	80

¹ Arrotondato al multiplo di 5 PTU più vicino, in linea con l'incremento di scala della zona dati di cui è stato effettuato il provisioning per gpt-5.2.

Usare il calcolatore della capacità

Usare il calcolatore della capacità nel portale foundry per ridimensionare forme di carico di lavoro specifiche. Trovare il calcolatore nella pagina Quota e immettere i parametri seguenti in base al carico di lavoro:

Input	Description
Modello	Modello che si prevede di usare.
Versione	Versione del modello che si prevede di usare.
Picco di chiamate al minuto	Numero di chiamate al minuto che si prevede di inviare al modello.
Token nella chiamata di prompt	Numero di token nel prompt per ciascuna chiamata al modello. Le chiamate con richieste di dimensioni maggiori utilizzano una maggiore capacità PTU. Il calcolatore presuppone un unico valore per il prompt: per i carichi di lavoro con un’ampia variabilità nella dimensione dei prompt, esegui un benchmark dell’implementazione rispetto al traffico effettivo per ottenere una stima più accurata.
Token nella risposta del modello	Numero di token generati per chiamata, denominati anche dimensioni di generazione. Le chiamate con dimensioni di generazione maggiori consumano più capacità PTU. Come per i token di richiesta, il calcolatore presuppone un singolo valore.
Velocità della cache	Percentuale di token di input provenienti dalla cache dei prompt.

Dopo aver compilato i dettagli necessari, selezionare Calcola. L'output mostra:

Conteggio PTU stimato necessario per il carico di lavoro. Questo valore viene arrotondato fino all'incremento di scala PTU più vicino per il tipo di distribuzione selezionato o al numero minimo di PTU del tipo di distribuzione, a seconda di quale sia maggiore.
Conteggio PTU stimato (non arrotondato).

Impatto dei token di input e output sulla velocità effettiva

La capacità effettiva (misurata in token al minuto, o TPM) che una distribuzione ottiene per ogni PTU dipende dal modello e dalla combinazione di token di input e di output in un determinato minuto. La generazione di token di output richiede una capacità di elaborazione maggiore rispetto all'utilizzo di token di input.

Per i modelli GPT-4.1 e versioni successive, il sistema determina un rapporto di output-input in modo che corrisponda al rapporto di prezzo standard globale tra i token di input e di output, con eccezioni per alcuni modelli. Ad esempio:

Per gpt-5, un token di output equivale a otto token di input ai fini del limite di utilizzo, in linea con il rapporto del prezzo standard globale del modello.
Per gpt-4.1, un token di output viene conteggiato come quattro token di input.
I modelli meno recenti usano rapporti diversi.

Per tutte le distribuzioni, i token memorizzati nella cache vengono dedotti 100% dal calcolo dell'utilizzo, ovvero i token di richiesta ripetuti non utilizzano la capacità PTU. Per altre informazioni, vedere Richiedi memorizzazione nella cache .

Modelli con un rapporto output-input non standard

Alcuni modelli usano un rapporto output-input che differisce dal rapporto di prezzo standard globale. Ad esempio, con Llama-3.3-70B-Instruct, un token di output equivale a quattro token di input ai fini del tuo limite di utilizzo, il che è diverso dal rapporto di prezzo standard di quel modello. Vedere i prezzi per i modelli Llama per la ripartizione completa dei prezzi di input e output.

Parametri di distribuzione e valori di velocità effettiva per modello

Le tabelle in questa sezione elencano i parametri di velocità effettiva e distribuzione per ogni modello supportato. Per comprendere il significato dei parametri in ciascuna riga, consulta l'Appendice.

Modelli OpenAI Azure più recenti

Note

Gli obiettivi di latenza nella tabella seguente escludono il contesto esteso, ovvero le richieste che superano la soglia:

128.000 token di richiesta per gpt-5.4, gpt-4.1, gpt-4.1-minie gpt-4.1-nano
272.000 token di richiesta per gpt-5.6-terra e gpt-5.6-sol

Il sistema instrada tali richieste alle distribuzioni di spillover, se disponibili. In caso contrario, le richieste restituiscono un errore.

Topic	gpt-5.6-terra, 2026-07-09	gpt-5.6-sol, 2026-07-09	gpt-5.5, 2026-04-24	gpt-5.4, 2026-03-05	gpt-5.4-mini, 2026-03-17	gpt-5.3-codex, 2026-02-24	gpt-5.2, 2025-12-11	gpt-5.2-codex, 2026-01-14	gpt-5.1, 2025-11-13	gpt-5.1-codex, 2025-11-13	gpt-5, 2025-08-07	gpt-5-mini, 2025-08-07	gpt-4.1, 2025-04-14	gpt-4.1-mini, 2025-04-14	gpt-4.1-nano, 2025-04-14	o3, 2025-04-16	o4-mini, 2025-04-16
Distribuzione minima con provisioning a livello di area e di zona dati	15	15	15	15	15	15	15	15	15	15	15	15	15	15	15	15	15
Incremento delle dimensioni di provisioning a globale e a livello di zona dati	5	5	5	5	5	5	5	5	5	5	5	5	5	5	5	5	5
Distribuzione minima prevista a livello regionale	50	50	50	50	25	50	50	50	50	50	50	25	50	25	25	50	25
Incremento della scala provisionata regionale	50	50	50	50	25	50	50	50	50	50	50	25	50	25	25	50	25
TPM di input per PTU	2,400	1,200	1,200	2,400	7,900	3,400	3,400	3,400	4,750	4,750	4,750	23.750	3,000	14,900	59.400	3,000	5,400
Rapporto tra output e input	6	6	6	6	6	8	8	8	8	8	8	8	4	4	4	4	4
Valore di destinazione della latenza¹	99% > 70 TPS	99% > 50 TPS	99% > 100 TPS	99% > 50 TPS	99% > 100 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 80 TPS	99% > 80 TPS	99% > 90 TPS	99% > 100 TPS	99% > 80 TPS	99% > 90 TPS

¹ Calcolata come latenza di richiesta p50 su base 5 minuti. TPS = token al secondo.

Modelli OpenAI precedenti Azure

Topic	gpt-4o	gpt-4o-mini	o3-mini	o1
Distribuzione minima con provisioning a livello di area e di zona dati	15	15	15	15
Incremento delle dimensioni di provisioning a globale e a livello di zona dati	5	5	5	5
Distribuzione minima prevista a livello regionale	50	25	25	25
Incremento della scala provisionata regionale	50	25	25	50
TPM di input per PTU	2,500	37,000	2,500	230
Rapporto tra output e input	4	4	4	4
Valore di destinazione della latenza¹	99% > 25 TPS	99% > 33 TPS	99% > 66 TPS	99% > 25 TPS

¹ Calcolato come latenza media delle richieste in base al minuto nel mese. TPS = token al secondo.

Foundry Models venduto da Azure

In questa sezione sono elencati altri modelli Foundry venduti da Azure, non inclusi i Azure OpenAI in Foundry Models elencati nelle tabelle precedenti.

Topic	Llama-3.3-70B-Instruct	DeepSeek-R1	DeepSeek-V3-0324
Distribuzione minima con provisioning a livello di area e di zona dati	100	100	100
Incremento delle dimensioni di provisioning a globale e a livello di zona dati	100	100	100
Distribuzione minima prevista a livello regionale	NA	NA	NA
Incremento della scala provisionata regionale	NA	NA	NA
TPM di input per PTU	8,450	4,000	4,000
Rapporto tra output e input	4¹	4	4
Valore di destinazione della latenza²	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS

¹ Per Llama-3.3-70B-Instruct, un token di output conta come quattro token di input verso il limite di utilizzo. Questo rapporto è diverso dal rapporto di prezzo standard globale tra i token di input e di output. Vedere Modelli con un rapporto output-to-input non standard e prezzi del modello Llama.

² Calcolato come latenza media delle richieste in base al minuto nel corso del mese. TPS = token al secondo.

Fuochi d'artificio su modelli Microsoft Foundry

I seguenti modelli Fireworks in Microsoft Foundry supportano sia il throughput con provisioning della zona dei dati globale e degli Stati Uniti.

Topic	DeepSeek v3.1	DeepSeek v3.2	DeepSeek V4 Flash	DeepSeek V4 Pro	Gemma 4 26B A4B IT	Gemma 4 31B IT	GLM-4.7	GLM 5	GLM-5.1	GLM 5.2	gpt-oss-120b	Kimi K2 Instruct 0905	Kimi K2 Thinking	Kimi K2.5	Kimi K2.6	Codice Kimi K2.7	MiniMax M2.5	Ministral 3 3B Instruct 2512	Nemotron Super 120B	Qwen 3.5 9B	Qwen 3.5 35B A3B	Qwen 3.5 112B A10B	Qwen 3.5 397B	Qwen 3.6 27B	Qwen 3.6 35B A3B
Distribuzione minima	200	300	100	400	200	200	200	300	400	400	40	200	200	200	200	200	400	40	100	40	40	100	100	40	40
Incremento per il ridimensionamento	100	150	50	200	100	100	100	150	200	200	20	100	100	100	100	100	200	20	50	20	20	50	50	20	20
TPM di input per PTU	2.100	3,000	2.800	200	5,400	2.200	6,000	600	900	300	13,500	2,500	1,400	1,060	4,000	2,000	5.300	25,400	4,850	10.700	17,800	5.600	4.250	7,700	31,000
Valore di destinazione della latenza¹	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS	99% > 50 TPS