Azure OpenAI nei modelli Microsoft Foundry: quote e limiti

Questo articolo contiene un riferimento rapido e una descrizione dettagliata delle quote e dei limiti per Azure OpenAI.

Ambito della quota

Le quote e i limiti non vengono applicati a livello di tenant. Al contrario, il livello massimo di restrizioni di quota è ambito al livello di abbonamento di Azure.

Allocazione della quota a livello di area

I token al minuto (TPM) e le richieste al minuto (RPM) sono definiti per area, per sottoscrizione e per modello o tipo di distribuzione.

Ad esempio, se il modello gpt-4.1 Global Standard è elencato con una quota di 5 milioni di TPM e 5.000 RPM, ogni regione in cui è disponibile il modello o tipo di distribuzione ha un proprio pool di quote dedicato per ciascuna delle sottoscrizioni Azure. All'interno di una singola sottoscrizione Azure, è possibile usare una quantità maggiore di quote TPM e RPM totali per un determinato modello e tipo di distribuzione, purché si disponga di risorse e distribuzioni di modelli distribuite in più aree.

Livelli di quota

Sono stati introdotti modelli di quota per migliorare l'esperienza dei modelli Foundry e ridurre le difficoltà man mano che i carichi di lavoro aumentano. Le quote aumentano automaticamente con l'utilizzo, consentendo di evitare errori di limite di velocità, creando anche un ambiente più equo per tutti gli utenti. Verranno resi disponibili sette livelli: livello gratuito e livelli da 1 a 6, con il livello 6 che offre le quote più elevate. Il livello assegnato iniziale di un cliente si basa sull'utilizzo corrente di tale modello e sulla relazione corrente con Microsoft, ad esempio lo stato contratto Enterprise (EA o MCA-E). 

Cosa cambia per me?

In precedenza, Foundry offriva solo i livelli di quota Predefinita ed Enterprise per le offerte 'pay as you go', con un grande divario tra ciascun livello e un processo più lungo per richiedere incrementi. Con i livelli di quota, a tutti gli utenti viene assegnato un livello con quote uguali o superiori ai livelli precedenti. Eventuali aumenti di quota approvati in precedenza vengono mantenuti e non verranno ridotti. Con l'aumentare dell'utilizzo, Foundry aumenta automaticamente le quote spostando gli utenti a livelli più elevati e la quota aggiuntiva può comunque essere richiesta tramite il modulo di quota.

In che modo un cliente passerà automaticamente da un livello a un altro, ad esempio quali sono i criteri di modifica del livello? 

Gli aggiornamenti automatici dei livelli si basano principalmente sulle tendenze di consumo dei clienti nei modelli Foundry nel corso del tempo. Se l'utilizzo di un cliente aumenta in modo che il livello di quota corrente limiti la possibilità di usare i modelli Foundry, il sistema aggiornerà automaticamente il cliente al livello superiore successivo. Viene presa in considerazione anche la relazione di un cliente con Microsoft. Ai clienti con relazioni Enterprise (inclusi EA e MCA-E) con Microsoft vengono assegnati livelli di quota più elevati. Inoltre, Microsoft considererà anche la cronologia dei pagamenti di un cliente per determinare l'idoneità per gli aggiornamenti automatici. 

È possibile rifiutare esplicitamente gli aggiornamenti automatici?

Sì, è possibile rifiutare esplicitamente gli aggiornamenti automatici e rimanere nel livello corrente indipendentemente dalle modifiche apportate all'utilizzo. Alcuni clienti usano la quota per gestire la fatturazione. Questa non è la Azure procedura consigliata, tuttavia, sappiamo che se il sistema è configurato in questo modo non vogliamo interromperlo. Per altre informazioni sulla gestione della fatturazione e sulle procedure consigliate, vedere Gestione costi.

Per rifiutare esplicitamente, è possibile impostare il flag seguente su NoAutoUpgrade:

curl -X PATCH \
  "https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/quotaTiers/default?api-version=2025-10-01-preview" \
  -H "Authorization: Bearer <YOUR_ACCESS_TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "properties": {
      "tierUpgradePolicy": "NoAutoUpgrade"
    }
  }'

È possibile richiedere più quote?

Sì, usando il modulo di richiesta di quota è sempre possibile richiedere più quota. Se la richiesta viene approvata, il livello corrente rimarrà invariato, ma con più quote assegnate.

Come è possibile controllare il livello di quota della sottoscrizione?

È attualmente possibile controllare il livello di quota con l'API del piano di controllo:

curl -X GET \
  "https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/quotaTiers?api-version=2025-10-01-preview" \
  -H "Authorization: Bearer $(az account get-access-token --resource https://management.azure.com --query accessToken -o tsv)" \
  -H "Content-Type: application/json"

import requests
import json
from azure.identity import DefaultAzureCredential


subscriptionId = "{YOUR-SUBSCRIPTION-ID}"
api_version = "2025-10-01-preview" 
base_url = "https://management.azure.com"

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {
    'Authorization': 'Bearer ' + token.token,
    'Content-Type': 'application/json'
}


list_url = (
    f"{base_url}/subscriptions/{subscriptionId}"
    f"/providers/Microsoft.CognitiveServices/quotaTiers"
    f"?api-version={api_version}"
)

response = requests.get(list_url, headers=headers)
print(json.dumps(response.json(), indent=2))

{
  "value": [
    {
      "properties": {
        "currentTierName": "Tier 1",
        "assignmentDate": "2025-10-18T05:09:05.6334222Z",
        "tierUpgradePolicy": "OnceUpgradeIsAvailable"
      },
      "id": "/subscriptions/aaaaa-bbbbb-ccccc-dddd-eeeeeee/providers/Microsoft.CognitiveServices/quotaTiers/default",
      "name": "default",
      "type": "Microsoft.CognitiveServices/quotaTiers"
    }
  ]
}

Riferimento ai livelli di quota

Informazioni di riferimento su quote e limiti

La sezione seguente fornisce una guida rapida alle quote e ai limiti predefiniti applicabili a Azure OpenAI:

¹ La quota Sora 2 RPM conta solo le richieste di elaborazione video. Altri tipi di richieste non sono limitati a livello di frequenza.

² Le API correnti consentono fino a 10 intestazioni personalizzate, che vengono passate attraverso la pipeline e restituite. Alcuni clienti ora superano il limite di questo numero di intestazioni, causando errori HTTP 431. Non esiste alcuna soluzione per questo errore, ad eccezione di ridurre il volume dell'intestazione. Nelle versioni future dell'API non verranno passate intestazioni personalizzate. È consigliabile che i clienti non dipendano dalle intestazioni personalizzate nelle future architetture di sistema.

Limiti relativi a Batch

Quota batch

La tabella mostra il limite di quota batch. I valori delle quote per il batch globale sono rappresentati in termini di token accodati. Quando si invia un file per l'elaborazione batch, viene conteggiato il numero di token nel file. Fino a quando il processo batch non raggiunge uno stato terminale, questi token vengono conteggiati rispetto al limite totale di token accodati.

Batch globale

B = miliardi | M = milioni | K = migliaia

Batch zona dati

gpt-oss

Livelli di utilizzo

Le distribuzioni standard globali usano l'infrastruttura globale di Azure. Instradano dinamicamente il traffico dei clienti al data center con la migliore disponibilità per le richieste di inferenza del cliente. Analogamente, le distribuzioni di Data Zone Standard consentono di usare l'infrastruttura globale di Azure per instradare dinamicamente il traffico al data center all'interno della zona dati definita dall'Microsoft con la migliore disponibilità per ogni richiesta. Questa pratica consente una latenza più coerente per i clienti con livelli di traffico da basso a medio. I clienti con elevati livelli di utilizzo sostenuti potrebbero riscontrare una maggiore variabilità nella latenza di risposta.

Azure livelli di utilizzo OpenAI sono progettati per offrire prestazioni coerenti per la maggior parte dei clienti con livelli di traffico da basso a medio. Ogni livello di utilizzo definisce la velocità effettiva massima (token al minuto) che è possibile prevedere con una latenza prevedibile. Quando l'utilizzo rimane entro il livello assegnato, la latenza rimane stabile e i tempi di risposta sono coerenti.

Cosa accade se si supera il livello di utilizzo?

• Se la velocità effettiva della richiesta supera il livello di utilizzo, soprattutto durante i periodi di domanda elevata, la latenza della risposta può aumentare significativamente.
• La latenza può variare e, in alcuni casi, può essere più di due volte superiore rispetto a quando si opera all'interno del livello di utilizzo.
• Questa variabilità è più evidente per i clienti con un uso elevato costante o modelli di traffico a scatti.

Azioni consigliate se si supera il livello di utilizzo

Se si verificano errori 429 o si nota un aumento della variabilità della latenza, ecco le operazioni da eseguire:

• Richiedere un aumento della quota: visitare il portale di Azure per richiedere una quota superiore per la sottoscrizione.
• Provare a eseguire l'aggiornamento a un'offerta premium (PTU): per carichi di lavoro critici in termini di latenza o con volumi elevati, eseguire l'aggiornamento alle unità elaborate con provisioning (PTU). PTU offre risorse dedicate, capacità garantita e latenza prevedibile, anche su larga scala. Questa è la scelta migliore per le applicazioni cruciali che richiedono prestazioni coerenti.
• Monitorare l'utilizzo: esaminare regolarmente le metriche di utilizzo nel portale di Azure per assicurarsi di operare entro i limiti del livello. Modificare il carico di lavoro o la strategia di distribuzione in base alle esigenze.

È possibile ricevere risposte 429 (troppe richieste) anche quando le metriche di utilizzo dei token vengono visualizzate sotto la quota. Per una spiegazione del motivo, vedere Perché potrebbero essere visualizzati 429 anche quando le metriche di utilizzo dei token sono inferiori alla quota.

Il limite di utilizzo determina il livello di utilizzo superiore al quale i clienti potrebbero riscontrare una maggiore variabilità nella latenza di risposta. L'utilizzo di un cliente è definito per modello. È il numero totale di token utilizzati in tutte le distribuzioni in tutte le sottoscrizioni in tutte le aree per un determinato tenant.

Standard globale, Standard della zona dati e Standard

Procedure consigliate generali per rimanere entro i limiti di velocità

Per ridurre al minimo i problemi relativi ai limiti di frequenza, è consigliabile usare le tecniche seguenti:

• Implementare la logica di ripetizione dei tentativi nell'applicazione.
• Evitare modifiche nitide nel carico di lavoro. Aumentare gradualmente il carico di lavoro.
• Testare modelli di aumento del carico diversi.
• Aumentare la quota assegnata alla distribuzione. Spostare la quota da un'altra distribuzione, se necessario.

Per linee guida dettagliate sulle procedure consigliate, esempi di codice per il meccanismo di retry con backoff e una guida alla risoluzione dei problemi relativi all'errore 429, consulta Manage Azure OpenAI in Microsoft Foundry Models quota.

Aumento della quota richiesta

Invia il modulo di richiesta di aumento della quota per richiedere aumenti della quota per i Modelli Foundry venduti da Azure, i modelli Azure OpenAI e i modelli Anthropic. Ad eccezione dei modelli Anthropic, i modelli di partner e community non supportano gli aumenti di quota.

Le richieste di aumento della quota vengono elaborate nell'ordine in cui vengono ricevute e la priorità passa ai clienti che usano attivamente l'allocazione di quote esistente. Le richieste che non soddisfano questa condizione potrebbero essere negate.

Limiti di capacità della quota a livello di area

È possibile visualizzare la disponibilità del limite per regione per la sottoscrizione nel portale Foundry.

Per controllare la quota e la capacità a livello di codice, vedere Controllare a livello di codice la quota e la capacità nella guida alla gestione delle quote. Questa sezione illustra due API REST complementari: l'API Usages per controllare l'utilizzo rispetto ai limiti e l'API Capacità del modello per verificare la capacità di distribuzione disponibile in base al modello e all'area.

Contenuto correlato

• Informazioni su come gestisci quota per le distribuzioni OpenAI Azure.
• Scopri di più sui modelli sottostanti che alimentano Azure OpenAI.