Quote e limiti dei Modelli Foundry di Microsoft

Questo articolo fornisce un riferimento rapido e una descrizione dettagliata delle quote e dei limiti per i modelli Foundry venduti da Azure. Per quote e limiti specifici per Azure OpenAI nei modelli Foundry, vedere Quotas e limiti in Azure OpenAI.

Gestione delle quote a livello di sottoscrizione

A partire da Realtime Translate e Realtime Whisper e presto tutti i modelli, Foundry tiene traccia della quota per le distribuzioni a livello di sottoscrizione anziché per risorsa o per area. Questo approccio offre coerenza e prevedibilità per la gestione della quota tra le distribuzioni, perché tutte le risorse e le aree in una sottoscrizione condividono lo stesso pool di quote.

Questa modifica consolida la quota in pool condivisi:

• Standard globale: le distribuzioni dello stesso modello e della stessa versione condividono un pool di quote in tutte le aree di una sottoscrizione.
• Data Zone Standard: distribuzioni dello stesso modello e versione condividono un pool di quote per zona dati (ad esempio, Stati Uniti o UE).

Controllare l'ambito di gestione delle quote

È possibile trovare il sistema di gestione delle quote applicabile a un determinato modello passando alla pagina Quota del portale Foundry. Il valore nella colonna Ambito per un determinato modello indica in che modo Foundry gestisce la quota per tale modello. Un valore di ambito pari a:

• Global o Data Zone indica la gestione delle quote a livello di sottoscrizione.
• Un'area ,ad esempio Stati Uniti orientali o Stati Uniti occidentali, indica la gestione delle quote per area per tale sottoscrizione e modello.

Modifiche per i modelli integrati

Per i modelli integrati nel sistema di gestione delle quote a livello di sottoscrizione:

• Tutte le distribuzioni Standard globali dello stesso modello e della stessa versione in una sottoscrizione ora derivano da un singolo pool di quote condivise in tutte le aree.
• Tutte le distribuzioni Standard della zona dati dello stesso modello e della stessa versione in una sottoscrizione ora derivano da un pool di quote condiviso all'interno di ogni zona dati.
• La quota approvata esistente viene mantenuta e applicata automaticamente a livello di sottoscrizione, senza alcuna azione necessaria.

Questo consolidamento consente Microsoft Foundry di offrire modelli supportati in modo coerente in tutte le aree foundry, indipendentemente dal modo in cui la quota viene distribuita tra risorse o aree.

Limiti di quota quando un modello viene aggiornato

Quando viene aggiornato un modello esistente, il nuovo limite di quota globale o di zona dati viene impostato su maggiore di:

• Limite del livello applicabile.
• Quota totale assegnata a tutte le distribuzioni esistenti del modello nell'ambito della quota.

Ad esempio, se un modello ha distribuzioni Standard globali in cinque aree, il nuovo limite di quota globale è uguale alla quota combinata di tali distribuzioni se tale totale supera il limite di livello. In caso contrario, viene applicato il limite di livello.

Informazioni di riferimento su quote e limiti

Le sezioni seguenti forniscono una guida rapida alle quote e ai limiti predefiniti applicabili ai modelli Foundry. Le quote e i limiti non vengono applicati a livello di tenant. Invece, il livello massimo di restrizioni di quota è definito al livello della sottoscrizione Azure. I token al minuto (TPM) e le richieste al minuto (RPM) sono definiti per area, per sottoscrizione e per modello o tipo di distribuzione.

Limiti delle risorse (per sottoscrizione Azure, per area)

Limiti di frequenza

Nella tabella seguente sono elencati i limiti per i modelli foundry per le tariffe seguenti:

• Token al minuto
• Richieste al minuto
• Richiesta concorrente

Per aumentare la quota, usa Servizio Microsoft Foundry: Richiesta di aumento della quota per inviare la richiesta. A causa della domanda elevata, le richieste di aumento della quota vengono valutate singolarmente. Per altre informazioni sulle richieste di aumento della quota, vedere Aumento delle richieste ai limiti predefiniti.

Altri limiti

¹ Le API correnti consentono fino a 10 intestazioni personalizzate, che la pipeline elabora e restituisce. Se si supera questo numero di intestazioni, la richiesta genera un errore HTTP 431. Per risolvere questo errore, ridurre il volume dell'intestazione. Le versioni future dell'API non passeranno attraverso intestazioni personalizzate. Non fare affidamento sulle intestazioni personalizzate nelle architetture di sistema future.

Livelli di utilizzo

Le distribuzioni Standard globali usano l'infrastruttura globale di Azure per instradare dinamicamente il traffico dei clienti al data center con la migliore disponibilità per le richieste di inferenza del cliente. Questa infrastruttura consente una latenza più coerente per i clienti con livelli di traffico da basso a medio. I clienti con livelli elevati di utilizzo sostenuti potrebbero riscontrare una maggiore variabilità nella latenza di risposta.

Il limite di utilizzo determina il livello di utilizzo oltre il quale i clienti potrebbero riscontrare una maggiore variabilità nella latenza di risposta. L'utilizzo di un cliente viene definito per modello ed è il totale dei token utilizzati in tutte le distribuzioni in tutte le sottoscrizioni in tutte le aree per un determinato tenant.

Richiedi di aumentare i limiti predefiniti

Invia il modulo di richiesta di aumento della quota per richiedere aumenti della quota per i Modelli Foundry venduti da Azure, i modelli Azure OpenAI e i modelli Anthropic. Ad eccezione dei modelli Anthropic, i Modelli di partner e della community non supportano gli aumenti della quota.

Le richieste di aumento della quota vengono elaborate nell'ordine in cui vengono ricevute e la priorità passa ai clienti che usano attivamente l'allocazione di quote esistente. Le richieste che non soddisfano questa condizione potrebbero essere negate.

Procedure consigliate generali per rimanere entro i limiti di velocità

Per ridurre al minimo i problemi relativi ai limiti di frequenza, usare le tecniche seguenti:

• Implementare la logica di ripetizione dei tentativi nell'applicazione.
• Evitare modifiche nitide nel carico di lavoro. Aumentare gradualmente il carico di lavoro.
• Testare modelli di aumento del carico diversi.
• Aumentare la quota assegnata alla distribuzione. Spostare la quota da un'altra distribuzione, se necessario.

Impostazione del timeout lato client

Impostare il timeout lato client in modo esplicito in base alle indicazioni seguenti.

• Modelli di ragionamento (modelli che generano token di ragionamento intermedi prima di produrre una risposta riepilogata): fino a 29 minuti.
• Modelli senza ragionamento:
  • Per lo streaming, fino a 60 secondi.
  • Per le richieste non in streaming, fino a 29 minuti.

29 minuti in questo caso non significa che tutte le richieste richiedano 29 minuti, ma invece a seconda dei token di contesto, dei token generati e della frequenza di riscontri nella cache, le richieste possono richiedere fino a 29 minuti.

Impostare un timeout minore di questi valori, ottimizzato per i modelli di traffico.

Per i modelli di ragionamento, incluse le richieste di streaming, tutti i token di ragionamento vengono prima generati e quindi riepilogati prima di inviare di nuovo il primo token di risposta all'utente.

È possibile modificare il parametro di sforzo di ragionamento per controllare il numero di token di ragionamento generati nel processo.

Risoluzione dei problemi

Contenuto correlato

• Modelli disponibili nei modelli Foundry
• Gestire e aumentare le quote per le risorse Foundry
• Quotas e limiti in Azure OpenAI