Microsoft Foundry-Modelle: Kontingente und Grenzwerte

Dieser Artikel enthält eine Kurzübersicht und detaillierte Beschreibung der Kontingente und Grenzwerte für Foundry Models, die von Azure verkauft werden. Kontingente und Grenzwerte für die Azure OpenAI in Foundry Models finden Sie unter Quotas und Grenzwerte in Azure OpenAI.

Kontingentverwaltung auf Abonnementebene

Beginnend mit "Realtime Translate" und "Realtime Whisper" und bald allen Modellen verfolgt Foundry das Kontingent für Bereitstellungen auf Abonnementebene statt pro Ressource oder Region. Dieser Ansatz bringt Konsistenz und Vorhersagbarkeit dazu, wie das Kontingent über Bereitstellungen hinweg verwaltet wird, da alle Ressourcen und Regionen in einem Abonnement den gleichen Kontingentpool aufweisen.

Diese Änderung konsolidiert Quoten in gemeinsamen Pools.

• Globaler Standard: Bereitstellungen desselben Modells und derselben Version teilen einen Kontingentpool für alle Regionen in einem Abonnement.
• Data Zone Standard: Bereitstellungen desselben Modells und der Version teilen einen Kontingentpool pro Datenzone (z. B. USA oder EU).

Überprüfen des Kontingentverwaltungsbereichs

Sie finden das Kontingentverwaltungssystem, das für ein bestimmtes Modell gilt, indem Sie zur Kontingentseite des Foundry-Portals wechseln. Der Wert in der Spalte "Bereich" für ein bestimmtes Modell gibt an, wie Foundry das Kontingent für dieses Modell verwaltet. Ein Wert für den Geltungsbereich von:

• Global oder Data Zone, gibt die Kontingentverwaltung auf Abonnementebene an.
• Eine Region (z. B. Ost-USA oder West-USA) gibt die Kontingentverwaltung pro Region für dieses Abonnement und Modell an.

Änderungen für integrierte Modelle

Für die Modelle, die in das Kontingentverwaltungssystem auf Abonnementebene integriert sind:

• Alle globalen Standardimplementierungen desselben Modells und derselben Version unter einem Abonnement beziehen sich jetzt auf einen einzigen freigegebenen Kontingentpool in allen Regionen.
• Alle Data Zone Standard-Bereitstellungen desselben Modells und derselben Version unter einem Abonnement beziehen sich jetzt auf einen gemeinsamen Kontingentpool innerhalb jeder Datenzone.
• Vorhandenes genehmigtes Kontingent wird beibehalten und wird automatisch auf Abonnementebene angewendet – keine Aktion erforderlich.

Diese Konsolidierung ermöglicht es Microsoft Foundry, unterstützte Modelle einheitlich in allen Foundry-Regionen anzubieten, unabhängig davon, wie das Kontingent über Ressourcen oder Regionen verteilt wird.

Kontingentbeschränkungen, wenn ein Modell aktualisiert wird

Wenn ein bestehendes Modell aktualisiert wird, wird sein neues Kontingentlimit für „Global“ oder „Data Zone“ auf den höheren der folgenden Werte festgelegt:

• Der geltende Grenzwert für die entsprechende Stufe.
• Das Gesamtkontingent, das allen vorhandenen Bereitstellungen dieses Modells innerhalb des Kontingentbereichs zugewiesen ist.

Wenn ein Modell beispielsweise über globale Standardbereitstellungen in fünf Regionen verfügt, entspricht die neue globale Kontingentgrenze dem kombinierten Kontingent dieser Bereitstellungen, wenn diese Summe den Ebenengrenzwert überschreitet. Andernfalls gilt das Tierlimit.

Referenz zu Kontingenten und Grenzwerten

In den folgenden Abschnitten finden Sie eine Kurzanleitung zu den Standardkontingenten und Grenzwerten, die für Foundry Models gelten. Kontingente und Begrenzungen gelten nicht auf Mandantenebene. Stattdessen wird die höchste Ebene der Kontingenteinschränkungen auf Azure-Abonnementebene festgelegt. Token pro Minute (TPM) und Anforderungen pro Minute (RPM) werden pro Region, pro Abonnement und pro Modell oder Bereitstellungstyp definiert.

Ressourcenbeschränkungen (pro Azure Abonnement, pro Region)

Ratenbeschränkungen

In der folgenden Tabelle sind Grenzwerte für Foundry Models für die folgenden Tarife aufgeführt:

• Token pro Minute
• Anfragen pro Minute
• Gleichzeitige Anfrage

Um Ihr Kontingent zu erhöhen, verwenden Sie Microsoft Foundry Service: Request for Quota Increase, um Ihre Anfrage zu übermitteln. Aufgrund der hohen Nachfrage werden Anforderungen zur Erhöhung des Kontingents einzeln ausgewertet. Weitere Informationen zu Anforderungen zur Erhöhung von Kontingenten finden Sie unter Anforderungserhöhungen zu den Standardgrenzwerten.

Andere Grenzwerte

¹ Aktuelle APIs ermöglichen bis zu 10 benutzerdefinierte Header, die die Pipeline durchläuft und zurückgibt. Wenn Sie diese Headeranzahl überschreiten, führt ihre Anforderung zu einem HTTP 431-Fehler. Um diesen Fehler zu beheben, verringern Sie das Headervolume. Zukünftige API-Versionen werden keine benutzerdefinierten Header durchlaufen. Hängen Sie nicht von benutzerdefinierten Headern in zukünftigen Systemarchitekturen ab.

Verwendungsebenen

Globale Standardbereitstellungen verwenden die globale Infrastruktur von Azure, um den Kundendatenverkehr dynamisch an das Rechenzentrum weiterzuleiten und die beste Verfügbarkeit für die Rückschlussanforderungen des Kunden zu erzielen. Diese Infrastruktur ermöglicht eine konsistentere Latenz für Kunden mit geringem bis mittlerem Datenverkehrsniveau. Kunden mit einem hohen dauerhaften Nutzungsgrad sehen möglicherweise mehr Variabilitäten bei der Antwortlatenz.

Der Nutzungsgrenzwert bestimmt den Umfang der Nutzung, über den Kunden bei der Antwortlatenz möglicherweise eine größere Variabilität sehen. Die Nutzung eines Kunden wird pro Modell definiert und ist die Gesamtanzahl der Token, die in allen Bereitstellungen in allen Abonnements in allen Regionen für einen bestimmten Mandanten verbraucht werden.

Anfragen zur Erhöhung der Standardgrenzwerte

Übermitteln Sie das Formular für Kontingenterhöhungsanfragen, um Kontingenterhöhungen für von Azure vertriebene Foundry-Modelle, Azure OpenAI-Modelle und Anthropic-Modelle zu beantragen. Mit Ausnahme von Anthropic-Modellen unterstützen Modelle von Partnern und der Community keine Kontingenterhöhungen.

Kontingenterhöhungsanforderungen werden in der Reihenfolge verarbeitet, in der sie empfangen werden, und Priorität geht an Kunden, die ihre vorhandene Kontingentzuweisung aktiv verwenden. Anforderungen, die diese Bedingung nicht erfüllen, werden möglicherweise verweigert.

Allgemeine bewährte Methoden zum Beibehalten von Zinslimits

Verwenden Sie die folgenden Techniken, um Probleme im Zusammenhang mit Zinslimits zu minimieren:

• Implementieren Sie die Wiederholungslogik in Ihrer Anwendung.
• Vermeiden Sie scharfe Änderungen an der Arbeitsauslastung. Erhöhen Sie die Arbeitsauslastung schrittweise.
• Testen Sie unterschiedliche Auslastungserhöhungsmuster.
• Erhöhen Sie das Kontingent, das Ihrer Bereitstellung zugewiesen ist. Verschieben Sie Kontingent bei Bedarf aus einer anderen Bereitstellung.

Festlegen eines clientseitigen Timeouts

Legen Sie das clientseitige Timeout explizit basierend auf den folgenden Anweisungen fest.

• Reasoning-Modelle (Modelle, die Zwischengrundlegungstoken generieren, bevor eine zusammengefasste Antwort erstellt wird): bis zu 29 Minuten.
• Nicht-Schlussfolgerungsmodelle
  • Für streaming, bis zu 60 Sekunden.
  • Bei Nicht-Streaming-Anforderungen bis zu 29 Minuten.

29 Minuten bedeutet hier nicht, dass alle Anforderungen 29 Minuten dauern, sondern je nach Kontexttoken, generierten Token und Cachetreffraten können Anforderungen bis zu 29 Minuten dauern.

Legen Sie ein Timeout fest, das kleiner als diese Werte ist und auf Ihre Verkehrsmuster abgestimmt ist.

Für Begründungsmodelle, einschließlich Streaminganforderungen, werden zunächst alle Token generiert und dann zusammengefasst, bevor das erste Antworttoken an den Benutzer gesendet wird.

Sie können den Parameter "Reasoning Effort " ändern, um die Anzahl der im Prozess generierten Begründungstoken zu steuern.

Problembehandlung

Verwandte Inhalte

• In Foundry Models verfügbare Modelle
• Verwalten und Erhöhen von Kontingenten für Gießereiressourcen
• Kontingente und Grenzwerte in Azure OpenAI