Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Microsoft Foundry Control Plane erzwingt Token pro Minute (TPM)-Ratenlimits und Gesamttokenkontingente für Modellbereitstellungen innerhalb des Projektrahmens. Diese Durchsetzung verhindert, dass der Token-Verbrauch aus dem Ruder läuft, und richtet die Nutzung an den organisatorischen Leitplanken aus. Die Foundry Control Plane ist mit dem AI Gateway integriert, um eine erweiterte Richtliniendurchsetzung für Modelle bereitzustellen.
In diesem Artikel wird erläutert, wie Sie die Tokenrate einschränken und Tokenkontingente konfigurieren.
Voraussetzungen
-
Ein Azure Konto mit einem aktiven Abonnement. Wenn Sie kein Konto haben, erstellen Sie ein free Azure Konto, das ein kostenloses Testabonnement enthält.
Eine Foundry-Ressource mit konfiguriertem AI-Gateway. Weitere Informationen zum Aktivieren des KI-Gateways für eine Foundry-Ressource.
Ein Foundry-Projekt mit einem bereitgestellten Modell, das dem konfigurierten AI-Gateway hinzugefügt wurde. Zum Aktivieren des KI-Gateways für ein Projekt benötigen Sie die Rolle "API-Verwaltungsdienstmitwirkender" (oder "Besitzer") für die Azure API Management-Ressource.
Verstehen des KI-Gateways
Wenn Sie AI Gateway mit Foundry Control Plane verwenden, um eine erweiterte Richtliniendurchsetzung für Modelle bereitzustellen, befindet sich das Gateway zwischen Clients und Modellbereitstellungen. Sie führt alle Anforderungen durch die API Management Instanz, die ihr zugeordnet ist.
Grenzwerte gelten auf project-Ebene. Das heißt, jedes Projekt kann über eigene TPM- und Quoten-Einstellungen verfügen.
Verwenden Sie AI-Gateway für:
- Eindämmung von Multi-Team-Token (verhindern Sie, dass ein Projekt die Kapazität monopolisiert).
- Kostenkontrolle durch Begrenzung der gesamten Nutzung.
- Konformitätsgrenzen für regulierte Workloads (Durchsetzung von vorhersehbaren Nutzungsobergrenzen).
Konfigurieren von Tokenbeschränkungen
Sie können Tokengrenzwerte für bestimmte Modellbereitstellungen in Ihren Projekten konfigurieren:
-
Melden Sie sich bei Microsoft Foundry an. Stellen Sie sicher, dass die Umschaltfläche "Neue Gießerei " aktiviert ist. Diese Schritte beziehen sich auf Foundry (neu).
Wählen Sie Operate>Admin aus.
Wählen Sie in der LISTE DES AI-Gateways das Gateway aus, das Sie verwenden möchten.
Wählen Sie im daraufhin angezeigten Bereich "Gatewaydetails" die Option "Tokenverwaltung" aus.
Wählen Sie +Limit festlegen , um einen neuen Grenzwert für eine Modellbereitstellung zu erstellen.
Wählen Sie die project und bereitstellung aus, die Sie einschränken möchten, und geben Sie einen Wert für Limit (Token-per-Minute) ein.
Wählen Sie Erstellen aus, um Ihre Änderungen zu speichern.
Grundlegendes zu Kontingentfenstern
Tokengrenzwerte weisen zwei ergänzende Erzwingungsdimensionen auf:
TPM-Ratelimit: Beschränkt die Tokennutzung auf ein konfiguriertes Maximum pro Minute. Wenn Anforderungen den TPM-Grenzwert überschreiten, empfängt der Aufrufer einen
429 Too Many RequestsAntwortstatuscode.Gesamttokenkontingent: Beschränkt die Tokennutzung auf einen konfigurierten Maximalen pro Kontingentzeitraum (z. B. stündlich, täglich, wöchentlich, monatlich oder jährlich). Wenn Anforderungen das Kontingent überschreiten, empfängt der Aufrufer einen
403 ForbiddenAntwortstatuscode.
Wenn Sie viele Anforderungen gleichzeitig senden, kann die Tokennutzung die konfigurierten Grenzwerte vorübergehend überschreiten, bis Antworten verarbeitet werden.
Das Anpassen eines Kontingents oder TPM-Werts wirkt sich auf nachfolgende Erzwingungsentscheidungen aus.
Weitere Informationen finden Sie unter AI-Gateway in Azure API Management und Limit large language model API token usage.
Überprüfung der Durchsetzung
Senden Sie Testanforderungen mithilfe der Gateway-URL und des Schlüssels des Projekts an einen Bereitstellungsendpunkt des Modells.
Erhöhen Sie die Anforderungshäufigkeit schrittweise, bis der TPM-Grenzwert ausgelöst wird.
Verfolgen Sie kumulative Token, bis das Kontingent ausgelöst wird.
Überprüfen Sie folgendes:
-
429 Too Many Requests(Antwort mit Ratenbegrenzung) wird zurückgegeben, wenn Anfragen das TPM Limit überschreiten. -
403 Forbidden(Kontingentfehler) wird zurückgegeben, wenn Anfragen das Kontingent ausschöpfen.
-
Anpassen von Grenzwerten
Kehren Sie zum Projekt-AI Gateway zurück.
Ändern Sie TPM- oder Quotawerte.
Speichern Sie die Änderungen. Neue Grenzwerte gelten sofort für nachfolgende Anforderungen.
Troubleshoot
| Das Problem | Mögliche Ursache | Maßnahme |
|---|---|---|
| API Management Instanz wird nicht angezeigt | Bereitstellungsverzögerung | Aktualisieren Sie die Seite nach ein paar Minuten. |
| Grenzwerte werden nicht erzwungen. | Falsch konfiguriert oder project nicht verknüpft | Öffnen Sie die Einstellungen erneut, und vergewissern Sie sich, dass die Erzwingungs-Umschaltfläche aktiviert ist. Vergewissern Sie sich, dass das AI-Gateway für das Projekt aktiviert ist und dass die richtigen Grenzwerte konfiguriert sind. |
| Die Latenz ist nach der Aktivierung hoch. | API-Management: Kaltstart oder regionale Nichtübereinstimmung | Überprüfen Sie API Management Region im Vergleich zur Ressourcenregion. Rufen Sie das Modell direkt auf, und vergleichen Sie das Ergebnis mit dem Aufruf über das AI-Gateway, um festzustellen, ob Leistungsprobleme mit dem Gateway verbunden sind. |
Wenn die Administratorkonsole langsam ist, versuchen Sie es nach einem kurzen Intervall erneut.