Was ist der bereitgestellte Durchsatz für Foundry Models?

Zurzeit wird folgendes angezeigt:Neue Version des Foundry-Portals - Wechseln zur Version für das klassische Foundry-Portal

Der bereitgestellte Durchsatz ist ein Bereitstellungstyp in Microsoft Foundry, der dedizierten Modellverarbeitungsdurchsatz für Ihre Bereitstellung bereitstellt. Im Gegensatz zu Standardbereitstellungen, bei denen die Ableitungskapazität über Kunden hinweg geteilt wird und der Durchsatz bei Bedarf variieren kann, enthält eine bereitgestellte Bereitstellung eine feste Menge an Verarbeitungskapazität ausschließlich für die Verwendung Ihrer Bereitstellung, unabhängig davon, ob Anforderungen gestellt werden.

In diesem Artikel werden die Kernkonzepte für den bereitgestellten Durchsatz vorgestellt: Was es ist, wann sie verwendet werden soll, wie Kapazität gemessen und in Rechnung gestellt wird und was Sie über Kontingente und Kapazität wissen müssen, bevor Sie die Bereitstellung durchführen.

Bereitstellungskategorien im Vergleich

Standardbereitstellungen, Batchbereitstellungen, Prioritätsverarbeitung und bereitgestellter Durchsatz sind Methoden zum Bereitstellen von Modellen in Microsoft Foundry. Die richtige Wahl hängt von Ihren Latenzanforderungen, Datenverkehrsmustern und Kostentoleranz ab.

Wann man den bereitgestellten Durchsatz verwenden sollte

Der bereitgestellte Durchsatz ist die richtige Wahl, wenn Ihre Anwendung folgendes hat:

• Vorhersehbare Datenverkehrsmuster: Sie haben eine angemessene Schätzung der Anforderungen pro Minute und Tokenvolumes.
• Anforderungen an Latenzen: Ihre Benutzer oder downstream-Systeme benötigen konsistente Antworten mit geringer Latenz.
• Produktionsvolumen: Hohe Durchsatz-Anwendungsfälle, in denen die Abrechnung pro Token teuer wird.
• Echtzeit- oder interaktive Szenarien: Chatanwendungen, Copiloten oder Agents, bei denen variable Reaktionszeiten die Benutzererfahrung beeinträchtigen.

Standardbereitstellungen eignen sich nach wie vor besser für Entwicklung, Tests, Nutzung in geringem Umfang oder stark schwankenden Datenverkehr, der die Dimensionierung einer Bereitstellung im Voraus erschwert.

Bereitgestellte Durchsatzeinheiten

Bereitgestellte Durchsatzeinheiten (PTUs) sind die Maßeinheit für den bereitgestellten Durchsatz. Ein PTU stellt eine feste Menge an Modellverarbeitungskapazität dar. Wenn Sie ein bereitgestelltes Deployment erstellen, geben Sie an, wie viele PTUs Sie zuweisen. Foundry reserviert diese Menge an Rechenkapazität und hält sie für Ihre Bereitstellung vor.

Wichtige Merkmale von PTUs:

• Modellunabhängig: Das gleiche PTU-Kontingent kann verwendet werden, um jedes unterstützte Modell bereitzustellen. Sie kaufen keine PTUs für ein bestimmtes Modell.
• Regionsspezifisch: Das PTU-Kontingent wird pro Abonnement, pro Region und pro Bereitstellungstyp gewährt. Quoten in Ost-USA werden nicht nach Westeuropa übertragen.
• Der Durchsatz variiert je nach Modell: Die Token pro Minute (TPM), die eine bestimmte Anzahl von PTUs liefert, hängt vom Modell ab. Ein schwereres Modell erfordert mehr PTUs, um dasselbe TPM wie ein helleres zu bedienen. Informationen zu PTU-zu-TPM-Verhältnissen pro Modell finden Sie unter Parameter für den Durchsatz pro Modell.
• Minimale Bereitstellungsgrößen gelten: Jedes Modell verfügt über eine minimale PTU-Anzahl, die zum Erstellen einer Bereitstellung erforderlich ist. Die Mindestwerte variieren je nach Modell und werden in Bereitstellungsparametern und Durchsatzwerten nach Modell aufgeführt.

Kontingent und Kapazität

PTU-Kontingent und Kapazität sind verwandte, aber unterschiedliche Konzepte, die beide beeinflussen, ob Sie eine Bereitstellung erstellen können. In diesem Abschnitt wird erläutert, was jedes ist, wie sie zusätzliches Kontingent anfordern und wie Sie überprüfen, ob kapazität in Ihrer Region verfügbar ist.

Was ist PTU-Kontingent?

Das PTU-Kontingent ist die maximale Anzahl von PTUs, die Sie pro Abonnement, pro Region und pro Bereitstellungstyp bereitstellen können. Das Kontingent ist ein Richtlinienlimit, das von Azure erzwungen wird und keine zugehörigen Kosten hat. Das Kontingent wird auf der Angebotsebene festgelegt (Globale Bereitstellung, Bereitstellung der Datenzone und regionale Bereitstellung sind separate Kontingentpools) und auf Regionsebene (z. B. Kontingent in Ost-USA gilt nicht für Westeuropa).

In mehreren Regionen wird berechtigten Abonnements ein Standardkontingent zugewiesen.

Was ist Kapazität?

Die Kapazität ist die tatsächliche Anzahl der PTUs pro Modellversion, die bereitgestellt werden kann. Die Kapazität wird zur Bereitstellungszeit zugewiesen und für die Lebensdauer der Bereitstellung aufbewahrt.

Da kapazität eine endliche, dynamisch ändernde Ressource ist:

• Die Kapazitätsverfügbarkeit ändert sich im Laufe des Tages basierend auf der Kundennachfrage in allen Regionen und Modellen.
• Durch das Löschen oder Herunterskalieren einer Bereitstellung wird die Kapazität wieder im Regionspool freigegeben. Es gibt keine Garantie, dass die gleiche Kapazität verfügbar ist, wenn Sie die Bereitstellung später neu erstellen oder skalieren.

So erhalten Sie ein Kontingent

Eine Standardmenge an globalen, datenbezogenen und regional vorgesehenen Kontingenten wird berechtigten Abonnements in mehreren Regionen zugewiesen. Sie können mehr Kontingente oder Kapazität anfordern, indem Sie das Kontingentanforderungsformular übermitteln. Das Formular ist auch im Foundry-Portal auf der Seite Quoten verfügbar.

Die Genehmigung kann mehrere Tage dauern, basierend auf der Kontingentverfügbarkeit, und Sie erhalten eine E-Mail-Benachrichtigung, wenn die Anforderung genehmigt wurde.

Überprüfen der verfügbaren Kapazität

So überprüfen Sie die Verfügbarkeit der Echtzeitkapazität:

• Verwenden Sie die Bereitstellungsumgebung des Foundry-Portals, die Ihnen sagt, ob die Kapazität verfügbar ist, wenn Sie versuchen, eine Bereitstellung zu erstellen, und alternative Regionen mit verfügbarer Kapazität auflistet, wenn Ihre Zielregion nicht ausreichend ist.
• Verwenden Sie die Modellkapazitäts-API , um die maximale bereitstellungsfähige PTU-Anzahl für ein bestimmtes Modell und eine bestimmte Region programmgesteuert abzufragen.

Wenn Ihre Zielregion nicht über verfügbare Kapazität verfügt:

• Senden Sie das Kontingentanforderungsformular , um mehr Kontingent oder Kapazität anzufordern.
• Versuchen Sie eine Bereitstellung mit weniger PTUs.
• Versuchen Sie es später erneut, da sich die Verfügbarkeit der Kapazität während des gesamten Tages dynamisch ändert.

Eine schrittweise Anleitung zum Erstellen bereitgestellter Bereitstellungen und zum Behandeln von Kapazitätseinschränkungen finden Sie unter "Erste Schritte mit bereitgestellten Bereitstellungen".

PTU-Dimensionierung

Bevor Sie eine provisionierte Bereitstellung erstellen, schätzen Sie ab, wie viele PTUs Ihre Workload benötigt. Drei Faktoren steuern die Berechnung:

• Anforderungs-Shape: Ihre erwarteten Anforderungen pro Minute (RPM), durchschnittliche Eingabeaufforderungsgröße (Eingabetoken) und durchschnittliche Antwortgröße (Ausgabetoken).
• Ausgabe-zu-Eingabe-Verhältnis: Ausgabetoken erfordern mehr Verarbeitungskapazität als Eingabetoken. Jedes Modell weist ein Verhältnis auf, das angibt, wie viele Eingabetoken ein Ausgabetoken für Kapazitätszwecke entspricht. Für GPT-4.1 und höher Azure OpenAI-Modelle entspricht dieses Verhältnis dem globalen Standardpreisverhältnis des Modells zwischen Ausgabe- und Eingabetoken. Weitere Informationen zu diesem Verhältnis finden Sie unter Bereitstellungsparameter und Durchsatzwerte nach Modell.
• Cache-Rate: Der Anteil der Eingabetoken, die aus dem Prompt-Cache bedient werden. Zwischengespeicherte Token verbrauchen keine PTU-Kapazität, sodass eine höhere Cacherate die erforderlichen PTUs reduziert.

Die Dimensionierungsberechnung verwendet diese Faktoren, um Ihre erwarteten Tokenmengen in einen einzelnen normalisierten TPM-Wert umzuwandeln, und teilt dann durch den Eingabe-TPM pro PTU-Wert des Modells, um die erforderliche PTU-Anzahl zu ermitteln.

Sie können die Größe manuell anpassen, die Formeln und Werte pro Modell verwenden oder den Kapazitätsrechner im Gießereiportal für eine geführte Schätzung verwenden.

Die vollständige Methodik zur Größenbestimmung, einschließlich Formeln, durchgerechneter Beispiele und der Referenz für den Kapazitätsrechner, finden Sie unter Bestimmen der PTU-Größe für eine Arbeitslast.

Bereitstellungstypen für den bereitgestellten Durchsatz

Der bereitgestellte Durchsatz ist als drei Bereitstellungstypen verfügbar. Sie bieten alle nach der Bereitstellung dedizierte Kapazität und vorhersagbare Latenz. Der Unterschied besteht darin, wo Ihr Rückschlussverkehr verarbeitet wird:

Einen vollständigen Vergleich aller Foundry-Bereitstellungstypen, einschließlich Standard,Batch und Bereitstellung, finden Sie unter Deployment-Typen für Microsoft Foundry Models.

Unterstützte Modelle

Eine vollständige Liste der Foundry-Modelle, die den bereitgestellten Durchsatz unterstützen, einschließlich der Bereitstellungstypen, die jedes Modell unterstützt und die regionale Verfügbarkeit, finden Sie unter Region-Verfügbarkeit für Foundry-Modelle, die direkt von Azure verkauft werden.

Spillover

Spillover ist eine optionale Konfiguration zum Verwalten von Datenverkehrsschwankungen bei bereitgestellten Bereitstellungen, indem Überlaufanforderungen automatisch an eine entsprechende Standardbereitstellung in derselben Foundry-Ressource weitergeleitet werden. Wenn eine bereitgestellte Bereitstellung vollständig ausgelastet ist und Nicht-200-Antworten zurückgibt (z. B. 429, wenn die PTUs erschöpft sind), leitet Spillover diese Anforderungen an die Standardbereitstellung weiter und trägt so dazu bei, Unterbrechungen bei Datenverkehrsspitzen zu verringern.

Alle Azure OpenAI-Modelle in Foundry, die bereitgestellten Durchsatz unterstützen, unterstützen auch Spillover. Foundry Models von anderen Anbietern (Azure DeepSeek, Meta Llama) unterstützen derzeit keinen Spillover.

Spillover kann für alle Anforderungen einer Bereitstellung konfiguriert oder pro Anforderung über den x-ms-spillover-deployment-Anforderungsheader gesteuert werden. Die Konfigurationsschritte finden Sie unter Datenverkehr mit Überlauf für bereitgestellte Deployments steuern.

Stündliche Abrechnung und Azure Reservierungen

Bereitgestellte Bereitstellungen unterstützen zwei Abrechnungsmodi, und zwar die Abrechnung nach Stunden für eine flexible, kurzfristige Nutzung, und Azure-Reservierungen für dauerhafte Produktionsworkloads zu einem ermäßigten Preis.

Stündliche Abrechnung

Alle bereitgestellten Bereitstellungstypen werden pro Stunde ($/PTU/hr) basierend auf der Anzahl der bereitgestellten PTUs in Rechnung gestellt, unabhängig von der Anzahl der verbrauchten Token. Der Zähler beginnt, wenn die Bereitstellung erstellt wird, und stoppt, wenn sie gelöscht wird.

Stündliche Abrechnung ist praktisch für kurzfristige Szenarien wie das Benchmarking eines neuen Modells oder die vorübergehende Skalierung für ein Ereignis wie einen Hackathon. Sehen Sie jedoch davon ab, bereitgestellte Bereitstellungen abhängig vom Datenverkehr nach oben und nach unten zu skalieren, um aus folgenden Gründen weiterhin die Abrechnung nach Stunden zu verwenden:

• Kapazität ist möglicherweise nicht verfügbar, wenn Sie wieder hochskalieren müssen.

• Die kontinuierliche stündliche Abrechnung bei hoher Auslastung liegt in der Regel über den Reservierungspreisen.

Vollständige Anleitungen zur stündliche Abrechnung und Skalierung bereitgestellter Bereitstellungen finden Sie unter Stündliche Abrechnung.

Azure-Reservierungen

Azure-Reservierungen sind ein finanzieller Rabatt, der auf den PTU-Abrechnungszähler angewendet wird (den stündlichen Nutzungszähler, den Azure für die Abrechnung heranzieht), nicht auf einzelne Bereitstellungen. Im Austausch für eine 1-Monats- oder 1-Jahres-Verpflichtung erhalten Sie einen ermäßigten effektiven $/PTU/hr-Satz. Einige wichtige Punkte, die Sie zu Reservierungen beachten müssen, sind:

• Reservierungen werden pro Bereitstellungstyp (Global, Data Zone oder Regional) erworben und können auf eine oder mehrere Abonnements oder Ressourcengruppen ausgerichtet sein.

• Reservierungen und Bereitstellungen sind lose gekoppelt, was bedeutet, dass Sie Bereitstellungen und Reservierungen unabhängig voneinander erstellen.

• Reservierungen garantieren keine Kapazität. Erstellen Sie zunächst Bereitstellungen, um sicherzustellen, dass die Kapazität verfügbar ist, und erwerben Sie dann die Reservierung, um sich den vergünstigten Tarif zu sichern.

Ausführliche Informationen zur Dimensionierung, zum Kauf und zur Verwaltung von Reservierungen finden Sie unter Azure-Reservierungen für bereitgestellten Durchsatz.

So verfolgen Sie PTU-Kosten und -Abrechnungen

Verwenden Sie Microsoft Cost Management, um Ihre PTU-Nutzungs- und Reservierungskosten nachzuverfolgen und zu analysieren:

Verwandte Inhalte

• Erste Schritte mit vorkonfigurierten Bereitstellungen
• PTU-Kosten und Abrechnung
• Verwalten von Datenverkehr mit Überlauf für bereitgestellte Bereitstellungen
• Enable Prioritätsverarbeitung für Microsoft Foundry-Modelle
• Sparen Sie Kosten mit Reservierungen für den bereitgestellten Durchsatz in Microsoft Foundry
• Kontingente und Grenzwerte für Foundry Models