Was ist der Agent-Optimierer? (Vorschau)

Important

Agent Optimizer ist derzeit als Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Supplementale Nutzungsbedingungen für Microsoft Azure Previews.

Der Agent-Optimierer im Foundry Agent Service verbessert Ihre gehosteten Agents automatisch, indem sie ihr Verhalten auswerten und bessere Konfigurationen generieren. Diese Konfigurationen können verbesserte Anweisungen, Fähigkeiten, Toolbeschreibungen und Modellauswahl umfassen.

Die Entwicklung effektiver KI-Agenten erfordert umfangreiches Prompt-Engineering. Sie stellen einen Agent mit handgemachten Anweisungen bereit, testen sie anhand realer Szenarien, identifizieren Schwachstellen, überarbeiten die Eingabeaufforderung und wiederholen. Diese Schleife ist langsam, subjektiv und skaliert nicht. Der Agent-Optimierer automatisiert diesen Zyklus, sodass Sie sich auf die Kernlogik Ihres Agents konzentrieren können.

Der Optimierungsworkflow

Die Optimierung eines Agents folgt einem wiederholbaren Pfad. Jeder Schritt verweist auf den Artikel, der ihn ausführlich behandelt:

  1. Bereiten Sie Ihren Agenten vor. Fügen Sie das Optimierungspaket und eine Basiskonfiguration hinzu, damit der Optimierer Ihren Agent lesen und verbessern kann. Siehe Machen Sie Ihren Agenten optimierungsbereit.
  2. Erstellen Sie ein Auswertungsdatenset. Definieren Sie die Aufgaben und Kriterien, anhand derer der Optimierer bewertet wird. Siehe Erstellen eines Bewertungsdatensatzes und von Bewertern.
  3. Führen Sie den Optimierer aus. Starten Sie eine Optimierungsausführung, und wählen Sie aus, welche Ziele und Modelle untersucht werden sollen. Weitere Informationen finden Sie unter Optimieren von Agent-Anweisungen, Fähigkeiten, Tools und Modellen.
  4. Überprüfen Sie die Ergebnisse. Vergleichen Sie die Bewertungen der Kandidaten mit Ihrem Ausgangswert und wählen Sie die beste Option aus. Informationen zu Optimierungsergebnissen finden Sie unter "Grundlegendes zu Optimierungsergebnissen
  5. Anwenden und Bereitstellen. Überführen Sie den gewinnenden Kandidaten in die Konfiguration Ihres Agenten und stellen Sie den Agenten erneut bereit. Siehe "Bereitstellen des Gewinners".

Um den vollständigen Workflow mit einem Beispiel-Agent zu testen, beginnen Sie mit der Schnellstartanleitung: Optimieren eines gehosteten Agents.

Funktionsweise des Agent-Optimierrs

Der Agent-Optimierer führt einen Closed-Loop-Bewertungs- und Verbesserungszyklus aus:

  1. Bewerten Sie die Baseline. Der Optimierer ruft Ihren Agent anhand eines Datasets von Aufgaben auf und bewertet jede Antwort anhand von Kriterien, die Sie definieren oder einen integrierten Standardsatz festlegen. Der Ausgangswert ist der Wert Ihres Agenten vor jeglichen Änderungen.
  2. Generieren Sie Kandidaten. Der Optimierer erzeugt alternative Konfigurationen, die als Kandidaten bezeichnet werden – umgeschriebene Anweisungen oder ermittelte Fähigkeiten – zur Verbesserung der Bewertungen.
  3. Kandidaten auswerten. Der Optimierer testet jeden Kandidaten anhand desselben Datasets.
  4. Bewerten und empfehlen. Der Optimierer bewertet ergebnisse nach zusammengesetzter Bewertung, einem Wert zwischen 0,0 und 1,0, der die aggregierte Leistung darstellt, und markiert den besten Kandidaten mit ★ . Anschließend übernehmen und stellen Sie die Gewinner-Variante bereit.

Der gesamte Prozess wird in der Cloud ausgeführt und dauert je nach Datasetgröße 5 bis 20 Minuten. Nachdem Sie den Agent-Optimierer vorbereitet haben, sind keine weiteren Codeänderungen zwischen den Ausführungen erforderlich: load_config() Gibt Ihren Basisplan normal zurück und liefert automatisch eine optimierte Konfiguration während und nach einer Ausführung – keine Featurekennzeichnungen oder bedingte Logik.

Warning

Während der Optimierung wertet der Optimierer Ihren Agenten aus, indem er ihn gegen jede Aufgabe in Ihrem Dataset aufruft. Wenn Ihr Agent externe Tools wie APIs, Datenbanken oder Dienste von Drittanbietern aufruft, werden diese Aufrufe während jeder Auswertungsausführung ausgeführt. Um unbeabsichtigte Nebenwirkungen (Gebühren, Zustandsänderungen oder Ratenbegrenzung) zu vermeiden, sollten Sie während der Optimierung die Verwendung von Testendpunkten oder das Simulieren von Toolimplementierungen in Betracht ziehen.

Optimierungsziele

Ein Optimierungsziel ist ein bestimmter Aspekt der Konfiguration Ihres Agents, den der Optimierer verbessern kann. Der Optimierer führt alle anwendbaren Ziele in einer einzelnen Ausführung aus und aktiviert automatisch jede basierend auf Ihrer Basiskonfiguration und eval.yaml -einstellungen.

Ziel Was der Optimierer verbessert Wird aktiviert, wenn Ihr Basiswert über
Optimierung von Anweisungen Schreibt die Systemaufforderung neu und optimiert sie, um eine höhere Bewertung zu erzielen. Das am häufigsten verwendete Ziel. Eine instructions.md Datei
Qualifikationsverbesserung Optimiert den Inhalt jeder wiederverwendbaren Fähigkeit (in SKILL.md), lässt die Beschreibungen der Fähigkeiten jedoch unverändert. Ein skills/ Verzeichnis
Tooloptimierung Verbessert die Tool- und Parameterbeschreibungen, sodass das Modell Tools genauer aufruft. Ändert keine Typen, Standardwerte oder Pflichtfelder. Eine tools.json Datei
Modellauswahl Wertet Ihren Agent über mehrere Modellbereitstellungen hinweg aus, um den besten Qualitäts-zu-Kosten-Kompromiss zu finden. model_search_space in eval.yaml

Informationen zum Einrichten dieser Basiseingaben finden Sie unter "Vorbereiten des Agent-Optimierers". Informationen zum Ausführen und Konfigurieren der einzelnen Zielziele finden Sie unter Optimieren von Agent-Anweisungen, Fähigkeiten, Tools und Modellen.

Models

Der Agent-Optimierer verwendet während eines Optimierungslaufs zwei Modelle. Beide müssen in Ihrem Foundry-Projekt bereitgestellt werden.

Modell Konfigurationsschlüssel CLI-Kennzeichnung Rolle Unterstützte Modelle
Eval-Modell eval_model --eval-model Bewertet Agentenantworten anhand der im Datensatz enthaltenen Kriterien Ein beliebiges Chat-Abschlussmodell (z. B gpt-4.1-mini. )
Optimierungsmodell optimization_model --optimize-model Generiert Kandidatenkonfigurationen (Anweisungen, Fähigkeiten, Tools, Modellauswahl) gpt-5, gpt-5.1, gpt-5.2, gpt-5.4, gpt-5.5, , DeepSeek-V4-Pro, DeepSeek-V-3.2

Das Bewertungsmodell wird einmal pro Aufgabe und Kandidat ausgeführt. Er liest die Antwort des Agents und jedes Kriterium und gibt dann eine binäre Bewertung zurück. Das Optimierungsmodell analysiert die Basiswerte und generiert verbesserte Kandidaten über die konfigurierten Ziele hinweg (Anweisungen, Fähigkeiten, Tools und Modelle). Da es auf Basis des gesamten Datensatzes Schlussfolgerungen zieht, erzeugt ein leistungsfähigeres Optimierungsmodell in der Regel bessere Kandidaten.

Sie geben diese Modelle in eval.yaml oder mit CLI-Flags an und optimization_model sind erforderlich. Konfigurationsschritte finden Sie unter Auswählen der Modelle für die Auswertung und Optimierung.

Grundlegendes zu Optimierungsergebnissen

In diesem Abschnitt werden die Ergebnistabelle, die Berechnung der Zusammengesetztbewertung und die Interpretation von Verbesserungen erläutert.

Tip

Sie können auch Optimierungsergebnisse im Foundry-Portal anzeigen. Navigieren Sie zu Ihrem Projekt, wählen Sie Agents aus, wählen Sie Ihren Agent aus, und wählen Sie dann die Registerkarte "Optimieren " aus, um Bewertungsvergleiche, Diagramme und Bereitstellungsoptionen anzuzeigen.

Nach Abschluss einer Optimierung wird eine Ergebnistabelle angezeigt:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Spalten der Ergebnistabelle

Column Description
Kandidat Name der Konfiguration. baseline ist Ihr aktueller Agent vor der Optimierung.
Ergebnis Zusammengesetzte Bewertung für alle Vorgänge und Kriterien, von 0,0 bis 1,0.
Eval Link zum Auswertungsauftrag im Foundry-Portal.
Strategie Mutationsziele, die im Kandidaten enthalten sind, wie skill_policy-reviewer, tools.

Das ★ kennzeichnet den Kandidaten mit der höchsten Gesamtpunktzahl. Dies ist der empfohlene Kandidat für die Bereitstellung.

Berechnung der Bewertungen

Jeder Evaluator in Ihrem Datensatz erzeugt einen Rohwert für die Antwort des Agenten. Der Optimierer verarbeitet diese Bewertungen, um die in den Ergebnissen dargestellte Zusammengesetztbewertung zu erzeugen:

  • Neuskalieren: Die Rohbewertung jedes Evaluators wird auf 0 bis 1 skaliert.
  • Bei Bedarf umkehren: Wenn ein Evaluator so konfiguriert ist, dass niedriger besser ist, wird der Wert umgekehrt, sodass alle Evaluatoren der Semantik „höher ist besser“ folgen.
  • Durchschnitt: Die neu skalierten Bewertungen werden für alle Auswertungen und Vorgänge durchschnittlich berechnet, um die zusammengesetzte Bewertung zu erzeugen.

Gesamtpunktzahl: Der Durchschnitt aller neu skalierten Punktzahlen der Bewertenden über alle Aufgaben hinweg.

Verbesserungen des Scores interpretieren

Verbesserung Auslegung
Kleiner als 0,03 Lärm. Keine sinnvolle Verbesserung.
0.03 bis 0.10 Moderate Verbesserung. Die Bereitstellung lohnt sich.
0.10 bis 0.20 Erhebliche Verbesserung.
Größer als 0,20 Wesentliche Verbesserung. Wahrscheinlich aufgrund einer schlechten Grundlage.

Abwägungen bei Tokens

Optimierte Anweisungen sind häufig länger und detaillierter, wodurch die Nutzung von Antworttoken erhöht werden kann. Beachten Sie folgende Faktoren:

  • Ob die Erhöhung der Tokenanzahl proportional zur Verbesserung der Bewertung ist
  • Ob die Kostenerhöhung ihrem Budget entspricht
  • Gibt an, ob Antworten unnötig ausführlich sind oder einen Mehrwert mit der zusätzlichen Länge hinzufügen

Einschränkungen und Verfügbarkeit

Verwandte Inhalte

  • Last updated on