Che cos'è l'ottimizzatore dell'agente? (anteprima)

Importante

Agent Optimizer è attualmente in anteprima. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero avere funzionalità limitate. Per ulteriori informazioni, vedere Condizioni supplementari per l'uso delle versioni di anteprima di Microsoft Azure.

L'utilità di ottimizzazione agente in Foundry Agent Service migliora automaticamente gli agenti ospitati valutando il comportamento e generando configurazioni migliori. Queste configurazioni possono includere istruzioni migliorate, competenze, descrizioni degli strumenti e selezione del modello.

La creazione di agenti di intelligenza artificiale efficaci richiede un'ampia progettazione dei prompt. Si distribuisce un agente con istruzioni artigianali, lo si testa su scenari reali, si identificano i punti deboli, si rivedono le richieste e si ripete. Questo ciclo è lento, soggettivo e non è scalabile. L'utilità di ottimizzazione agente automatizza questo ciclo in modo che sia possibile concentrarsi sulla logica di base dell'agente.

Flusso di lavoro di ottimizzazione

L'ottimizzazione di un agente segue un percorso ripetibile. Ogni passaggio è collegato all'articolo che lo descrive in dettaglio:

  1. Prepara il tuo agente. Aggiungi il pacchetto di ottimizzazione e una configurazione di riferimento in modo che l'ottimizzatore possa leggere e migliorare il tuo agente. Vedi Rendi l'agente pronto per l'ottimizzatore.
  2. Creare un set di dati di valutazione. Definisci le attività e i criteri in base a cui l'ottimizzatore assegna un punteggio. Vedere Creare un set di dati di valutazione e gli analizzatori.
  3. Eseguire l'ottimizzatore. Avviare un'esecuzione di ottimizzazione e scegliere le destinazioni e i modelli da esplorare. Vedere Ottimizzare le istruzioni, le competenze, gli strumenti e i modelli dell'agente.
  4. Esamina i risultati. Confrontare i punteggi dei candidati con la baseline e scegliere quella migliore. Vedere Informazioni sui risultati dell'ottimizzazione.
  5. Applicare e distribuire. Promuovi il candidato vincente alla configurazione del tuo agente e ridistribuiscilo. Vedi Distribuire il vincitore.

Per provare il flusso di lavoro completo con un agente di esempio, iniziare con Avvio rapido: Ottimizzare un agente ospitato.

Come funziona l'ottimizzatore dell'agente

L'ottimizzatore dell'agente esegue un ciclo di valutazione e miglioramento a ciclo chiuso:

  1. Valutare la linea di base. Optimizer richiama l'agente su un set di dati di attività e assegna punteggi a ogni risposta in base ai criteri definiti o predefiniti. La baseline è il punteggio del tuo agente prima di apportare qualsiasi modifica.
  2. Generare candidati. L'ottimizzatore produce configurazioni alternative denominate candidate, ovvero istruzioni riscritte o competenze individuate, progettate per migliorare i punteggi.
  3. Valutare i candidati. L'utilità di ottimizzazione testa ogni candidato rispetto allo stesso set di dati.
  4. Classificare e consigliare. Optimizer classifica i risultati in base al punteggio composito, un valore compreso tra 0,0 e 1,0 che rappresenta le prestazioni aggregate e contrassegna il candidato migliore con ★ . Si applica e si distribuisce la versione vincente.

L'intero processo viene eseguito nel cloud e richiede da 5 a 20 minuti, a seconda delle dimensioni del set di dati. Dopo aver reso pronto l'agente Optimizer, non sono necessarie altre modifiche al codice tra le esecuzioni: load_config() restituisce normalmente la baseline e fornisce automaticamente la configurazione ottimizzata durante e dopo un'esecuzione, senza flag di funzionalità o logica condizionale.

Avvertimento

Durante l'ottimizzazione, l'ottimizzatore valuta il tuo agente invocandolo per ogni attività nel tuo dataset. Se l'agente chiama strumenti esterni, ad esempio API, database o servizi di terze parti, queste chiamate vengono eseguite durante ogni esecuzione della valutazione. Per evitare effetti collaterali indesiderati (carichi, mutazioni di stato o limitazione della velocità), si consiglia di utilizzare endpoint di test o implementazioni di strumenti di simulazione durante l'ottimizzazione.

Destinazioni di ottimizzazione

Una destinazione di ottimizzazione è un aspetto specifico della configurazione dell'agente che l'ottimizzatore può migliorare. L'ottimizzatore esegue tutte le destinazioni applicabili in un'unica esecuzione e attiva automaticamente ciascuna in base alla configurazione di base e alle impostazioni eval.yaml.

Obiettivo Cosa migliora l'ottimizzatore Si attiva quando la linea di base ha
Ottimizzazione delle istruzioni Riscrive e perfeziona il prompt di sistema per ottenere un punteggio più alto. Destinazione più comune. Un instructions.md file
Miglioramento delle competenze Affina il contenuto di ogni competenza riutilizzabile (in SKILL.md), mantenendo invariate le descrizioni delle competenze. Una skills/ cartella
Ottimizzazione degli strumenti Migliora le descrizioni degli strumenti e dei parametri in modo che il modello chiami gli strumenti in modo più accurato. Non modifica i tipi, le impostazioni predefinite o i campi obbligatori. Un tools.json file
Selezione del modello Valuta il tuo agente su più distribuzioni di modelli per trovare il miglior compromesso tra qualità e costo. model_search_space in eval.yaml

Per configurare questi input di riferimento, consulta Prepara l'agente per l'ottimizzatore. Per eseguire e configurare ogni destinazione, vedere Ottimizzare le istruzioni, le competenze, gli strumenti e i modelli dell'agente.

Models

L'ottimizzatore dell'agente usa due modelli durante un'esecuzione di ottimizzazione. Entrambi devono essere distribuiti nel progetto Foundry.

Modello Chiave di configurazione Opzione CLI Ruolo Modelli supportati
Modello Eval eval_model --eval-model Assegna punteggi alle risposte dell'agente in base ai criteri nel set di dati Qualsiasi modello di completamento della chat (ad esempio, gpt-4.1-mini)
Modello di ottimizzazione optimization_model --optimize-model Genera configurazioni candidate (istruzioni, competenze, strumenti, selezione del modello) gpt-5, gpt-5.1, gpt-5.2, gpt-5.4gpt-5.5, , DeepSeek-V4-ProDeepSeek-V-3.2

Il modello di valutazione viene eseguito una volta per ogni attività per candidato. Legge la risposta dell'agente e ogni criterio, quindi restituisce un punteggio binario. Il modello di ottimizzazione analizza i risultati di base e genera candidati migliorati tra le destinazioni configurate (istruzioni, competenze, strumenti e modelli). Poiché ragiona sull’intero set di dati, un modello di ottimizzazione più potente produce in genere candidati migliori.

Questi modelli vengono specificati in eval.yaml o con i flag dell'interfaccia della riga di comando ed optimization_model è obbligatorio. Per i passaggi di configurazione, vedere Scegliere i modelli di valutazione e ottimizzazione.

Informazioni sui risultati dell'ottimizzazione

Questa sezione illustra la tabella dei risultati, il modo in cui viene calcolato il punteggio composito e come interpretare i miglioramenti.

Tip

È anche possibile visualizzare i risultati di ottimizzazione nel portale foundry. Passare al progetto, selezionare Agenti, scegliere l'agente e quindi selezionare la scheda Ottimizza per visualizzare confronti dei punteggi, grafici e opzioni di distribuzione.

Al termine dell'esecuzione dell'ottimizzazione, viene visualizzata una tabella dei risultati:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Colonne della tabella dei risultati

Column Description
Candidato Nome della configurazione. baseline è il tuo agente attuale prima dell'ottimizzazione.
Punteggio Punteggio composito per tutte le attività e i criteri, compreso tra 0,0 e 1,0.
Eval Collegamento al processo di valutazione nel portale Foundry.
Strategia Destinazioni di mutazione incluse nel candidato, ad esempio skill_policy-reviewer, tools.

Contrassegna ★ il candidato con il punteggio composito più alto. Questo è il candidato consigliato da distribuire.

Come vengono calcolati i punteggi

Ogni valutatore nel tuo dataset produce un punteggio grezzo per la risposta dell'agente. L'ottimizzatore elabora questi punteggi per produrre il punteggio composito visualizzato nei risultati:

  • Riscalatura: Il punteggio grezzo di ciascun valutatore viene riscalato su 0–1.
  • Inverti se necessario: se un valutatore è configurato in modo che un valore inferiore è migliore, il punteggio viene invertito affinché tutti i valutatori adottino la semantica "più alto è migliore".
  • Media: viene calcolata la media dei punteggi riscalati di tutti i valutatori e di tutte le attività per ottenere il punteggio composito.

Punteggio composito: La media di tutti i punteggi riscalati dei valutatori per tutte le attività.

Interpretare i miglioramenti del punteggio

Miglioramento Interpretazione
Minore di 0,03 Rumore. Non un miglioramento significativo.
Da 0.03 a 0.10 Miglioramento moderato. Vale la pena implementarlo.
Da 0.10 a 0.20 Miglioramento significativo.
Maggiore di 0,20 Miglioramento importante. Probabilmente derivato da una base di partenza scadente.

Compromessi dei token

Le istruzioni ottimizzate sono spesso più lunghe e più dettagliate, che possono aumentare l'utilizzo dei token di risposta. Tenere presente questi fattori:

  • Indica se l'aumento del token è proporzionale al miglioramento del punteggio
  • Indica se l'aumento dei costi rientra nel budget
  • Indica se le risposte sono inutilmente verbose o aggiungere valore con la lunghezza aggiuntiva

Limitazioni e disponibilità

Contenuti correlati

  • Last updated on