Memoria nel Servizio Foundry Agent di Microsoft (anteprima)

Importante

Memory (anteprima) in Servizio agenti Foundry e l'API Memory Store (anteprima) sono concessi in licenza all'utente come parte della sottoscrizione a Azure e sono soggetti ai termini applicabili alle "anteprime" contenuti nei Termini dei prodotti Microsoft, Addendum sulla protezione dei dati per i prodotti e i servizi Microsofte Termini di utilizzo supplementari per le anteprime di Microsoft Azure.

L'anteprima più recente offre nuove funzionalità e miglioramenti, tra cui:

  • Operazioni sugli elementi di memoria per creare, leggere, aggiornare, elencare ed eliminare singoli record di memoria.
  • Controlli di conservazione predefiniti a livello di archivio, incluso il TTL predefinito per gli archivi di memoria appena creati.
  • Comportamento del comando di memoria sincronizzata "ricorda o dimentica" diretto.

La memoria nel Microsoft Foundry Agent Service è una soluzione di memoria gestita a lungo termine. Consente la continuità dell'agente tra sessioni, dispositivi e flussi di lavoro. Creando e gestendo archivi di memoria, è possibile creare agenti che mantengono le preferenze utente, mantengono la cronologia delle conversazioni e offrono esperienze personalizzate.

Questo articolo offre una panoramica della memoria dell'agente, inclusi i concetti, i casi d'uso e le limitazioni. Per istruzioni sull'utilizzo, vedere Creare e usare la memoria nel servizio agente Foundry.

Che cos'è la memoria?

La memoria è una conoscenza persistente mantenuta da un agente tra le sessioni. In genere, la memoria dell'agente rientra in due categorie:

  • La memoria a breve termine tiene traccia della conversazione della sessione corrente e mantiene il contesto immediato per le interazioni in corso. "I framework di orchestrazione dell'Agente gestiscono in genere questa memoria come parte del contesto della sessione."

  • La memoria a lungo termine mantiene le conoscenze distillate attraverso le sessioni. Il modello può richiamare e compilare le interazioni utente precedenti nel tempo. La memoria a lungo termine richiede un sistema permanente che estrae, consolida e gestisce le conoscenze.

La memoria nel servizio agente Foundry è progettata per la memoria a lungo termine. Estrae informazioni significative dalle conversazioni, lo consolida in conoscenze durevoli e lo rende disponibile tra le sessioni.

Funzionamento della memoria

Dietro le quinte, i ricordi vengono archiviati come elementi in un archivio di memoria gestita. Il sistema potrebbe applicare la logica di consolidamento e risoluzione dei conflitti, se applicabile, ad esempio per unire informazioni sul profilo utente duplicate o sovrapposte.

Nota

Il comportamento di consolidamento può variare in base al tipo di memoria e può cambiare durante l'anteprima. Per il comportamento più recente, vedere Creare e usare la memoria nel servizio agente Foundry.

La memoria funziona nelle fasi seguenti:

  1. Estrazione: Quando un utente interagisce con un agente, il sistema estrae attivamente informazioni chiave dalla conversazione, ad esempio preferenze utente, fatti e contesto pertinente. Ad esempio, le preferenze come "allergico al latte" e i riepiloghi delle attività recenti vengono identificate e archiviate.

  2. Consolidamento: I ricordi estratti vengono consolidati per mantenere efficiente e pertinente l'archivio di memoria. Il sistema usa llms per unire argomenti simili o duplicati in modo che l'agente non archivii le informazioni ridondanti. Informazioni in conflitto, come una nuova allergia, vengono risolti per mantenere una memoria accurata.

  3. Recupero: Quando l'agente deve richiamare le informazioni, cerca i ricordi più rilevanti nell'archivio memoria. Ciò consente all'agente di individuare rapidamente il contesto corretto, rendendo le conversazioni naturali e informate. Per ottenere risultati ottimali, recuperare informazioni stabili sul profilo utente nelle prime fasi della conversazione in modo che l'agente possa personalizzare le risposte.

Ecco un esempio di come la memoria può migliorare e personalizzare le interazioni tra un agente ricetta e un utente che in precedenza ha espresso un'allergia alimentare:

Diagramma che mostra l'estrazione della memoria, l'archiviazione e il recupero per un agente tra le sessioni.

Suggerimento

Serve aiuto per decidere quando usare la memoria? Prendere in considerazione queste linee guida:

  • Usa la memoria per memorizzare il contesto specifico dell'utente o dell'agente, che viene appreso e mantenuto nel corso delle interazioni nel tempo.
  • Usare una Knowledge Base di IQ Foundry per basare l'agente su contenuti aziendali curati.
  • Usare lo strumento di ricerca file per cercare i documenti forniti dall'utente durante un'interazione.

Tipi di memoria

La funzionalità Memoria di Foundry Agent Service estrae e archivia tre tipi di memoria a lungo termine:

Tipo di memoria Descrizione Linee guida per il recupero Configurazione
Memoria del profilo utente Preferenze utente durevoli e contesto personale, ad esempio preferenze di lingua, impostazioni predefinite del prodotto o esigenze di accessibilità. Recupera vicino all'inizio di ogni conversazione per stabilire un contesto di personalizzazione stabile. Abilitata per impostazione predefinita. Per configurare e disabilitare, vedere Creare un archivio di memoria.
Memoria di riepilogo della chat Riepiloghi distillati di argomenti e thread di conversazione precedenti. Recuperare, turno per turno, i messaggi della conversazione in corso per far emergere il contesto di continuità pertinente. Abilitata per impostazione predefinita. Per configurare e disabilitare, vedere Creare un archivio di memoria.
Memoria procedurale Procedure riutilizzabili e modelli operativi dedotti dalle interazioni precedenti. Recupera quando l'utente richiede un flusso di lavoro o un'attività ricorrente che l'agente ha gestito in precedenza. Abilitata per impostazione predefinita. Per configurare e disabilitare, vedere Creare un archivio di memoria.

Gestione e conservazione della memoria

La memoria nel Servizio agenti Foundry supporta controlli di gestione e conservazione dettagliati per gli scenari di produzione:

Con questi controlli, è possibile bilanciare la qualità della personalizzazione con i requisiti di privacy, conformità e ciclo di vita dei dati.

Uso della memoria

Esistono due modi per usare la memoria per le interazioni dell'agente:

  • Strumento di ricerca della memoria: Collegare lo strumento di ricerca della memoria a un agente di richiesta per abilitare la lettura e la scrittura nell'archivio memoria durante le conversazioni. Questo approccio è ideale per la maggior parte degli scenari perché semplifica la gestione della memoria. Per ulteriori informazioni, vedere Uso delle memorie tramite uno strumento agente.

  • API dell'archivio memoria: Interagire direttamente con l'archivio di memoria usando le API di basso livello. Questo approccio offre maggiore controllo e flessibilità per i casi d'uso avanzati, tra cui il controllo diretto sui singoli record di memoria, il comportamento di conservazione e le operazioni esplicite del ciclo di vita della memoria. Per altre informazioni, vedere Usare memorie tramite LE API.

Casi d'uso

Gli esempi seguenti illustrano come la memoria può migliorare vari tipi di agenti.

  • Un agente del supporto tecnico che memorizza il nome, i problemi precedenti e le risoluzioni, i numeri di ticket e il metodo di contatto preferito (chat, posta elettronica o callback). Questa memoria consente di evitare di ripetere le informazioni, quindi le conversazioni sono più efficienti e soddisfacenti.

  • Assistente acquisti personale che ricorda le tue dimensioni in marchi specifici, colori preferiti, ritorni passati e acquisti recenti. L'agente può suggerire elementi pertinenti non appena si avvia una sessione ed evitare di consigliare prodotti già di proprietà.

Rischi per la sicurezza

Quando si lavora con la memoria nel servizio agente Foundry, il modello LLM (Large Language Model) estrae e consolida i ricordi in base alle conversazioni. Proteggere la memoria dalle minacce, come l'iniezione di prompt e la corruzione della memoria. Questi rischi si verificano quando i dati non corretti o dannosi vengono archiviati nella memoria dell'agente, influenzando potenzialmente le risposte e le azioni dell'agente.

Per attenuare i rischi di sicurezza, prendere in considerazione queste azioni:

  • Usare Sicurezza dei contenuti di Azure AI e il relativo prompt injection detection: Convalidare tutte le richieste di immissione o uscita dal sistema di memoria per evitare contenuti dannosi.

  • Eseguire attacchi e test antagonisti: testare regolarmente l'agente per individuare le vulnerabilità di iniezione tramite esercizi antagonisti controllati.

Limitazioni e quote

Le limitazioni e le quote seguenti si applicano alla memoria nel servizio agente Foundry. Per limitazioni e quote più ampie, vedere limiti, quote e supporto regionale di Foundry Agent Service.

Limitazioni

  • La memoria attualmente richiede modelli di chat e di incorporamento compatibili con Azure OpenAI. Per un elenco dei modelli supportati, vedere Foundry Models venduto da Azure.

  • Per le API di memoria di basso livello, è necessario impostare scope in modo esplicito in ogni richiesta. La risoluzione automatica dell'ambito dall'identità del chiamante è supportata solo quando si usa lo strumento di ricerca della memoria con scope impostato su {{$userId}}. Per altre informazioni, vedere Comprendere l'ambito.

  • L'integrazione della rete virtuale non è supportata per gli archivi di memoria.

Nota

Nell'anteprima più recente alcune opzioni predefinite dell'archivio memoria, ad esempio l'abilitazione della memoria procedurale e l'impostazione di un TTL predefinito, vengono configurate in fase di creazione dell'archivio. Verifica il supporto per gli aggiornamenti successivi alla creazione nella tua versione dell'API.

Quote

  • Ambiti massimi per ogni archivio di memoria: 100
  • Memoria massima per ambito: 10.000
  • Memorie di ricerca: 1.000 richieste al minuto
  • Aggiornare i ricordi: 1.000 richieste al minuto

Disponibilità dell'area

La memoria è disponibile nelle aree seguenti:

  • Australia orientale
  • Brasile meridionale
  • Canada orientale
  • Stati Uniti orientali 2
  • Francia centrale
  • Italia settentrionale
  • Giappone orientale
  • Corea centrale
  • Stati Uniti centro-settentrionali
  • Norvegia orientale
  • Sudafrica settentrionale
  • India meridionale
  • Svezia centrale
  • Svizzera settentrionale
  • Emirati Arabi Uniti settentrionali
  • Regno Unito meridionale
  • Stati Uniti occidentali
  • Stati Uniti occidentali 2
  • Stati Uniti occidentali 3

Tariffe

La memoria è attualmente disponibile in anteprima pubblica. I prezzi e la fatturazione per la memoria e l'API dell'archivio memoria possono cambiare durante l'anteprima.

Viene addebitato l'utilizzo dei modelli di chat ed embedding sottostanti che hai configurato. Per informazioni sui prezzi correnti, vedere Prezzi del servizio Foundry Agent.

Contenuto correlato

  • Last updated on