Uso di un modello di intelligenza artificiale generativo

Il modo più semplice per interagire con un modello distribuito consiste nell'usare il modello playground nel portale Foundry. È possibile usare Foundry Playgrounds per provare le richieste, confrontare i modelli e acquisire le impostazioni di lavoro prima di scrivere codice.

Parametri di configurazione chiave

Diversi argomenti o parametri del modello influenzano il comportamento di runtime, le prestazioni e i costi. Nelle impostazioni del playground è possibile configurare parametri come temperatura, max output token e istruzioni di sistema. Nell'interfaccia della chat del playground è possibile inviare richieste e visualizzare le risposte generate dal modello.

• Temperatura: controlla la creatività e il determinismo.
• Token di output massimi: limita la lunghezza delle risposte e influisce sul consumo dei token e sul comportamento di limitazione.
• Istruzioni di sistema : imposta il comportamento e il ruolo del modello.

A differenza del prompt dell'utente, che è la richiesta o la domanda dell'utente finale (ad esempio: Dove devo viaggiare?), un prompt di sistema imposta il comportamento, il tono, gli strumenti e le protezioni per l'assistente. Un esempio di richiesta di sistema è: "Esercitazione utile e dettagliata. Cita fonti. Rifiutare la consulenza medica."

Il playground è un ponte utile tra Foundry e il codice. Dopo aver testato le richieste dei rappresentanti, è possibile usare gli stessi prompt di sistema e utente e i valori dei parametri nel codice. Il playground fornisce codice che può chiamare la distribuzione Foundry tramite l'API Risposte compatibile con OpenAI. Il codice è essenzialmente ciò che viene eseguito quando si usa l'interfaccia di chat per configurare le impostazioni e inviare richieste utente.

È possibile accettare il codice come punto di partenza per creare un client di chat personalizzato.

Creare un client di chat leggero usando Foundry SDK

Un'applicazione client leggera è una piccola e minima app il cui processo primario consiste nel raccogliere l'input dell'utente, chiamare un servizio remoto/API e visualizzare i risultati, senza framework dell'interfaccia utente pesanti, logica back-end complessa o dipendenze locali di grandi dimensioni. In pratica, in genere:

• Funziona come interfaccia a riga di comando, piccola utilità desktop o semplice pagina web.
• Mantiene lo stato e il calcolo principalmente nel server (il modello viene eseguito in modalità remota).
• Ha un footprint di codice ridotto e una configurazione minima (spesso solo variabili di ambiente e uno script breve).
• È facile da prototipo, facile da eseguire in locale e facile da estendere in un secondo momento.

Per Foundry, un client di chat leggero è spesso un single Python file che si connette a un endpoint di progetto Foundry e invia messaggi di chat a un modello distribuito. Foundry SDK espone un client di progetto (operazioni native di Foundry) e un client compatibile con OpenAI per chiamare i modelli tramite l'API Risposte. La maggior parte delle app usa entrambe.

Creare un client di chat Python

Dopo aver creato un progetto Foundry e aver distribuito un modello di chat (ad esempio, gpt-4.1), è possibile usare Foundry SDK. Nell'esempio l'applicazione client usa l'autenticazione per connettersi all'endpoint per il modello, inviare una richiesta e visualizzare la risposta.

# pip install openai>=1.3.0
# pip install azure-ai-projects azure-identity openai

import os
from openai import OpenAI

client = OpenAI(
    base_url=f"{os.environ['AZURE_OPENAI_ENDPOINT']}/openai",
    api_key=os.environ["AZURE_OPENAI_API_KEY"]
)

response = client.responses.create(
    model=os.environ["DEPLOYMENT_NAME"],          # e.g., "gpt-4o-mini"
    input=[{"role": "system", "content": "You're a helpful assistant."},
           {"role": "user", "content": "Summarize the key points from our release notes in 3 bullets."}],
    max_output_tokens=300,
    temperature=0.7
)

print(response.output_text)

Comprendere la differenza tra modelli e agenti

In Microsoft Foundry i modelli e gli agentidi intelligenza artificiale generativi sono correlati ma servono scopi diversi. È possibile pensarlo in questo modo:

• Modelli = intelligenza non elaborata
• Agenti = lavoratori compatti e orientati ai compiti costruiti su quell'intelligenza

Quando si usa un modello di intelligenza artificiale generativo autonomamente:

• Si vuole inferenza pura: "Accettare questa richiesta e generare l'output".
• Stai sperimentando in Playground
• Chiamare il modello tramite l'API Risposte OpenAI

Successivamente, impara come creare un agente in Foundry.