Modelli di generazione di video
Tip
Per altri dettagli, vedi la scheda Testo e immagini .
Oltre alle immagini statiche, ci aspettiamo sempre più di usare contenuto visivo come video.
Uso di modelli di generazione video di Foundry
Microsoft Foundry include modelli per la generazione di video, che è possibile usare per creare contenuti video originali.
I modelli di generazione di video in Foundry includono:
- Sora 1: Sora è il primo modello da testo a video di OpenAI reso disponibile in Microsoft Foundry. Genera brevi clip video da richieste di testo e può anche usare le immagini come input per guidare la creazione di video. Sora 1 supporta più risoluzioni e durate ed è esposto tramite il servizio Azure OpenAI e Foundry Video Playground per la sperimentazione.
Usi tipici:
- Video e storyboard di concetto
- Animazioni brevi da descrizioni di testo
- Creazione di prototipi visivi per flussi di lavoro creativi
Sora 2 (anteprima pubblica): Sora2 è il modello di generazione video di nuova generazione in Foundry e rappresenta un aggiornamento significativo rispetto a Sora 1. Supporta più modalità, tra cui: Testo → video, Video →, Video → video (remix). Sora 2 introduce anche la generazione audio, il realismo migliorato e le funzionalità di remixing che consentono modifiche mirate invece di rigenerare un intero video. È disponibile tramite l'API OpenAI di Azure v1 e Foundry Video Playground, con misure di sicurezza di intelligenza artificiale responsabili predefinite.
Usi tipici:
- Video promozionali e di marketing
- Anteprime del concetto e trailer cinematografici
- Contenuto multimediale didattico e immersivo
Annotazioni
Importante, i modelli Sora sono attualmente gli unici modelli di generazione di video nativi forniti direttamente tramite Foundry. Gli altri modelli Foundry possono essere multimodali (testo, immagine, audio), ma non generano l'output video. Sia Sora 1 che Sora 2 includono restrizioni di IA responsabile, ad esempio limiti per persone reali, caratteri protetti da copyright e determinati tipi di contenuto.
Generazione di video nell'ambiente di prova Foundry
Dopo aver distribuito un modello di generazione video appropriato, è possibile testarlo nel playground del portale foundry. Nel playground è anche possibile specificare parametri come dimensioni video e durata.
Le richieste al modello di generazione video devono includere una descrizione del contenuto nel video desiderato. Dopo alcuni minuti, il modello produce un video.
È possibile esaminare il codice di esempio nel playground.
Il codice di esempio usa l'interfaccia REST per la generazione di video.
Uso dell'interfaccia REST per la generazione di video
È possibile usare l'interfaccia REST Foundry per richiedere un processo di generazione di video e recuperare il file MP4 completato a livello di codice. La generazione di video a livello di codice consente di automatizzare il processo di generazione di video.
Annotazioni
Un'API REST (API Di trasferimento dello stato rappresentazione) è un'interfaccia Web che consente ai programmi di comunicare tramite HTTP. Un SDK come toolkit intuitivo per gli sviluppatori basato su tale interfaccia. È sempre possibile usare l'API REST sottostante, soprattutto se non esiste un SDK nel linguaggio di programmazione con cui si ha familiarità. È possibile usare curl (abbreviazione di URL client) per chiamare o comunicare con l'API REST. Curl è uno strumento da riga di comando usato per inviare e ricevere dati tramite Internet. Al suo centro curl: effettua richieste HTTP (e altri protocolli), invia i dati a un server e riceve e stampa la risposta del server.
La generazione di video è a elevato utilizzo di risorse e in genere viene eseguita come processo asincrono.
Asincrono significa che:
- Crea un lavoro
- Eseguire il poll sullo stato del processo
- Scarica il video al termine del lavoro.
I tempi di generazione dei video sono spesso di 1-5 minuti, a seconda delle impostazioni. Per eseguire un processo asincrono usando l'interfaccia REST Foundry, è necessario:
- Una risorsa OpenAI/Foundry di Azure in un'area supportata e in una distribuzione Sora (si distribuisce Sora dai modelli e dagli endpoint di Foundry).
- Metodo di autorizzazione: chiave API o ID Microsoft Entra
Si esaminerà ora l'uso dell'API OpenAI v1 di Azure con il modello Sora 2.
L'API Sora 2 fornisce endpoint distinti per:
- Avvio di un processo di rendering
- Polling dello stato del processo
- Download del video
1. Creare un lavoro video
Nell'esempio lo script avvia un processo di rendering asincrono e restituisce una risposta che include un ID video di cui eseguire il polling.
Annotazioni
Bash è una shell della riga di comando e un linguaggio di scripting. Curl è un comando eseguito all'interno di Bash.
curl -X POST "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/videos" \
-H "Content-Type: application/json" \
-H "api-key: $AZURE_OPENAI_API_KEY" \
-d '{
"model": "sora-2",
"prompt": "A cinematic close-up of raindrops sliding down a neon-lit window at night.",
"size": "1280x720",
"seconds": "8"
}'
2. Eseguire il poll dello stato del processo fino al completamento
Nell'esempio, lo script effettua il polling dell'endpoint finché il processo non raggiunge completed (o failed).
curl -X GET "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/videos/{video_id}" \
-H "api-key: $AZURE_OPENAI_API_KEY"
3. Scaricare il video completato
Il video viene scaricato solo dopo che lo stato è completed.
curl -L "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/videos/{video_id}/content?variant=video" \
-H "api-key: $AZURE_OPENAI_API_KEY" \
--output output.mp4
I modelli video stanno migliorando tutto il tempo e Microsoft Foundry semplifica l'integrazione in soluzioni creative. Successivamente, provare in autonomia i modelli abilitati per la visione, la generazione di immagini e la generazione di video in Foundry.