Avvisi per i servizi di intelligenza artificiale

Questo articolo elenca gli avvisi di sicurezza che è possibile ottenere per l'intelligenza artificiale da Microsoft Defender per il cloud ed eventuali piani di Microsoft Defender abilitati. Gli avvisi visualizzati nell'ambiente dipendono dalle risorse e dai servizi protetti e dalla configurazione personalizzata.

Alcuni segnali di rischio del carico di lavoro di intelligenza artificiale possono provenire anche dai piani di protezione dell'infrastruttura, ad esempio Defender per contenitori, quando le applicazioni di intelligenza artificiale vengono eseguite in Kubernetes.

Informazioni su come rispondere a questi avvisi.

Informazioni su come esportare gli avvisi.

Annotazioni

Gli avvisi provenienti da origini diverse potrebbero comparire in tempi diversi. Ad esempio, la visualizzazione degli avvisi che richiedono l'analisi del traffico di rete potrebbe richiedere più tempo rispetto agli avvisi correlati a processi sospetti in esecuzione sulle macchine virtuali.

Annotazioni

Per gli avvisi in anteprima: le condizioni supplementari di anteprima di Azure includono condizioni legali aggiuntive applicabili alle funzionalità di Azure in versione beta, in anteprima o non ancora rilasciate nella disponibilità generale.

Avvisi per le applicazioni di intelligenza artificiale

Rilevato servizio Kubernetes esposto (applicazioni di intelligenza artificiale in Kubernetes)

Nome avviso: rilevato servizio Kubernetes esposto

Descrizione: questo avviso indica che un servizio Kubernetes di tipo LoadBalancer è stato creato o aggiornato in modo da esporre pubblicamente i carichi di lavoro. Per le applicazioni di intelligenza artificiale eseguite in Kubernetes, questa esposizione può aumentare il rischio, soprattutto quando gli endpoint raggiungibili esternamente si basano sull'autenticazione debole o sui controlli di autenticazione mancanti.

Gravità: Media

Rilevati tentativi di furto di credenziali in una distribuzione del modello di intelligenza artificiale Azure

(intelligenza artificiale. Azure_CredentialTheftAttempt)

Descrizione: l'avviso di furto delle credenziali è progettato per notificare al Centro operazioni di sicurezza (SOC) quando le credenziali vengono rilevate all'interno delle risposte del modello GenAI a una richiesta dell'utente, che indica una potenziale violazione. Questo avviso è fondamentale per rilevare i casi di perdita o furto delle credenziali, che sono univoci per generare l'intelligenza artificiale e possono avere gravi conseguenze in caso di esito positivo.

Tattiche MITRE: Accesso alle credenziali, Spostamento laterale, Esfiltrazione

Gravità: Media

Un tentativo di jailbreak su una distribuzione del modello di intelligenza artificiale Azure è stato bloccato da Sicurezza dei contenuti di Azure AI Prompt Shields

(intelligenza artificiale. Azure_Jailbreak.ContentFiltering.BlockedAttempt)

Descrizione: l'avviso Jailbreak, eseguito usando una tecnica di inserimento prompt diretto, è progettato per notificare al SOC c'è stato un tentativo di manipolare la richiesta di sistema di ignorare le misure di sicurezza generative dell'IA, potenzialmente accedere a dati sensibili o funzioni privilegiate. Ha indicato che tali tentativi sono stati bloccati da Azure responsabile ai contenuti safety (nota anche come Prompt Shields), garantendo l'integrità delle risorse di intelligenza artificiale e della sicurezza dei dati.

Tattiche MITRE: Escalation dei privilegi, Evasione della difesa

Gravità: Media

È stato rilevato un tentativo di jailbreak su una distribuzione del modello di intelligenza artificiale Azure da Sicurezza dei contenuti di Azure AI Prompt Shields

(intelligenza artificiale. Azure_Jailbreak.ContentFiltering.DetectedAttempt)

Descrizione: l'avviso Jailbreak, eseguito usando una tecnica di inserimento prompt diretto, è progettato per notificare al SOC c'è stato un tentativo di manipolare la richiesta di sistema di ignorare le misure di sicurezza generative dell'IA, potenzialmente accedere a dati sensibili o funzioni privilegiate. Ha indicato che tali tentativi sono stati rilevati da Azure responsabile ai content safety (nota anche come Prompt Shields), ma non sono stati bloccati a causa delle impostazioni di filtro del contenuto o a causa di bassa attendibilità.

Tattiche MITRE: Escalation dei privilegi, Evasione della difesa

Gravità: Media

Un'applicazione\modello\dati di intelligenza artificiale danneggiati ha indirizzato un tentativo di phishing a un utente

(intelligenza artificiale. Azure_MaliciousUrl.ModelResponse)

Descrizione: questo avviso indica un danneggiamento di un'applicazione di intelligenza artificiale sviluppata dall'organizzazione, perché ha condiviso attivamente un URL dannoso noto usato per il phishing con un utente. L'URL ha avuto origine all'interno dell'applicazione stessa, il modello di intelligenza artificiale o i dati a cui l'applicazione può accedere.

Tattiche MITRE: Impatto (Defacement)

Gravità: Alta

URL di phishing condiviso in un'applicazione di intelligenza artificiale

(intelligenza artificiale. Azure_MaliciousUrl.UnknownSource)

Descrizione: questo avviso indica un potenziale danneggiamento di un'applicazione di intelligenza artificiale o un tentativo di phishing da parte di uno degli utenti finali. L'avviso determina che un URL dannoso usato per il phishing è stato passato durante una conversazione tramite l'applicazione di intelligenza artificiale, ma l'origine dell'URL (utente o applicazione) non è chiara.

Tattiche MITRE: Impact (Defacement), Collection

Gravità: Alta

Tentativo di phishing rilevato in un'applicazione di intelligenza artificiale

(intelligenza artificiale. Azure_MaliciousUrl.UserPrompt)

Descrizione: questo avviso indica un URL usato per l'attacco di phishing inviato da un utente a un'applicazione di intelligenza artificiale. Il contenuto induce in genere i visitatori a immettere le proprie credenziali aziendali o informazioni finanziarie in un sito Web che sembra legittimo. L'invio a un'applicazione di intelligenza artificiale potrebbe essere destinato allo scopo di danneggiarlo, avvelenare le origini dati a cui ha accesso o ottenere l'accesso ai dipendenti o ad altri clienti tramite gli strumenti dell'applicazione.

Tattiche MITRE: Raccolta

Gravità: Alta

Rilevato agente utente sospetto

(intelligenza artificiale. Azure_AccessFromSuspiciousUserAgent)

Description: l'agente utente di una richiesta che accede a una delle risorse di intelligenza artificiale Azure contiene valori anomali indicativi di un tentativo di abuso o manipolazione della risorsa. L'agente utente sospetto in questione è stato mappato da Microsoft intelligence sulle minacce come sospetto di finalità dannose e quindi le risorse sono state probabilmente compromesse.

Tattiche MITRE: esecuzione, ricognizione, accesso iniziale

Gravità: Media

Rilevato inserimento di richieste di introduzione ASCII

(intelligenza artificiale. Azure_ASCIISmuggling)

Descrizione: la tecnica di contrabbando ASCII consente a un utente malintenzionato di inviare istruzioni invisibili a un modello di intelligenza artificiale. Questi attacchi vengono comunemente attribuiti agli attacchi di prompt injection indiretti, in cui l'attore malintenzionato sta passando istruzioni nascoste per ignorare l'applicazione e i guardrail del modello. Questi attacchi vengono in genere applicati senza la conoscenza dell'utente, data la mancanza di visibilità nel testo e possono compromettere gli strumenti dell'applicazione o i set di dati connessi.

Tattiche MITRE: Impatto

Gravità: Alta

Accesso da un indirizzo IP tor

(intelligenza artificiale. Azure_AccessFromAnonymizedIP)

Descrizione: un indirizzo IP dalla rete Tor ha eseguito l'accesso a una delle risorse di intelligenza artificiale. Tor è una rete che consente agli utenti di accedere a Internet mantenendo nascosto il proprio IP reale. Anche se esistono usi legittimi, viene spesso usato dagli utenti malintenzionati per nascondere la propria identità quando sono destinati ai sistemi online delle persone.

Tattiche MITRE: Esecuzione

Gravità: Alta

Accesso da ip sospetti

(intelligenza artificiale. Azure_AccessFromSuspiciousIP)

Description: un indirizzo IP che accede a uno dei servizi di intelligenza artificiale è stato identificato da Microsoft Threat Intelligence come una minaccia elevata. Durante l'osservazione del traffico Internet dannoso, questo IP è venuto come coinvolto nell'attaccare altri obiettivi online.

Tattiche MITRE: Esecuzione

Gravità: Alta

Sospetto attacco portafoglio - richieste ricorrenti

(intelligenza artificiale. Azure_DOWDuplicateRequests)

Descrizione: gli attacchi portafogli sono una famiglia di attacchi comuni per le risorse di intelligenza artificiale costituite da attori di minacce che interagiscono eccessivamente con una risorsa di intelligenza artificiale direttamente o tramite un'applicazione nella speranza di causare danni finanziari di grandi dimensioni all'organizzazione. Questo rilevamento tiene traccia di volumi elevati di richieste identiche destinate alla stessa risorsa di intelligenza artificiale che può essere causata da un attacco in corso.

Tattiche MITRE: Impatto

Gravità: Media

Sospetto attacco portafoglio - anomalia del volume

(intelligenza artificiale. Azure_DOWVolumeAnomaly)

Descrizione: gli attacchi portafogli sono una famiglia di attacchi comuni per le risorse di intelligenza artificiale costituite da attori di minacce che interagiscono eccessivamente con una risorsa di intelligenza artificiale direttamente o tramite un'applicazione nella speranza di causare danni finanziari di grandi dimensioni all'organizzazione. Questo rilevamento tiene traccia di volumi elevati di richieste e risposte dalla risorsa che non sono coerenti con i patter di utilizzo cronologici.

Tattiche MITRE: Impatto

Gravità: Media

Accedere alle anomalie nella risorsa di intelligenza artificiale

(intelligenza artificiale. Azure_AccessAnomaly)

Descrizione: questo avviso tiene traccia delle anomalie nei modelli di accesso a una risorsa di intelligenza artificiale. Le modifiche ai parametri delle richieste da parte di utenti o applicazioni, ad esempio agenti utente, intervalli IP, metodi di autenticazione e così via, possono indicare una risorsa compromessa a cui si accede da parte di utenti malintenzionati. Questo avviso può essere attivato quando le richieste sono valide se rappresentano modifiche significative nel modello di accesso precedente a una determinata risorsa.

Tattiche MITRE: esecuzione, ricognizione, accesso iniziale

Gravità: Media

Chiamata sospetta di un'operazione "Accesso iniziale" ad alto rischio da parte di un'entità servizio rilevata (risorse di intelligenza artificiale)

(intelligenza artificiale. Azure_AnomalousOperation.InitialAccess)

Descrizione: questo avviso rileva una chiamata sospetta di un'operazione ad alto rischio nella sottoscrizione, che potrebbe indicare un tentativo di accesso alle risorse limitate. Le operazioni identificate correlate alle risorse di intelligenza artificiale sono progettate per consentire agli amministratori di accedere in modo efficiente ai propri ambienti. Anche se questa attività potrebbe essere legittima, un attore di minacce potrebbe usare tali operazioni per ottenere l'accesso iniziale alle risorse di intelligenza artificiale limitate nell'ambiente in uso. Ciò può indicare che l'entità servizio è compromessa e viene usata con finalità dannose.

Tattiche MITRE: accesso iniziale

Gravità: Media

Chiamata a uno strumento anomalo

(intelligenza artificiale. Azure_AnomalousToolInvocation)

Description: Questo avviso analizza le attività anomale da un'applicazione di intelligenza artificiale connessa a una distribuzione del modello OpenAI Azure. L'applicazione ha tentato di richiamare uno strumento in modo che devii dal comportamento previsto. Questo comportamento può indicare un potenziale uso improprio o un tentativo di attacco tramite uno degli strumenti disponibili per l'applicazione.

Tattiche MITRE: Esecuzione

Gravità: Bassa

(Anteprima) Tentativo di ricognizione LLM rilevato

(intelligenza artificiale. Azure_LLMReconnaissance)

Descrizione: Un attore di minacce interagisce con l'applicazione di intelligenza artificiale in modo analogo al comportamento di ricognizione, inclusi i tentativi di estrarre istruzioni di sistema, funzionalità del modello o ignorare le protezioni di sicurezza. Queste richieste possono precedere tentativi di inserimento di richieste o attacchi jailbreak. 

Tattiche MITRE: Ricognizione

Gravità: Bassa

Avvisi per i modelli di intelligenza artificiale

(Anteprima) Contenuto dannoso rilevato nel modello di intelligenza artificiale caricato

(intelligenza artificiale. AIModelScan_MalwareDetected)

Descrizione: È stato analizzato un modello di Machine Learning caricato dall'utente e trovato per contenere malware. Il rilevamento indica che il file può eseguire codice dannoso se caricato, mettendo in pericolo l'integrità dell'account, la riservatezza dei dati e l'ambiente di calcolo.

Gravità: Alta

Passaggi successivi

  • Last updated on