Che cos'è la prompt injection?

La prompt injection è un attacco in cui un testo letto da un sistema di IA è scritto per fargli ignorare le istruzioni e fare altro. L'injection diretta arriva dall'utente che la digita. Quella indiretta è la più seria per le aziende: l'istruzione si nasconde in contenuti che l'IA elabora per conto di qualcuno, come una pagina web, un'e-mail, un documento condiviso o un ticket di assistenza, e il modello la segue come se venisse dal suo operatore. Se l'IA può solo rispondere in una finestra di chat, il danno si limita a una risposta sbagliata o imbarazzante. Se può leggere una casella di posta, chiamare strumenti, interrogare un database o navigare, un'istruzione iniettata può farle divulgare dati o compiere azioni. Oggi non esiste una soluzione completa, perché i modelli non separano in modo affidabile istruzioni e dati. Ciò che aiuta: dare agli strumenti di IA meno permessi possibile, richiedere l'approvazione umana per le azioni con conseguenze, tenere i sistemi sensibili fuori dalla portata degli agenti che leggono contenuti non fidati e registrare ciò che l'IA ha fatto. OWASP mette la prompt injection al primo posto tra i rischi delle applicazioni basate su modelli linguistici di grandi dimensioni (LLM).

← Tutte le 45 domande su Uso e sicurezza dell'IATutti i temi