Qu'est-ce que l'injection de prompt ?

L'injection de prompt est une attaque dans laquelle un texte lu par un système d'IA est rédigé pour lui faire ignorer ses instructions et faire autre chose. L'injection directe vient de l'utilisateur qui la saisit. L'injection indirecte est la plus sérieuse pour les entreprises : l'instruction se cache dans un contenu que l'IA traite pour quelqu'un, comme une page web, un courriel, un document partagé ou un ticket de support, et le modèle la suit comme si elle venait de son opérateur. Si l'IA ne peut que répondre dans une fenêtre de discussion, les dégâts se limitent à une réponse fausse ou gênante. Si elle peut lire une boîte aux lettres, appeler des outils, interroger une base de données ou naviguer, une instruction injectée peut lui faire divulguer des données ou exécuter des actions. Il n'existe pas de parade complète aujourd'hui, car les modèles ne séparent pas de façon fiable instructions et données. Ce qui aide : donner aux outils d'IA le moins de permissions possible, exiger une validation humaine pour les actions qui ont des conséquences, tenir les systèmes sensibles hors de portée des agents qui lisent des contenus non fiables, et journaliser ce que l'IA a fait. L'OWASP classe l'injection de prompt en tête des risques des applications fondées sur des grands modèles de langage (LLM).

← Les 45 questions sur Usage et sécurité de l'IATous les thèmes