Un agent d'IA aux permissions excessives peut-il divulguer des données clients ?

Oui, et sans que personne ne le veuille. Un agent ayant accès à un CRM, une boîte aux lettres ou un lecteur partagé peut être sollicité, ou piégé par une instruction cachée dans un document, un courriel ou une page web qu'il lit, pour résumer, transférer ou envoyer des données bien au-delà de ce dont sa tâche a besoin. Les voies courantes : un agent qui répond à des messages externes et inclut des données internes dans sa réponse, un agent capable d'envoyer des courriels ou de publier sur des services externes, un agent de code qui pousse vers un dépôt public du code contenant des secrets, et un agent dont les journaux ou la mémoire conservent des données clients là où personne ne les attend. Le remède, c'est le périmètre : uniquement les données nécessaires, aucun canal sortant sauf besoin, une validation humaine avant que quoi que ce soit ne quitte l'entreprise, et une séparation entre les agents qui lisent des contenus non fiables et ceux qui détiennent un accès sensible. Testez ces chemins avant la mise en service. Dans chaque offre, NetSenX détecte un volume de données sortantes inhabituel depuis un hôte, quel que soit le processus en cause, et dès l'offre Pro il montre avec quels services d'IA l'hôte communique ; il ne voit pas ce que l'agent a envoyé.

← Les 45 questions sur Usage et sécurité de l'IATous les thèmes