Un agente di IA con troppi permessi può divulgare dati dei clienti?

Sì, e senza che nessuno lo voglia. A un agente con accesso a CRM, casella di posta o unità condivisa si può chiedere, oppure lo si può ingannare con un'istruzione nascosta in un documento, un'e-mail o una pagina web che legge, di riassumere, inoltrare o caricare dati ben oltre ciò che serve al suo compito. Percorsi tipici: un agente che risponde a messaggi esterni e inserisce dati interni nella risposta, un agente che può inviare e-mail o pubblicare su servizi esterni, un agente di programmazione che carica su un repository pubblico codice con segreti incorporati, e un agente i cui log o la cui memoria conservano dati dei clienti dove nessuno se li aspetta. Il rimedio è il perimetro: solo i dati necessari al compito, nessun canale in uscita se non serve, approvazione umana prima che qualcosa esca dall'azienda e separazione tra agenti che leggono contenuti non fidati e agenti con accessi sensibili. Verifichi questi percorsi prima della messa in produzione. In ogni piano NetSenX rileva un volume di dati in uscita insolito da un host, qualunque processo lo abbia causato, e dal piano Pro mostra con quali servizi di IA comunica l'host; non vede che cosa ha inviato l'agente.

← Tutte le 45 domande su Uso e sicurezza dell'IATutti i temi