Czy agent AI z nadmiernymi uprawnieniami może ujawnić dane klientów?

Tak, i to bez niczyjego zamiaru. Agenta z dostępem do CRM, skrzynki pocztowej czy dysku współdzielonego można poprosić albo zmanipulować instrukcją ukrytą w dokumencie, mailu lub stronie, którą czyta, by streścił, przesłał dalej lub wysłał dane w zakresie daleko wykraczającym poza jego zadanie. Typowe drogi to agent odpowiadający na wiadomości z zewnątrz, który dołącza do odpowiedzi dane wewnętrzne, agent mogący wysyłać maile lub publikować w usługach zewnętrznych, agent kodujący, który wypycha do publicznego repozytorium kod z osadzonymi sekretami, oraz agent, którego logi lub pamięć przechowują dane klientów tam, gdzie nikt się ich nie spodziewa. Rozwiązaniem jest zakres: tylko dane potrzebne do zadania, żadnych kanałów wychodzących, jeśli nie są wymagane, zatwierdzenie przez człowieka, zanim cokolwiek opuści firmę, i rozdzielenie agentów czytających niezaufane treści od tych z dostępem do wrażliwych danych. Przetestuj te ścieżki przed uruchomieniem. W każdym planie NetSenX wykrywa nietypową ilość danych wychodzących z hosta, bez względu na to, jaki proces ją wywołał, a od planu Pro pokazuje, z którymi usługami AI host się komunikuje; nie widzi, co agent wysłał.

← Wszystkie pytania (45): Korzystanie z AI i bezpieczeństwo AIWszystkie tematy