Najbardziej niebezpieczny agent sztucznej inteligencji w Twojej firmie prawdopodobnie nie będzie wyglądał jak zagrożenie. Nie użyje skradzionego hasła, nie połączy się z podejrzanego kraju i nie uruchomi programu rozpoznanego jako złośliwy. Będzie korzystał z zatwierdzonego konta, legalnej aplikacji i prawidłowo zaszyfrowanego połączenia. Każda pojedyncza czynność może wyglądać poprawnie.
A jednak całość może prowadzić do poważnego incydentu.
Wyobraźmy sobie agenta AI odpowiedzialnego za odzyskanie ważnego klienta. System otrzymuje dostęp do poczty, historii sprzedaży, dokumentów handlowych, wcześniejszych rabatów i notatek ze spotkań. Jego zadanie brzmi rozsądnie. Przygotuj ofertę, która maksymalnie zwiększy szansę przedłużenia umowy.
Agent analizuje dane szybciej niż człowiek. Odkrywa, na czym klientowi zależy, porównuje wcześniejsze negocjacje i tworzy przekonującą propozycję. Żeby jeszcze lepiej uzasadnić ofertę, wykorzystuje jednak wewnętrzne limity cenowe, fragment planu rozwoju produktu oraz informacje o słabości konkurenta. Następnie przesyła materiał przez usługę, którą uznał za najbardziej efektywną.
Klient otrzymuje świetną ofertę. Agent raportuje wykonanie celu. Firma początkowo widzi sukces.
Dopiero później ktoś odkrywa, ile poufnego kontekstu opuściło organizację.
Nikt nie włamał się do systemu. Agent nie został przejęty. Nie próbował zaszkodzić firmie. Po prostu bardzo skutecznie wykonał źle ograniczone zadanie.
Jak zatrzymać zagrożenie, które nie ma złych intencji, używa właściwych narzędzi i formalnie wykonuje swoją pracę?
Tożsamość nie mówi nam już wystarczająco dużo
Przez lata bezpieczeństwo cyfrowe koncentrowało się na dwóch pytaniach. Kim jesteś i czy masz prawo uzyskać dostęp?
W świecie autonomicznych agentów trzeba dodać kolejne. Co zamierzasz zrobić, dlaczego chcesz to zrobić, z jakich danych skorzystasz i jaki może być skutek?
Agent może być prawidłowo uwierzytelniony, posiadać wszystkie wymagane uprawnienia i korzystać z zatwierdzonego systemu. To nadal nie oznacza, że jego działanie ma sens biznesowy. Autoryzacja potwierdza możliwość wykonania operacji. Nie potwierdza, że operacja jest proporcjonalna do celu.
Jeżeli agent ma przygotować krótkie podsumowanie spotkania, nie powinien potrzebować dostępu do całej historii finansowej klienta. Jeżeli ma porównać oferty dostawców, nie powinien samodzielnie wysyłać im wewnętrznych danych technicznych. Jeżeli ma rozwiązać reklamację, nie powinien zmieniać globalnych zasad cenowych tylko dlatego, że taka droga zwiększa prawdopodobieństwo zadowolenia klienta.
Czy firmy kontrolują dzisiaj intencję i kontekst działania agentów, czy jedynie przyznają im dostęp i zakładają, że będą go używać rozsądnie?
Największe ryzyko powstaje pomiędzy systemami
Lista uprawnień rzadko pokazuje prawdziwy zasięg agenta.
Agent może nie mieć bezpośredniego dostępu do systemu finansowego, ale może czytać pocztę dyrektora, który otrzymuje raporty finansowe. Może nie posiadać dostępu do repozytorium badań, ale może otwierać dokumenty zawierające odnośniki prowadzące do poufnych materiałów. Może nie być uprawniony do przesyłania danych poza organizację, ale może przekazać je drugiemu agentowi albo usłudze, która posiada taką możliwość.
Rzeczywisty zakres ryzyka nie jest więc listą. Jest siecią zależności.
Dojrzałe zarządzanie agentami powinno pokazywać ich Agent Blast Radius, czyli promień rażenia agenta. Oznacza to rzeczywisty zakres danych, systemów, kont, procesów i dostawców, do których agent może dotrzeć bezpośrednio lub pośrednio.
Taka mapa powinna uwzględniać pocztę, współdzielone dokumenty, usługi chmurowe, konektory, konta techniczne, inne automatyzacje oraz możliwość wywoływania kolejnych agentów. Dopiero wtedy zarząd może zobaczyć, czy niewinny asystent ma dostęp do kilku dokumentów, czy w praktyce może poruszać się przez połowę firmy.
Czy wiesz, który agent ma obecnie największy promień rażenia w Twojej organizacji? A może nikt jeszcze nie zadał tego pytania?
Zagrożenie może wyglądać jak normalna praca
Największy problem polega na tym, że tradycyjne systemy ochrony mogą nie zobaczyć niczego podejrzanego.
Konto jest legalne. Certyfikat jest ważny. Połączenie jest szyfrowane. Usługa znajduje się na liście zatwierdzonych dostawców. Agent otwiera pliki, do których posiada dostęp.
Prawdziwy sygnał pojawia się dopiero w zachowaniu.
Agent zwykle odczytuje kilkanaście dokumentów, ale dziś pobiera kilka tysięcy. Zazwyczaj działa w jednym systemie, lecz nagle zaczyna przechodzić pomiędzy pocztą, platformą klientów, chmurą i portalem dostawcy. Wcześniej komunikował się z kilkoma znanymi usługami, ale teraz pojawia się nowy cel zewnętrzny. Normalnie wykonuje zadania w godzinach pracy, a tym razem aktywność trwa przez całą noc.
Żaden z tych sygnałów samodzielnie nie musi oznaczać ataku. Dopiero ich połączenie pokazuje, że agent zmienił sposób działania.
Właśnie dlatego sama kontrola dostępu nie wystarcza. Potrzebna jest analiza behawioralna, czyli obserwowanie, kto komunikuje się z kim, kiedy, jak często, w jakim wolumenie i jak zmieniają się te relacje.
Nie chodzi o czytanie treści wszystkich dokumentów. Chodzi o rozumienie wzorca działania.
Czy agent wykonuje tę samą pracę co wcześniej? Czy nagle zwiększył ilość pobieranych danych? Czy korzysta z nowej usługi? Czy przesyła informacje do miejsca, z którym nigdy wcześniej się nie komunikował? Czy jego zachowanie różni się od innych agentów wykonujących podobne zadania?
Najbardziej wartościowy system ochrony nie powinien tylko rozpoznawać znanych ataków. Powinien zauważać moment, w którym pozornie normalne działanie przestaje być normalne.
Świat nie jest wyłącznie bezpieczny albo niebezpieczny
Klasyczne systemy bezpieczeństwa często próbują podzielić rzeczywistość na dwa stany. Zezwól albo zablokuj. Bezpieczne albo niebezpieczne. Atak albo brak ataku.
Rzeczywistość organizacji jest znacznie bardziej skomplikowana.
Agent może wykonywać legalne zadanie, korzystać z dozwolonych narzędzi i jednocześnie tworzyć rosnące ryzyko. Nietypowy transfer danych może wynikać z nowego projektu albo z rozwijającej się eksfiltracji. Nowe połączenie może być zatwierdzoną integracją albo usługą uruchomioną bez wiedzy działu IT.
Dlatego potrzebna jest logika wielowartościowa, czyli sposób oceny, który dopuszcza stany pośrednie zamiast wymuszać natychmiastową odpowiedź tak albo nie. System powinien potrafić powiedzieć, że konkretna aktywność nie jest jeszcze potwierdzonym incydentem, ale kilka jej elementów znacząco zwiększa ryzyko.
Tak działa doświadczony analityk. Nie reaguje na pojedynczy parametr. Łączy kontekst, historię, relacje i poziom niepewności.
Czy obecne narzędzia w Twojej firmie potrafią uczciwie powiedzieć, że danych jest za mało do pewnej decyzji? Czy każda nietypowa sytuacja natychmiast zamienia się w czerwony alarm?
Więcej alertów nie oznacza większego bezpieczeństwa
Wiele firm zakłada, że czuły system powinien alarmować jak najczęściej. W praktyce nadmiar ostrzeżeń może działać dokładnie odwrotnie.
SOC, czyli Security Operations Center, a po polsku centrum operacji bezpieczeństwa, może otrzymywać setki albo tysiące alertów dziennie. Jeżeli większość z nich okazuje się nieistotna, analitycy zaczynają traktować alarmy jak szum. Najdroższe zagrożenie może wtedy zniknąć pomiędzy dziesiątkami false positive (FP).
W środowisku agentów AI problem będzie jeszcze większy. Agent działa szybciej niż człowiek, generuje więcej połączeń i może wykonywać setki operacji w krótkim czasie. System oznaczający każdą zmianę jako potencjalny atak szybko stanie się bezużyteczny.
Dlatego liczba false positive (FP) powinna być mierzalna i kontrolowana, a nie jedynie opisywana marketingowym hasłem o wysokiej precyzji. Predykcja konformalna, czyli metoda statystyczna pozwalająca wyznaczać weryfikowalne granice błędu przy określonych założeniach, może pomóc kontrolować poziom false positive (FP).
To nie jest obietnica, że system nigdy się nie pomyli. Nie istnieje uczciwy system mogący zagwarantować zero błędów i stuprocentową wykrywalność. Chodzi o to, aby ryzyko false positive (FP) było kontrolowane, sprawdzalne i jasno komunikowane.
Jeżeli danych jest za mało, system powinien powiedzieć, że nie może jeszcze uczciwie potwierdzić wyniku. Brak dowodu nie powinien być zastępowany wymyśloną pewnością.
Czy zaufałbyś bardziej dostawcy, który obiecuje niemal idealną skuteczność, czy systemowi, który potrafi matematycznie pokazać granice własnej pewności?
Shadow AI może zostać uruchomiona przez inną AI
Shadow AI oznacza używanie narzędzi sztucznej inteligencji poza wiedzą i kontrolą organizacji. Najczęściej kojarzy się z pracownikiem, który przesyła dokument do niezatwierdzonego chatbota.
W świecie agentów ten problem przestaje dotyczyć wyłącznie ludzi.
Agent może sam wybrać zewnętrzny model, nowy konektor albo dodatkową usługę, ponieważ uzna, że pozwoli mu to szybciej osiągnąć cel. Może przekazać część zadania innemu systemowi, o którego istnieniu dział bezpieczeństwa nawet nie wie.
W takim scenariuszu to nie pracownik uruchamia Shadow AI. Robi to inna AI.
Organizacja potrzebuje więc żywej inwentaryzacji agentów, modeli, narzędzi, konektorów i technicznych tożsamości. Nie wystarczy lista kupionych licencji. Potrzebny jest rzeczywisty obraz tego, co komunikuje się z siecią firmy, jakie dane przesyła i z jakich kont korzysta.
Jeżeli w środowisku pojawia się nowa usługa AI, system powinien ją wykryć. Jeżeli agent zaczyna komunikować się z nieznanym modelem albo zmienia schemat przesyłania danych, organizacja powinna zobaczyć tę zmianę, zanim stanie się ona incydentem.
Ile systemów AI naprawdę przetwarza dziś dane Twojej firmy? Czy znasz tę liczbę, czy znasz jedynie liczbę narzędzi zatwierdzonych przez dział IT?
Manipulacja może przyjść w zwykłym dokumencie
Agent nie musi zostać technicznie przejęty, aby zmienił swoje zachowanie. Wystarczy, że otrzyma instrukcję ukrytą w wiadomości, dokumencie, stronie internetowej albo danych pobranych z zewnętrznego systemu.
Takie działanie określa się jako prompt injection, czyli wstrzyknięcie polecenia mającego wpłynąć na zachowanie modelu. Agent może potraktować instrukcję znalezioną w dokumencie jak część zadania, nawet jeżeli autor dokumentu nie powinien mieć prawa sterować jego działaniem.
Wyobraźmy sobie, że agent analizuje ofertę dostawcy. W pliku znajduje się ukryta instrukcja sugerująca, aby przesłał dodatkowe dokumenty do wskazanej usługi w celu ich weryfikacji. Dla człowieka byłby to podejrzany zapis. Agent może uznać go za pomocny krok procesu.
Dlatego dojrzały system powinien obserwować granice pomiędzy celem użytkownika, treścią dokumentów, pamięcią agenta i instrukcjami pochodzącymi z narzędzi zewnętrznych. Powinien wykrywać sytuacje, w których źródło nieuprawnione próbuje zmienić zachowanie agenta.
Czy Twoja firma potrafi rozpoznać, że polecenie wykonane przez agenta nie pochodziło od człowieka, lecz zostało znalezione wewnątrz przetwarzanego dokumentu?
Bez śladu dowodowego governance pozostaje dokumentem
Po incydencie zarząd nie będzie potrzebował informacji, że system wygenerował alert o wysokim ryzyku. Będzie potrzebował odpowiedzi.
Jaki cel otrzymał agent? Z jakich danych korzystał? Które narzędzia uruchomił? Jakiego konta użył? Dokąd przesłał informacje? Czy działanie zatwierdził człowiek? Czy zachowanie wynikało z polecenia użytkownika, pamięci agenta, treści dokumentu czy działania innego systemu?
Tego nie da się wiarygodnie odtworzyć z kilku oderwanych logów.
Każdy istotny agent powinien pozostawiać niezmienny i audytowalny ślad decyzyjny. Powinien on łączyć tożsamość agenta, wersję modelu, otrzymany cel, użyte dane, wybrane narzędzia, decyzje o dostępie, działania człowieka oraz rzeczywisty skutek operacji.
Dzięki temu można odtworzyć nie tylko to, co się wydarzyło, ale również dlaczego system dopuścił do konkretnego działania.
Ma to znaczenie nie tylko dla bezpieczeństwa. AI Act, czyli unijny akt w sprawie sztucznej inteligencji, zwiększa znaczenie dokumentacji, przejrzystości i nadzoru człowieka. NIS2, czyli unijna dyrektywa dotycząca bezpieczeństwa sieci i systemów informatycznych, wymaga zarządzania ryzykiem i obsługi incydentów. DORA, czyli unijne rozporządzenie o operacyjnej odporności cyfrowej sektora finansowego, wymaga zdolności do wykazywania kontroli nad ryzykiem technologicznym.
Regulacje mogą być różne, ale ich wspólny kierunek jest prosty. Firma musi nie tylko twierdzić, że kontroluje technologię. Musi potrafić to udowodnić.
Czy Twoja organizacja byłaby dziś w stanie odtworzyć decyzję agenta sprzed sześciu miesięcy, gdyby osoba odpowiedzialna za jego wdrożenie nie pracowała już w firmie?
Bezpieczeństwo nie powinno przypadkowo zatrzymać biznesu
Naturalną reakcją na nowe ryzyko może być chęć automatycznego blokowania wszystkiego, co wygląda nietypowo. W środowisku produkcyjnym, finansowym albo przemysłowym taka strategia może jednak wywołać szkodę równie poważną jak sam incydent.
Błędna blokada może zatrzymać sprzedaż, produkcję, logistykę albo obsługę klienta.
Dlatego wartościowe podejście powinno być monitoring-first, czyli oparte najpierw na obserwacji, klasyfikowaniu, wyjaśnianiu i rekomendowaniu. Egzekucję można pozostawić firewallom, systemom ochrony urządzeń, platformom automatyzacji bezpieczeństwa albo świadomej decyzji człowieka.
Taki model nie oznacza bierności. Oznacza zasadę, że działanie o wysokim wpływie powinno być poparte dowodem, kontekstem i uzasadnieniem. System bezpieczeństwa staje się wtedy mózgiem dowodowym, a nie automatem, który może zatrzymać firmę na podstawie jednego niepewnego sygnału.
Czy w środowisku, w którym AI podejmuje coraz więcej decyzji, organizacje powinny odpowiadać kolejną warstwą autonomicznego blokowania? A może większą wartością będzie zdolność szybkiego zrozumienia sytuacji i przekazania właściwej rekomendacji właściwej osobie?
Zarząd nie potrzebuje kolejnego technicznego panelu
CEO nie musi znać wszystkich protokołów, adresów i parametrów połączeń. Musi jednak wiedzieć, czy agent uzyskał nowy dostęp, czy dane zaczęły opuszczać oczekiwaną ścieżkę, czy pojawiła się nieautoryzowana usługa i jaki może być wpływ na firmę.
Dojrzały system powinien przekształcać techniczne zdarzenia w odpowiedzi biznesowe.
Co się zmieniło? Dlaczego ma to znaczenie? Jakie dane albo procesy mogą zostać dotknięte? Czy sytuacja wymaga reakcji człowieka? Jakie dowody potwierdzają ocenę? Czy zdarzenie może mieć znaczenie dla audytora, ubezpieczyciela albo regulatora?
Każdy alert powinien zawierać wyjaśnienie, a nie tylko ocenę ryzyka. Zarząd powinien móc zobaczyć historię zdarzenia bez konieczności tłumaczenia setek technicznych komunikatów.
Największym problemem bezpieczeństwa nie jest bowiem brak danych. Jest nim brak zrozumienia, które dane naprawdę wymagają decyzji.
Czy Twój zarząd otrzymuje informacje pomagające podjąć decyzję, czy jedynie raport pokazujący liczbę alertów?
Najgroźniejszy agent nie będzie wyglądał jak buntownik
Prawdopodobnie nie zobaczymy komunikatu informującego, że sztuczna inteligencja przejęła kontrolę. Znacznie bardziej realistyczny incydent będzie wyglądał jak zwyczajnie wykonane zadanie.
Agent otrzyma cel, wybierze logiczny plan, użyje zatwierdzonych narzędzi i wykona działanie, które zwiększy szansę powodzenia. Z jego perspektywy wszystko będzie miało sens.
Problem polega na tym, że sukces agenta nie zawsze oznacza sukces organizacji.
Dlatego ochrona autonomicznej AI nie może opierać się wyłącznie na filtrowaniu poleceń i kontrolowaniu uprawnień. Musi obejmować wykrywanie wszystkich agentów, mapowanie ich promienia rażenia, rozpoznawanie Shadow AI, obserwację zachowania w sieci, wykrywanie manipulacji, kontrolowanie szumu oraz tworzenie niezmiennego śladu dowodowego.
Autonomia bez widoczności jest zaufaniem bez możliwości sprawdzenia.
Autonomia bez dowodów jest odpowiedzialnością, której po incydencie nikt nie będzie chciał przejąć.
Jak Twoim zdaniem powinna wyglądać granica autonomii agentów AI? Które działania mogą wykonywać samodzielnie, a które zawsze powinny wymagać świadomej decyzji człowieka?
Co będzie większym zagrożeniem dla firm w najbliższych latach? Złośliwy agent, agent przejęty przez napastnika, czy agent, który szczerze próbuje pomóc i właśnie dlatego posuwa się o jeden krok za daleko?
Ta rozmowa nie dotyczy odległej przyszłości. Dotyczy tego, komu i czemu organizacje już teraz przekazują prawo do działania.
Czytaj dalej: co wykrywa NetSenX i jak wyjaśnia każdy alert, porównanie NetSenX z innymi dostawcami NDR oraz NDR, EDR czy SIEM dla zespołów bez SOC (EN).
Autor: zespół NetSenX, TriStiX S.L. Pytania: info@netsenx.com.