Czym jest prompt injection?

Prompt injection to atak, w którym tekst czytany przez system AI jest napisany tak, by system zignorował swoje instrukcje i zrobił coś innego. Bezpośrednie wstrzyknięcie pochodzi od użytkownika, który je wpisuje. Pośrednie jest dla firm groźniejsze: instrukcja kryje się w treści, którą AI przetwarza w czyimś imieniu, na przykład na stronie internetowej, w mailu, udostępnionym dokumencie czy zgłoszeniu do pomocy technicznej, a model wykonuje ją, jakby pochodziła od operatora. Jeśli AI może tylko odpowiadać w oknie czatu, szkoda ogranicza się do błędnej lub kompromitującej odpowiedzi. Jeśli może czytać skrzynkę pocztową, wywoływać narzędzia, odpytywać bazę danych lub przeglądać sieć, wstrzyknięta instrukcja może sprawić, że ujawni dane lub wykona działania. Dziś nie ma pełnego rozwiązania, bo modele nie odróżniają niezawodnie instrukcji od danych. Pomaga: dawanie narzędziom AI jak najmniejszych uprawnień, zatwierdzanie przez człowieka działań o skutkach, trzymanie wrażliwych systemów poza zasięgiem agentów czytających niezaufane treści i logowanie tego, co zrobiła AI. OWASP stawia prompt injection na pierwszym miejscu wśród ryzyk aplikacji opartych na modelach językowych (LLM).

← Wszystkie pytania (45): Korzystanie z AI i bezpieczeństwo AIWszystkie tematy