Was ist Prompt Injection?
Prompt Injection ist ein Angriff, bei dem Text, den ein KI-System liest, so geschrieben ist, dass es seine Anweisungen ignoriert und etwas anderes tut. Direkte Injection kommt vom Nutzer, der sie eintippt. Indirekte Injection ist für Unternehmen die ernstere Form: Die Anweisung versteckt sich in Inhalten, die die KI für jemanden verarbeitet, etwa einer Webseite, einer E-Mail, einem geteilten Dokument oder einem Support-Ticket, und das Modell befolgt sie, als käme sie vom Betreiber. Kann die KI nur in einem Chatfenster antworten, beschränkt sich der Schaden auf eine falsche oder peinliche Antwort. Kann sie ein Postfach lesen, Werkzeuge aufrufen, eine Datenbank abfragen oder im Web surfen, kann eine eingeschleuste Anweisung sie dazu bringen, Daten preiszugeben oder Aktionen auszuführen. Eine vollständige Lösung gibt es heute nicht, weil Modelle Anweisungen und Daten nicht zuverlässig trennen. Was hilft: KI-Werkzeugen so wenige Rechte wie möglich geben, für folgenreiche Aktionen eine menschliche Freigabe verlangen, sensible Systeme außer Reichweite von Agenten halten, die nicht vertrauenswürdige Inhalte lesen, und protokollieren, was die KI getan hat. OWASP führt Prompt Injection als erstes Risiko für Anwendungen mit großen Sprachmodellen (LLM).