Fallstudie 3.3
Welche Befehle darf ein KI-Agent ausführen?

Lukas RitzerWrestedt, Landkreis Uelzen
01 / Ausgangslage
Das Problem
Ein KI-Agent liest auch Texte, denen Sie keine Befehlsgewalt geben möchten. Darin können Anweisungen stehen, die ihn zu unerwünschten Eingriffen verleiten sollen. Dieses Risiko heißt Prompt-Injection und betrifft auch Befehle, die der Agent am Rechner ausführen möchte.
Jeden Befehl von Hand freizugeben bindet Aufmerksamkeit. Die Aufgabe war deshalb, Befehle vor ihrer Ausführung zu prüfen und menschliche Entscheidungen gezielt einzubeziehen.
02 / Umsetzung
Die Lösung
Ich habe eine Shell-Schranke mit aufeinanderfolgenden Prüfungen und eine isolierte KI-Rechteprüfung aufgebaut. Die Shell ist die Befehlsumgebung des Rechners; die Schranke prüft die dort angeforderten Befehle.
Die isolierte Rechteprüfung ergänzt diese Schranke im Umgang mit fremden Anweisungen. Den Ablauf habe ich KI-gestützt entwickelt. Menschliche Freigaben bleiben darin als Entscheidungsschritt vorgesehen.
03 / Nachweis
Das belegte Ergebnis
Der gemessene Freigabeanteil beschreibt diese Arbeitsumgebung. Er ist keine Schutzquote gegen Angriffe.
Zahlenstand:
Eingesetzte Technik
Python · Bash · bubblewrap
Was das für Ihren Betrieb heißt
Wenn KI-Werkzeuge bei Ihnen Befehle ausführen sollen, sind erlaubte Eingriffe und menschliche Entscheidungsschritte vorab zu klären. Der Freigabeanteil hängt von den Aufgaben und den dafür festgelegten Rechten ab.
Im kostenlosen Erstgespräch mit bis zu 60 Minuten besprechen wir, welche Eingriffe Ihr Team delegieren möchte und wo eine persönliche Freigabe nötig bleibt.
Kontakt / Nächster Schritt

Lukas RitzerIhr Ansprechpartner
Worum geht es bei Ihnen?
Erstgespräch kostenlos · bis zu 60 Minuten. Wir klären Ihr Anliegen und den nächsten sinnvollen Schritt.