Blackvein Systems · Lukas Ritzer Kontakt

Abläufe bewerten, Befehlsinhalte aussparen

Lukas Ritzer

Lukas RitzerWrestedt, Landkreis Uelzen

Über 1.000
automatisierte Testfälle grünGesamter Testbestand der Agenten-Werkbank, über 1.000 TestfälleZahlenstand:

Das Problem

Sie möchten beurteilen, wie Ihre KI-Werkzeuge arbeiten. Vollständige Befehlsprotokolle können dabei auch vertrauliche Inhalte erfassen. Für die Bewertung des Ablaufs muss deshalb festgelegt sein, welche Angaben tatsächlich gesammelt werden.

Die Lösung

Ich habe eine Telemetrie aufgebaut, die vom Shell-Befehl nur das erste Befehlswort erfasst. Die übrigen Befehlsinhalte werden in dieser Telemetrie nicht gesammelt. Damit bleibt die Art des aufgerufenen Befehls sichtbar, ohne den vollständigen Aufruf zu protokollieren.

Zur Arbeitsumgebung gehört außerdem eine Wertung je Modell und Aufwand. Den Ablauf habe ich KI-gestützt entwickelt; automatisierte Tests gehören zum gesamten Bestand der Agenten-Werkbank.

Das belegte Ergebnis

Über 1.000
automatisierte Testfälle grünGesamter Testbestand der Agenten-Werkbank, über 1.000 Testfälle

Die Telemetrie beschränkt die Erfassung eines Shell-Befehls auf sein erstes Befehlswort. Die Testzahl bezieht sich auf die gesamte Agenten-Werkbank.

Zahlenstand:

Eingesetzte Technik

Python · Bash · systemd

Was das für Ihren Betrieb heißt

Für Ihr Team ist zu klären, welche Angaben eine Modellbewertung braucht und welche Inhalte aus der Protokollierung herausbleiben sollen. Die Ergebnisse sind im Zusammenhang mit den jeweiligen Aufgaben zu beurteilen.

Im kostenlosen Erstgespräch mit bis zu 60 Minuten besprechen wir, welche Fragen Sie an Ihren KI-Einsatz haben und welche Messung dazu passen könnte.

Lukas Ritzer

Lukas RitzerIhr Ansprechpartner

Worum geht es bei Ihnen?

Erstgespräch kostenlos · bis zu 60 Minuten. Wir klären Ihr Anliegen und den nächsten sinnvollen Schritt.