Vorher prüfen
Sicherheitsaudit für KI-Anwendungen
Chatbot, RAG oder KI-Agent im Einsatz? Ich prüfe Prompt Injection, Datenabflüsse und Werkzeugrechte, bevor es ein Nutzer oder Angreifer tut.
Die Ausgangslage
Sobald ein Sprachmodell Nutzereingaben liest und Daten oder Werkzeuge erreicht, entsteht eine neue Angriffsfläche: Text wird zu Anweisung. Klassische Prüfungen sehen das oft nicht. Dieses Audit folgt den Datenwegen Ihrer Anwendung und orientiert sich an den OWASP Top 10 für LLM-Anwendungen.
Typische Herausforderungen
Wo Standard-Ansätze bei KI-Anwendungen an Grenzen stoßen.
Prompt Injection
Eine Mail, Webseite oder ein Dokument kann Anweisungen an Ihr Modell enthalten. Ich prüfe, was ein Angreifer damit erreichen kann, und begrenze die Folgen.
Zu weite Werkzeugrechte
Ein Agent mit Schreibzugriff auf alles ist ein Risiko, sobald er manipuliert wird. Ich reduziere Rechte auf das Nötige und setze Bestätigungen vor heikle Aktionen.
Datenabfluss
Eingaben, Kontexte und Logs enthalten oft personenbezogene Daten. Ich verfolge, wohin sie gehen, auch zu Modellanbietern und Protokollierungsdiensten.
Ungeprüfte Modellausgaben
Wird Modelltext direkt als HTML, SQL oder Shell-Befehl weiterverwendet, entstehen klassische Lücken. Ich prüfe jede Stelle, an der Ausgaben wirksam werden.
Mein Ansatz
Strukturiert statt Bauchgefühl - in drei Schritten.
1. Datenwege aufzeichnen
Welche Eingaben erreicht das Modell, welche Daten sieht es und was darf es auslösen.
2. Gezielt angreifen
Tests nur nach schriftlicher Freigabe und auf einer Testumgebung, dazu eine Durchsicht von Code und Konfiguration.
3. Absichern
Priorisierte Maßnahmen und Regressionstests, damit behobene Lücken behoben bleiben.
Was Sie am Ende haben
- Übersicht der Datenwege und Vertrauensgrenzen
- Befunde mit nachvollziehbaren Beispielangriffen
- Konkrete Maßnahmen für Rechte, Filter und Logging
- Regressionstests für die gefundenen Angriffe
Häufige Fragen
Ist das ein Penetrationstest?
Nein. Es ist eine technische Prüfung von Architektur, Code und KI-Verhalten mit gezielten Tests. Wenn Sie für Kunden oder Versicherer einen formalen Penetrationstest nachweisen müssen, ersetzt dieses Audit ihn nicht.
Lässt sich Prompt Injection vollständig verhindern?
Nach heutigem Stand nicht. Deshalb liegt der Schwerpunkt darauf, die Folgen zu begrenzen: wenige Rechte, getrennte Daten und menschliche Bestätigung vor kritischen Aktionen.
Bin ich damit konform zur KI-Verordnung?
Das Audit liefert technische Grundlagen, aber keine Rechtsberatung und keine Konformitätsbewertung. Welche Pflichten für Sie gelten, klären Sie mit Ihrer Rechtsberatung.
Passt das zu Ihrem Projekt?
Kostenloses 30-Minuten Gespräch. Ich höre zu, stelle Fragen und gebe eine ehrliche Einschätzung - ob und wie ich helfen kann.