Wie schützt amaise gegen Prompt-Injection-Angriffe?
amaise setzt mehrere Massnahmen ein, um Prompt-Injection-Angriffe durch bösartige Inhalte in Dokumenten zu verhindern:
Serverseitige Prompt-Konstruktion: LLM-Prompts werden serverseitig mit kontrollierten Vorlagen erstellt. Benutzer:innen haben keinen direkten Zugriff auf die Prompt-Erstellung.
Trennung von Anweisungen und Daten: Dokumentinhalte werden als Datenkontext übergeben, klar getrennt von Systemanweisungen.
Strukturierte Extraktion: Die Pipeline führt schemagebundene Extraktionsaufgaben durch — keine freie Textgenerierung. Dies begrenzt den möglichen Einfluss von Injection-Versuchen erheblich.
Eingabevalidierung: Validierung auf API-Ebene für alle eingehenden Anfragen.
Ausgabevalidierung: LLM-Ausgaben werden vor Speicherung und Darstellung validiert und bereinigt.
Keine benutzerdefinierten URLs: Die Anwendung akzeptiert keine von Benutzer:innen bereitgestellten URLs für serverseitige Abrufe, was Datenexfiltration über SSRF verhindert.
Mandantenisolierte Ausgaben: KI-Ergebnisse werden strikt pro Mandant isoliert. Abfragen sind auf den jeweiligen Mandantenkontext beschränkt, sodass ein Prompt-Injection-Versuch in einem Dokument keinen Zugriff auf Daten anderer Mandanten oder Fälle erlangen kann.