Come amaise protegge dagli attacchi di prompt injection?
amaise utilizza diverse misure per prevenire gli attacchi di prompt injection tramite contenuti dannosi nei documenti:
Costruzione del prompt lato server: I prompt LLM vengono creati lato server con modelli controllati. Gli utenti non hanno accesso diretto alla creazione del prompt.
Separazione tra istruzioni e dati: I contenuti dei documenti vengono forniti come contesto dati, chiaramente separati dalle istruzioni di sistema.
Estrazione strutturata: La pipeline esegue attività di estrazione basate su schemi — nessuna generazione libera di testo. Questo limita notevolmente l’impatto possibile di tentativi di injection.
Validazione degli input: Validazione a livello API per tutte le richieste in ingresso.
Validazione degli output: Le uscite LLM vengono validate e pulite prima di essere salvate e visualizzate.
Nessun URL personalizzato: L’applicazione non accetta URL forniti dagli utenti per richieste lato server, prevenendo l’esfiltrazione di dati tramite SSRF.
Output isolati per tenant: I risultati AI sono strettamente isolati per tenant. Le query sono limitate al contesto del tenant stesso, così un tentativo di prompt injection in un documento non può accedere ai dati di altri tenant o casi.