Come funziona la pipeline di elaborazione dei documenti?
I documenti in amaise passano attraverso una pipeline definita con più fasi:
CREATO → OCR → SEGMENTAZIONE → SPLITTING → INDICIZZAZIONE → ESTRAZIONE → ANALISI → RISPOSTA → PRONTO
Caratteristiche principali:
Worker idempotenti: Ogni fase è gestita da un worker autonomo e senza stato. In caso di errori, l’elaborazione può essere ripetuta in sicurezza.
Comunicazione asincrona: I worker comunicano tramite code di messaggi (SQS). Ogni worker elabora un compito alla volta.
Separazione per tenant: Ogni compito è assegnato a un tenant specifico. Si applicano gli stessi controlli di isolamento dei tenant come nel resto dell’applicazione.
Archiviazione crittografata: I documenti sono archiviati in S3 con chiavi di crittografia specifiche per ogni tenant.