Da Cloud ad Edge e ritorno: implementare Retrieval-Augmented Generation

Retrieval-Augmented Generation è spesso presentata come una scelta architetturale quasi obbligata quando si vuole far lavorare un modello sui propri dati. Ma tra prototipo e produzione le domande diventano rapidamente meno teoriche: dove conviene fare ingestion? Quanto costa davvero generare embedding, metadati e trascrizioni? Quando ha senso usare il cloud e quando invece l’hardware locale cambia davvero l’equazione?

In questo talk partiremo da un caso reale: l’ingestion di circa 1.300 video della piattaforma Improove, tra registrazioni di eventi, webinar e corsi, usati per alimentare un assistente in grado di costruire learning path personalizzati.

Useremo questo scenario per ragionare sui diversi centri di costo di una pipeline RAG: speech-to-text, chunking, embedding, estrazione di metadati, re-ranking e inferenza. Confronteremo approcci cloud, edge e locali, distinguendo dove la scelta è guidata da privacy, latenza o sovranità e dove invece è semplicemente una questione di numeri.

L’obiettivo non è proporre una ricetta universale, ma mostrare un metodo pratico per prendere decisioni architetturali più consapevoli: misurare, separare i carichi CPU-bound e GPU-bound, capire quali costi sono davvero rilevanti e quali appartengono alla nobile categoria dei problemi segamentali.