M15 - Inference engines

Come si eseguono modelli AI di grandi dimensioni in modo efficiente, quando memoria, GPU e capacità di calcolo diventano parte del problema?

In questo meetup esploreremo due approcci all'inferenza: Colibrì, l'inference engine open source che sfrutta lo streaming dei pesi per eseguire modelli Mixture of Experts oltre i limiti della memoria disponibile, e vLLM, uno dei progetti di riferimento per il serving ad alte prestazioni dei Large Language Model, dalla PagedAttention allo scaling multi-GPU e multi-nodo.

A raccontarceli saranno Vincenzo Fornaro, AI Engineer e dev lead di Colibrì, e Daniele Zonca, Distinguished Engineer di Red Hat.

Agenda