Breve biografia del relatore
Luca Moroni è uno studente di dottorato alla Sapienza, dove lavora sotto la supervisione del professor Roberto Navigli presso il laboratorio Sapienza NLP. La sua ricerca è principalmente focalizzata sullo sviluppo e la valutazione dei Large Language Models (LLM), con un’attenzione particolare al panorama italiano. Ha contribuito attivamente allo sviluppo di Minerva LLM.
Abstract
I Large Language Models (LLM) si stanno rapidamente diffondendo in ogni ambito, raggiungendo prestazioni impressionanti e guidando risultati rivoluzionari. Tuttavia, il ritmo incalzante della ricerca nel campo del NLP ha portato a una comprensione limitata di come vengono valutati i modelli, rendendo difficile cogliere appieno le sfide principali dei vari metodi di valutazione. Inoltre, la maggior parte della ricerca è ancora fortemente concentrata sulla lingua inglese, lasciando i modelli non inglesi poco supportati e poco esplorati. In questo intervento, ci proponiamo di affrontare queste problematiche.
In primo luogo, esploreremo come costruire LLM specifici per una lingua, adattando modelli inglesi pre-addestrati, per cogliere meglio le sfumature di altre lingue, ottimizzando il loro vocabolario su collezioni di dati specifiche per lingua.
Successivamente, analizzeremo le principali sfide nella valutazione degli LLM nei task di risposta a domande a scelta multipla, mettendo in evidenza come i diversi metodi di valutazione varino in affidabilità a seconda delle impostazioni del prompt e del contesto del dominio.