Caratterizzazione multimodale della comunicazione: presentazione di un nuovo dataset e primi esperimenti

Seminario interno

Nell’interazione faccia-a-faccia i messaggi scambiati tra i partecipanti non si limitano a catene (pattern) di parole, ma si caratterizzano per una continua interazione tra informazioni espresse attraverso molteplici canali. Oltre al linguaggio, infatti, altre facoltà quali udito e vista sono coinvolte nella costruzione del significato: decodifichiamo non solo le sequenze di parole, ma anche il “modo” in cui esse sono prodotte (intonazione, volume, velocità) e come ci muoviamo e mostriamo quando le pronunciamo. Dalla combinazione di queste caratteristiche dipende non solo il significato veicolato, ma anche il coinvolgimento, ovvero l’effetto che il messaggio ha sul/sui ricevente/i. È possibile prevedere automaticamente questo effetto? In questo intervento verrà presentato un nuovo dataset multimodale per lo studio e la previsione del potenziale di coinvolgimento nel contesto di visite guidate in siti di interesse culturale.

Relatore/i: Andrea Amelio Ravelli

È assegnista di ricerca post-dottorale dal 2020 all’interno del Gruppo ItaliaNLP dell’Istituto di Linguistica Computazionale “A. Zampolli” del Consiglio Nazionale delle Ricerche. Ha condotto i suoi studi presso l’Università degli Studi di Firenze, formandosi come filologo moderno e interessandosi alla Linguistica Computazionale. Ha conseguito il Dottorato di Ricerca nel 2020 con una tesi sulla formazione e sull’annotazione di dataset multimodali per la rappresentazione di azioni ed eventi, utilizzando il medium visuale come discriminante semantica per la disambiguazione dei verbi d’azione all’interno del linguaggio naturale.

Opuscolo

Registrazione Video: Caratterizzazione multimodale della comunicazione: presentazione di un nuovo dataset e primi esperimenti