1) Multimodal Emotion Recognition in HRI
This thesis activity aims at the development of machine learning systems for emotion recognition from various signals, such as facial expression, heart rate, and sweating.
Riconoscimento Multimodale delle Emozioni nell’HRI
Questa attività di tesi mira allo sviluppo di sistemi di machine learning per il riconoscimento delle emozioni da diversi segnali, quali ad esempio, l’espressione facciale, il battito cardiaco e la sudorazione.
2) Blueprint and dynamical persona for Personalization in HRI
A persona is defined as a single, specific hypothetical/fictitious person who represents a segment of the population with a realistic name, face, and description of their character (needs, goals, hopes, and attitudes). The Blueprint personas also include behavioural characteristics, which could affect both short and long-term success with interventions for managing a disease or adopting wellness. In this project, we want to explore how blueprint personas can be extended to include user characteristics that allow a robot to personalize its behaviour.
Blueprint e Persona Dinamica per la Personalizzazione nell’HRI
Un profilo Persona è definito come un singolo individuo ipotetico/fittizio che rappresenta un segmento della popolazione con un nome realistico, un volto e una descrizione del suo carattere (bisogni, obiettivi, speranze e atteggiamenti). Le Blueprint Persona includono anche caratteristiche comportamentali, che possono influenzare il successo sia a breve che a lungo termine degli interventi per la gestione di una malattia o l’adozione di uno stile di vita sano. In questo progetto, vogliamo esplorare come le Blueprint Persona possano essere estese per includere caratteristiche dell’utente che permettano a un robot di personalizzare il proprio comportamento.
3) Showing Legible Behaviour
We will focus on identifying how a robot can show legible behaviour using cognitive and affective ToM information. We intend to model the non-verbal behaviours and interaction characteristics as meta-rules associated with the BDI logic used to infer the patient’s psychological and cognitive states of mind. This allows the robot to reason on their legibility considering the robotic hardware constraints (e.g., absence of a face to express facial emotions, or no-arms to gesture), and meeting people’s social constraints and preferences. Since the role of the robot (i.e., doctor, peer, carer, friend) and situational context (i.e., task type, risk, effects) affect people’s perception of the robot, factors that influence the legibility of a robot’s behaviour (i.e. people’s feeling of safety, comfort, efficiency and ability of the robot), have to be taken into account while deciding on the verbal and non-verbal cue to be used in the interaction.
Implementazione di Comportamenti Leggibili
Ci concentreremo sullo studio di come un robot possa mostrare un comportamento leggibile utilizzando informazioni cognitive e affettive della Teoria della Mente (ToM). Intendiamo modellare i comportamenti non verbali e le caratteristiche dell’interazione come meta-regole associate alla logica BDI, utilizzata per inferire gli stati psicologici e cognitivi del paziente. Questo approccio permette al robot di ragionare sulla leggibilità del proprio comportamento, tenendo conto dei vincoli hardware (ad esempio, l’assenza di un volto per esprimere emozioni facciali o la mancanza di braccia per gesticolare) e rispettando al contempo i vincoli e le preferenze sociali delle persone. Poiché il ruolo del robot (ad esempio, medico, pari, assistente, amico) e il contesto situazionale (ad esempio, tipo di compito, rischio, effetti) influenzano la percezione che le persone hanno del robot, è fondamentale considerare i fattori che incidono sulla leggibilità del suo comportamento (come la sensazione di sicurezza, il comfort, l’efficienza e la capacità del robot). Questi elementi devono essere presi in considerazione nella scelta dei segnali verbali e non verbali da utilizzare nell’interazione.
4) EVALUATION OF THEORY OF MIND CAPABILITIES IN LARGE LANGUAGE MODELS ACROSS DIFFERENT STORY SIZES
This project seeks to evaluate how effectively large language models (LLMs) can emulate Theory of Mind (ToM) reasoning when processing stories of varying lengths-short, mid-length, and long. The study will investigate whether LLMs can consistently retain contextual information and reason about the mental states, intentions, or emotions of fictional characters across different levels of narrative complexity.
VALUTAZIONE DELLE CAPACITÀ DI TEORIA DELLA MENTE NEI MODELLI LINGUISTICI DI GRANDI DIMENSIONI IN RELAZIONE ALLA LUNGHEZZA DELLE STORIE
Questo progetto si propone di valutare l’efficacia con cui i modelli linguistici di grandi dimensioni (LLM) possono emulare il ragionamento legato alla Teoria della Mente (ToM) durante l’elaborazione di storie di diversa lunghezza—brevi, medie e lunghe. Lo studio analizzerà se i LLM siano in grado di mantenere in modo coerente le informazioni contestuali e di ragionare sugli stati mentali, le intenzioni o le emozioni dei personaggi all’interno di livelli differenti di complessità narrativa.
5) ASSESSMENT OF VISUAL LANGUAGE MODELS FOR EXTRACTING SCENE-GRAPHS IN COMPLEX SCENARIOS
This project aims to assess the capability of advanced visual language models to generate accurate and detailed scene-graph representations of objects, relationships, and interactions—when interpreting images with complex scenarios (e.g., overlapping objects, occlusions, or dense relationships).
VALUTAZIONE DEI MODELLI VISIVO-LINGUISTICI PER L’ESTRAZIONE DI SCENE-GRAPH IN SCENARI COMPLESSI
Questo progetto mira a valutare la capacità dei modelli visivo-linguistici avanzati di generare rappresentazioni di scene-graph accurate e dettagliate, descrivendo oggetti, relazioni e interazioni nell’interpretazione di immagini con scenari complessi (ad esempio, oggetti sovrapposti, occlusioni o relazioni dense).
6) Adaptive Self-Monitoring and Recovery for Trustworthy Robotic Behaviours
This thesis aims to develop adaptive self-monitoring strategies that enable a social robot to continuously assess and verify its own internal state and decision-making processes. By integrating formal verification methods with real-time anomaly detection and machine learning approaches, the research will focus on designing a framework that allows the robot to dynamically adapt its behaviours and recover from deviations or errors. This ensures that the robot maintains predictable, safe, and transparent interactions with users in varied healthcare scenarios, even when unexpected situations occur.
Monitoraggio Autonomo e Strategie di Recupero Adattative per Comportamenti Robotici Affidabili
Questa attività di tesi si propone di sviluppare strategie di monitoraggio autonomo adattativo che permettano a un robot sociale di valutare e verificare in modo continuo il proprio stato interno e i processi decisionali. Integrando metodi di verifica formale con tecniche di rilevamento in tempo reale di anomalie e approcci di machine learning, la ricerca si concentrerà sulla progettazione di un framework che consenta al robot di adattare dinamicamente il proprio comportamento e di recuperare da deviazioni o errori. Ciò garantirà interazioni prevedibili, sicure e trasparenti con gli utenti in scenari sanitari diversificati, anche in presenza di situazioni impreviste.