background

Study with Us

Available thesis

Go To Projects

Navigate to the projects to check which theses are available

ADVISOR

ADaptiVe legIble robotS for trustwORthy health coaching

1) Multimodal Emotion Recognition in HRI

This thesis activity aims at the development of machine learning systems for emotion recognition from various signals, such as facial expression, heart rate, and sweating.

Riconoscimento Multimodale delle Emozioni nell’HRI

Questa attività di tesi mira allo sviluppo di sistemi di machine learning per il riconoscimento delle emozioni da diversi segnali, quali ad esempio, l’espressione facciale, il battito cardiaco e la sudorazione.

2) Blueprint and dynamical persona for Personalization in HRI

A persona is defined as a single, specific hypothetical/fictitious person who represents a segment of the population with a realistic name, face, and description of their character (needs, goals, hopes, and attitudes). The Blueprint personas also include behavioural characteristics, which could affect both short and long-term success with interventions for managing a disease or adopting wellness. In this project, we want to explore how blueprint personas can be extended to include user characteristics that allow a robot to personalize its behaviour.

Blueprint e Persona Dinamica per la Personalizzazione nell’HRI

Un profilo Persona è definito come un singolo individuo ipotetico/fittizio che rappresenta un segmento della popolazione con un nome realistico, un volto e una descrizione del suo carattere (bisogni, obiettivi, speranze e atteggiamenti). Le Blueprint Persona includono anche caratteristiche comportamentali, che possono influenzare il successo sia a breve che a lungo termine degli interventi per la gestione di una malattia o l’adozione di uno stile di vita sano. In questo progetto, vogliamo esplorare come le Blueprint Persona possano essere estese per includere caratteristiche dell’utente che permettano a un robot di personalizzare il proprio comportamento.

3) Showing Legible Behaviour

We will focus on identifying how a robot can show legible behaviour using cognitive and affective ToM information. We intend to model the non-verbal behaviours and interaction characteristics as meta-rules associated with the BDI logic used to infer the patient’s psychological and cognitive states of mind. This allows the robot to reason on their legibility considering the robotic hardware constraints (e.g., absence of a face to express facial emotions, or no-arms to gesture), and meeting people’s social constraints and preferences. Since the role of the robot (i.e., doctor, peer, carer, friend) and situational context (i.e., task type, risk, effects) affect people’s perception of the robot, factors that influence the legibility of a robot’s behaviour (i.e. people’s feeling of safety, comfort, efficiency and ability of the robot), have to be taken into account while deciding on the verbal and non-verbal cue to be used in the interaction.

Implementazione di Comportamenti Leggibili

Ci concentreremo sullo studio di come un robot possa mostrare un comportamento leggibile utilizzando informazioni cognitive e affettive della Teoria della Mente (ToM). Intendiamo modellare i comportamenti non verbali e le caratteristiche dell’interazione come meta-regole associate alla logica BDI, utilizzata per inferire gli stati psicologici e cognitivi del paziente. Questo approccio permette al robot di ragionare sulla leggibilità del proprio comportamento, tenendo conto dei vincoli hardware (ad esempio, l’assenza di un volto per esprimere emozioni facciali o la mancanza di braccia per gesticolare) e rispettando al contempo i vincoli e le preferenze sociali delle persone. Poiché il ruolo del robot (ad esempio, medico, pari, assistente, amico) e il contesto situazionale (ad esempio, tipo di compito, rischio, effetti) influenzano la percezione che le persone hanno del robot, è fondamentale considerare i fattori che incidono sulla leggibilità del suo comportamento (come la sensazione di sicurezza, il comfort, l’efficienza e la capacità del robot). Questi elementi devono essere presi in considerazione nella scelta dei segnali verbali e non verbali da utilizzare nell’interazione.

4)  EVALUATION OF THEORY OF MIND CAPABILITIES IN LARGE LANGUAGE MODELS ACROSS DIFFERENT STORY SIZES

This project seeks to evaluate how effectively large language models (LLMs) can emulate Theory of Mind (ToM) reasoning when processing stories of varying lengths-short, mid-length, and long. The study will investigate whether LLMs can consistently retain contextual information and reason about the mental states, intentions, or emotions of fictional characters across different levels of narrative complexity.

VALUTAZIONE DELLE CAPACITÀ DI TEORIA DELLA MENTE NEI MODELLI LINGUISTICI DI GRANDI DIMENSIONI IN RELAZIONE ALLA LUNGHEZZA DELLE STORIE

Questo progetto si propone di valutare l’efficacia con cui i modelli linguistici di grandi dimensioni (LLM) possono emulare il ragionamento legato alla Teoria della Mente (ToM) durante l’elaborazione di storie di diversa lunghezza—brevi, medie e lunghe. Lo studio analizzerà se i LLM siano in grado di mantenere in modo coerente le informazioni contestuali e di ragionare sugli stati mentali, le intenzioni o le emozioni dei personaggi all’interno di livelli differenti di complessità narrativa.

5)  ASSESSMENT OF VISUAL LANGUAGE MODELS FOR EXTRACTING SCENE-GRAPHS IN COMPLEX SCENARIOS

This project aims to assess the capability of advanced visual language models to generate accurate and detailed scene-graph representations of objects, relationships, and interactions—when interpreting images with complex scenarios (e.g., overlapping objects, occlusions, or dense relationships).

VALUTAZIONE DEI MODELLI VISIVO-LINGUISTICI PER L’ESTRAZIONE DI SCENE-GRAPH IN SCENARI COMPLESSI

Questo progetto mira a valutare la capacità dei modelli visivo-linguistici avanzati di generare rappresentazioni di scene-graph accurate e dettagliate, descrivendo oggetti, relazioni e interazioni nell’interpretazione di immagini con scenari complessi (ad esempio, oggetti sovrapposti, occlusioni o relazioni dense).

6) Adaptive Self-Monitoring and Recovery for Trustworthy Robotic Behaviours

This thesis aims to develop adaptive self-monitoring strategies that enable a social robot to continuously assess and verify its own internal state and decision-making processes. By integrating formal verification methods with real-time anomaly detection and machine learning approaches, the research will focus on designing a framework that allows the robot to dynamically adapt its behaviours and recover from deviations or errors. This ensures that the robot maintains predictable, safe, and transparent interactions with users in varied healthcare scenarios, even when unexpected situations occur.

Monitoraggio Autonomo e Strategie di Recupero Adattative per Comportamenti Robotici Affidabili

Questa attività di tesi si propone di sviluppare strategie di monitoraggio autonomo adattativo che permettano a un robot sociale di valutare e verificare in modo continuo il proprio stato interno e i processi decisionali. Integrando metodi di verifica formale con tecniche di rilevamento in tempo reale di anomalie e approcci di machine learning, la ricerca si concentrerà sulla progettazione di un framework che consenta al robot di adattare dinamicamente il proprio comportamento e di recuperare da deviazioni o errori. Ciò garantirà interazioni prevedibili, sicure e trasparenti con gli utenti in scenari sanitari diversificati, anche in presenza di situazioni impreviste.

TRAIL

TRAnsparent, InterpretabLe Robots

1) Knowledge-aware Inference for Speech Recognition in HRI

Previous works on knowledge-aware ASR inference have explored contextual and non-contextual (long-term) knowledge separately and have only experimented with English [1, 2]. The following can extend the previous works.
• Combining contextual and static knowledge for knowledge-aware inference of a pre-trained speech recognition model for HRI.
• A study to analyze effects of contextual speech recognition in HRI, possibly for a language other than English (e.g., Italian ASR).

Inferenza Basata sulla Conoscenza per il Riconoscimento Vocale nell’HRI

Precedenti lavori sull’inferenza ASR basata sulla conoscenza hanno esplorato separatamente la conoscenza contestuale e non contestuale (a lungo termine) e si sono limitati a esperimenti in lingua inglese [1, 2]. I seguenti punti possono estendere i lavori precedenti:

  • Combinare conoscenza contestuale e statica per l’inferenza basata sulla conoscenza di un modello pre-addestrato di riconoscimento vocale per l’HRI.
  • Uno studio per analizzare gli effetti del riconoscimento vocale contestuale nell’HRI, possibilmente in una lingua diversa dall’inglese (ad esempio, ASR in italiano).

[1]  P. Pramanick and C. Sarkar, “Can visual context improve automatic speech recognition for an embodied agent?” in Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 2022, pp. 1946–1957.

[2] Pramanick, P., & Sarkar, C. (2023, March). Utilizing Prior Knowledge to Improve Automatic Speech Recognition in Human-Robot Interactive Scenarios. In Companion of the 2023 ACM/IEEE International Conference on Human-Robot Interaction (pp. 471-475).

2) Human Factors for Explanation Understanding

This project aims to collect data from human-robot interaction experiments to understand the possibility of measuring explanation comprehension using social cues. Possible topics include (but not limited to) analyzing facial expressions and gaze of a person to decide if the person understood an explanation given by a robot for its behavior.

Fattori Umani per la Comprensione delle Spiegazioni

Questo progetto mira a raccogliere dati da esperimenti di interazione uomo-robot per comprendere la possibilità di misurare la comprensione delle spiegazioni attraverso segnali sociali. I possibili argomenti includono (ma non sono limitati a) l’analisi delle espressioni facciali e dello sguardo di una persona per determinare se abbia compreso una spiegazione fornita da un robot riguardo al proprio comportamento.

3) Inferring cause-effect relations by learning a physically grounded language model

Previous works in learning cause-effect relations involving physics aim to learn a model that can predict the effect from a given state of an object and an action performed on the object (cause) [1]. In this project we will attempt to learn a physically grounded language model that can learn from observing thousands of such physical cause-effect examples. The learned model will be then used for reasoning about actions and observations of a robot.

Inferire Relazioni di Causa-Effetto Attraverso l’Apprendimento di un Modello Linguistico Basato sulla Fisica

I lavori precedenti sull’apprendimento delle relazioni di causa-effetto in ambito fisico mirano a sviluppare un modello capace di prevedere l’effetto a partire dallo stato di un oggetto e dall’azione eseguita su di esso (causa) [1]. In questo progetto cercheremo di apprendere un modello linguistico basato sulla fisica, addestrandolo attraverso l’osservazione di migliaia di esempi di relazioni fisiche di causa-effetto. Il modello appreso verrà poi utilizzato per il ragionamento sulle azioni e le osservazioni di un robot.

[1] Zellers et al., PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D World. ACL 2021.

4) Failure Data Collection and Analysis using TIAGo

In this project we will use the TIAGo robot to perform (or mimic) commonly occuring robot failures found in the literature. Our aim is to collect an extensive dataset of real robot failures which we will later analyze for automatic failure detection and explanation generation of failures.

Raccolta e Analisi di Dati sui Guasti Utilizzando TIAGo

In questo progetto utilizzeremo il robot TIAGo per eseguire (o simulare) guasti comunemente riscontrati nei robot, come documentato in letteratura. Il nostro obiettivo è raccogliere un ampio dataset di guasti reali nei robot, che analizzeremo successivamente per sviluppare metodi di rilevamento automatico dei guasti e generazione di spiegazioni sui malfunzionamenti.

 

TrustPACTX

Design of the Hybrid Society Humans-Autonomous Systems: Architecture, Trustworthiness, Trust, EthiCs, and EXplainability (the case of Patient Care)

1) Integration of Agent-Based Reasoning in Robotic Systems

This thesis activity aims at integrating frameworks for creating agent-based systems (e.g., JASON and agentSpeak) into physical robots (TEMI robot). The robot must be able to plan and execute a series of assistance tasks for elderly patients in a home environment. The robot’s interface will be programmed in Android.

Integrazione di sistemi di ragionamento ad agenti in sistemi robotici

Questa attività di tesi mira all’integrazione di framework per la creazione di sistemi ad agenti tramite (ad esempio JASON and agentSpeak) in robot fisici (robot TEMI). Il robot dovrà essere in grado di pianificare ed eseguire una serie di attività di asseistenza per pazienti anziani in ambito domestico. L’interfaccia del robot sarà programmata in Android.

2) User Preferences in Providing Explanations

Study of how to formalize and learn the level of explainability that a user requires, and experiment modalities of interaction between human and autonomous systems in relation to explainability.

Generazione di Spiegazioni in base alle Preferenze dell’Utente

Studio di come formalizzare e apprendere il livello di spiegabilità richiesto da un utente ed esplorazione delle modalità di interazione tra esseri umani e sistemi autonomi in relazione alla spiegabilità.

3) Trait-based Personalized Persuasive Function for Assistive Food Recommender Robot.

Recommenders assist users in making efficient and satisfying decisions in areas not limited to movies, food, apartments, and more. In this project, we aim to equip the robot “Pepper” with food recommendation system, and personalized trait-based persuasive function for support patients with diet needs as they work towards staying healthy.  

Comportamenti Persuasivi Personalizzati Basati sulla Personalità degli Utenti per un Robot Assistivo di Raccomandazione Alimentare

I sistemi di raccomandazione aiutano gli utenti a prendere decisioni efficienti e soddisfacenti in diversi ambiti, tra cui film, cibo, appartamenti e altro ancora. In questo progetto, miriamo a dotare il robot “Pepper” di un sistema di raccomandazione alimentare e di una funzione persuasiva personalizzata basata sui tratti individuali, per supportare i pazienti con esigenze dietetiche nel loro percorso verso uno stile di vita sano.

4) Human-Robot Collaboration for Environmental Sustainability.

The prospects for autonomous-robots in influencing sustainable behavior have not been extensively explored in the real-world. This project aims at advancing more sustainable behaviors in users through a robot inspired persuasion for waste sorting behavior during waste disposal in public places.

Collaborazione Uomo-Robot per la Sostenibilità Ambientale

Le potenzialità dei robot autonomi nell’influenzare comportamenti sostenibili non sono state ancora esplorate approfonditamente nel mondo reale. Questo progetto mira a promuovere comportamenti più sostenibili negli utenti attraverso una persuasione robotica finalizzata al corretto smistamento dei rifiuti durante il loro smaltimento nei luoghi pubblici.

5) Can I be your confidant? Exploring the Potential of HRI for Mental Health Support During Academic Peak Periods.

Research on mental health applications of social robots have focused largely on elderly dementia patients. Little is known about how these robots can be harnessed to support young people who are often stressed during the peak period of their academic year at school. In this project, we aim to explore how robots can be equipped with capacity to engage in more supportive interaction with users targeted at unburdening users during  stress period.

Posso Essere il Tuo Confidente? Esplorare il Potenziale dell’HRI per il Supporto alla Salute Mentale Durante i Periodi di Picco Accademico

La ricerca sulle applicazioni dei robot sociali per la salute mentale si è concentrata principalmente su pazienti anziani affetti da demenza. Si sa poco su come questi robot possano essere sfruttati per supportare i giovani, spesso stressati nei periodi di massimo carico accademico. In questo progetto, ci proponiamo di esplorare come i robot possano essere dotati della capacità di interagire in modo più empatico e di supporto, al fine di alleggerire il carico emotivo degli utenti durante i periodi di stress.

ERROR

Evaluating tRust weaRing Off in Robots

1)  ATTRIBUTION OF INTENTIONALITY TO A DECEPTIVE ROBOT

This project is part of the larger initiative called ERROR (Evaluating tRust weaRing Off in Robots), which focuses on the study of deception by robots for beneficial purposes and its impact on human trust in robots. Students will hanalyze how participants perceive and react to deception by assessing their ability to attribute intentionality to the robot’s behavior perceptions of robot intentionality and how they perceive deception by a robot. The goal of the project is to investigate whether there is a relationship between robot-attributed intentionality and perception of deception. The study context will be an interactive game, in which the robot will act as an assistant to the player, providing deceptive feedback. The goal is to analyze how participants perceive and react to deception by assessing their ability to attribute intentionality to the robot’s behavior.

ATTRIBUZIONE DI INTENZIONALITÀ NEI CONFRONTI DI UN ROBOT INGANNEVOLE

Questo progetto fa parte dell’iniziativa più ampia denominata ERROR (Evaluating tRust weaRing Off in Robots), che si focalizza sullo studio dell’inganno da parte dei robot a scopi benefici e sul suo impatto sulla fiducia umana nei confronti dei robot. Gli studenti avranno l’opportunità di sviluppare e implementare comportamenti ingannevoli in un robot, al fine di studiare l’impatto di tali comportamenti sulla percezione degli utenti dell’ intenzionalità del robot e su come essi percepiscono l’inganno da parte di un robot. L’obiettivo del progetto è quello di indagare se esiste una relazione tra intenzionalità attribuita ai robot e percezione dell’inganno. Il contesto di studio sarà un gioco interattivo, nel quale il robot agirà come assistente del giocatore, fornendo feedback ingannevoli. L’obiettivo è analizzare come i partecipanti percepiscono e reagiscono all’inganno, valutando la loro capacità di attribuire intenzionalità al comportamento del robot.

BEaCH - FIT4MEDROB: Fit for Medical Robotics

a personal robot for BEhavioral CHange

1) Computational Models for Nudging in HRI

This project investigates how a social robot can use nudging techniques for behavioural change. In this direction, verbal and non-verbal behaviours will be investigated to highlight the role of embodiment in nudging.

MODELLI COMPUTAZIONALI PER IL NUDGING NELL’HRI

Questo progetto esplora come un robot sociale possa utilizzare tecniche di nudging per influenzare il cambiamento comportamentale. In questa direzione, verranno analizzati comportamenti verbali e non verbali per evidenziare il ruolo dell’embodiment nel nudging.

2) Personalized language generation for health related behavior persuasion

Persuading a user through conversation to undertake a change in a health related behavior, can be better achieved by tailoring the conversation to their specific personality and attributes. This encompasses finding which dimensions of personalization (accuracy, relevance, tone and style) can be better suited for this task.

Generazione di linguaggio personalizzata per la persuasione di comportamenti legati alla salute

Persuadere un utente, attraverso una conversazione, a intraprendere un cambiamento in un comportamento legato alla salute può essere più efficace se il dialogo viene adattato alla sua specifica personalità e alle sue caratteristiche. Questo implica identificare quali dimensioni della personalizzazione (accuratezza, rilevanza, tono e stile) siano più adatte a questo scopo.

3) Dialogue policy planning for persuasion of health related behavior change

Implementing a conversational agent that is actively leading a conversation towards a goal (persuading an opponent to implement a healthy behavior) as opposed to a passive agent that answers an opponent’s inquiries. This encompasses finding when to take control of a conversation, how much control an agent should be given in a conversation, and optimal strategies for persuasion.

Pianificazione della politica di dialogo per la persuasione al cambiamento di comportamenti legati alla salute

Implementare un agente conversazionale che guidi attivamente una conversazione verso un obiettivo (persuadere un interlocutore ad adottare un comportamento sano), invece di un agente passivo che si limita a rispondere alle domande dell’utente. Questo implica determinare quando assumere il controllo della conversazione, quanto controllo concedere all’agente e quali siano le strategie ottimali per la persuasione.

FAIR: Future Artificial Intelligence Research

AI Techniques for Resilient Human-Human-Robot Interaction

1)  LEVERAGING LARGE LANGUAGE MODELS TO PREDICT THE USER’S INTENTIONS IN REAL-TIME

This thesis will focus on the design of an HRI experiment in which the robot must predict the user’s intentions based on actions carried out. The project will require the student to acquire expertise on the use of generative models (e.g., LLMs), use strategies to predict the mental states of the user (e.g., what they are trying to do), and carry out an HRI experiment.

PREDIZIONE DELLE INTENZIONI DELL’UTENTE IN TEMPO REALE TRAMITE MODELLI LLM

Questa tesi si concentrerà sulla progettazione di un esperimento di interazione uomo-robot (HRI) in cui il robot dovrà prevedere le intenzioni dell’utente in base alle azioni eseguite. Il progetto richiederà allo studente di acquisire competenze nell’uso di modelli generativi (ad esempio, LLMs), applicare strategie per prevedere gli stati mentali dell’utente (ad esempio, ciò che sta cercando di fare) e condurre un esperimento di HRI.

2)  TRIADIC HUMAN-ROBOT INTERACTION: EXPLORING USER PERCEPTION OF ROBOTS USING GENERATIVE MODELS

This project aims to study the user’s perception of robots while interacting with a pro-social and a non-social robot together on a topic prompted by the participant. Generative models and user modeling strategies will be employed to shape the interaction.

INTERAZIONE TRIADICA UOMO-ROBOT: ESPLORARE LA PERCEZIONE DEGLI UTENTI SUI ROBOT ATTRAVERSO MODELLI GENERATIVI

Questo progetto mira a studiare la percezione degli utenti mentre interagiscono contemporaneamente con un robot pro-sociale e un robot non sociale su un argomento suggerito dal partecipante. Verranno impiegati modelli generativi e strategie di modellazione dell’utente per condurre l’interazione.

ENCHANTED TOOLS

1)  DESIGN AND IMPLEMENTATION OF AUTONOMOUS BEHAVIORS FOR ENCHANTED TOOLS’ MIROKAI

In this thesis the student will investigate possible autonomous behaviours for the Enchanted Tools’ Mirokai robot, specifically targeting those behaviors that facilitate human-robot interaction and collaboration. This project will require to implement new functionalities, test them in a simulated environment and eventually deploy them on the real robot. Possible autonomous behaviors will include:

  • verbal and non-verbal communication
  • personalized interaction
  • scene segmentation and navigation

PROGETTAZIONE E IMPLEMENTAZIONE DI COMPORTAMENTI AUTONOMI PER IL MIROKAI DI ENCHANTED TOOLS

In questa tesi, lo studente esplorerà possibili comportamenti autonomi per il robot Mirokai di Enchanted Tools, concentrandosi in particolare su quei comportamenti che facilitano l’interazione e la collaborazione tra esseri umani e robot. Questo progetto richiederà l’implementazione di nuove funzionalità, il loro test in un ambiente simulato ed in fine il deployment sul robot reale. I possibili comportamenti autonomi che saranno trattati includeranno:

  • modalità di comunicazione verbale e non verbale
  • interazione personalizzata
  • riconoscimento di oggetti e navigazione nell’ambiente

OTHER

Theses that are not directly linked to external collaborations and projects

1)  DESIGN AND IMPLEMENTATION OF A MULTIMODAL ROBOTIC SYSTEM RELYING ON LARGE LANGUAGE MODEL

This thesis aims to develop a multimodal system for robots capable of recognizing the user’s current state using pre-built non-verbal signal perception tools, such as emotion recognition and gaze tracking software, and utilizing these multimodal outputs as input for a Large Language Model responsible for determining the robot’s behavior.

PROGETTAZIONE E IMPLEMENTAZIONE DI UN SISTEMA ROBOTICO MULTIMODALE BASATO SU LARGE LANGUAGE MODEL

Questa tesi ha come obiettivo lo sviluppo un sistema multimodale per robots capace di riconoscere lo stato attuale dell’utente, utilizzando stumenti di percezione pre-esistenti per segnali non verbali, come riconoscimento delle emozioni  e tracciamento dello sguardo, e usare i relativi output multimodali come input per un Large Language Model, responsabile per il comportamento del robot.

Back to top of page