PhD Fellowship in Computer Science – Virtual Embodied Assistant for remote and isolated caregivers

French version below

 

Subject: Modelling a humanoid virtual assistant for remote and isolated caregivers.

 

Supervisor: Ronan Querrec

Co-supervisors: Elisabetta Bevacqua

ENIB – Brest National School of Engineering Lab-STICC – Laboratory in the field of Information, Communication and Knowledge Science

Keywords: embodied conversational agents, multimodal data analysis and generation, medical procedures and assistance data, system trustworthiness.

 

The PhD project is part of the ANR VR-MARS Project that aims at implementing an assistance system designed for emergency care support in remote and isolated sites. The system will be based on virtual reality (RV) and embodied conversational agents (ECAs). We hypothesize that these two technologies improve the situation understanding and the coordination of all the stakeholders: a remote caregiver and the referent expert centre. The VR-MARS case study will focus on space medicine and the simulation of emergency care during a manned mission on Mars. The geographic distance will be doubled by the temporal isolation, due to the communication latency between the caregiver (on Mars) and the expert centre (on Earth).

The goal of this PhD is to design, implement and evaluate the virtual assistant.  The virtual assistant must be able to support the caregiver to go through a medical procedure and to help them to keep the stress level under control. It must also transmit orders from the expert centre to the remote medical team imposing its authority if necessary.

The PhD is organized around 4 main tasks:

1. State of the art: firstly, a thorough study of the state of the art will be fundamental to define, on the one hand, how humans help others to manage their level of stress and, on the other hand, how they give orders.
2. Multimodal data pre-processing: some experimentation are being currently conducted in order to tests ECA’s features. We want to evaluate medical emergency situations (such as severe acute appendicitis or leg fracture) involving functionalities considered as dedicated to the ECA, but carried either by caregivers or by elementary cognitive supports. The aim is to collect data that will help us to conceptualize the functionalities of the ECA and that will provide us with examples of the multimodal behaviours that the agent should be able to show.
3. Computational modelling and implementation in an embodied conversational agent: this step will require to integrate the knowledge acquired during the first two steps to propose and implement a model of the virtual assistant.
4. Evaluation: the model will be evaluated through experiments conducted in collaboration with the other partners of the project.

The PhD is fully funded during 3 years as part of the ANR VR-MARS Project. The work will be realized at the European Centre for Virtual Reality (CERV), a very well-known laboratory, specialized in autonomous behaviour modelling and human/system interaction. More precisely, the thesis will be developed within the Lab-STICC.

 

*The Candidate*

The PhD candidate should have a master’s degree completed in Computer Science, Applied Mathematics.

Knowledge of multimodal data processing and multimodal behaviour generation are considered as a major asset.

French language is not required but very appreciated.

 

*Application*

The application files should contain the following documents:

– a detailed curriculum,

– a description of the academic background and a copy of academic records

and most recent diploma,

– A cover letter describing why the applicant wishes to participate in this

project and his/her research’s adequacy with the proposed topics – 2 recommendation letters (including one from the master or equivalent diploma supervisor)

The application files (or any question) should be sent to:

Elisabetta Bevacqua: bevacqua@enib.fr

and

Ronan Querrec: querrec@enib.fr

 

 

** Further information **

*The European Centre for Virtual Reality*

The CERV technology platform is part of the Engineering National School of Brest which is attached to the UMR-CNRS (French National Research Centre) Lab-STICC. It consists of about 30 researchers with backgrounds in Computer Science, Mathematics, Cognitive Science and Psychology. Main topics are virtual reality, artificial autonomous behaviour, natural interaction, cognitive sciences and embodied conversational agents. CERV will provide a rich and dynamic intellectual environment for a young PhD student.

*Brest*

Brest is a mid-sized town of 150,000 residents nestled in the natural Brest roadstead, at the west end of Brittany. Important harbour and second French military port, Brest possesses also several Educational Institutes, like « Grandes Ecoles » and top-level Universities, museums and « Le Quartz », a very well known National Theatre.

In addition to its scientific, scholarly and cultural strengths, Brest boasts outstanding recreational activities. Its residents may have an easy access to climbing, sailing, fishing, biking and swimming. Even a simple walk along the seaside becomes a unique experience thanks to the breathtaking landscape.

More information can be found here: www.brest.fr and www.brest-metropole-tourisme.fr

————

Version française

*Bourse de Doctorat*

Sujet : Un modèle d’assistant virtuel humanoïde pour une équipe médicale en milieu isolé et éloigné.

Directeur : Ronan Querrec

Encadrante : Elisabetta Bevacqua

ENIB – École Nationale d’Ingénieurs de Brest Lab-STICC – Laboratoire des Sciences et Techniques de l’Information, de la Communication et de la Connaissance

Mots clefs : agents conversationnels animée, analyse et génération de données multimodales, procédures médicales et assistance médicale, fiabilité et confiance dans le système informatique.

La bourse de doctorat fait partie du projet ANR VR-MARS qui vise à créer un système d’assistance conçu pour le soin d’urgence en milieu isolé, basé sur la réalité virtuelle et les agents conversationnels animés (ACAs).

Notre hypothèse est que ces deux technologies permettent d’améliorer la conscience de la situation et la coordination du soin pour les intervenants : un soignant isolé, et un centre expert de référence. Le cas d’étude de VR-MARS concernera la médecine spatiale, avec une simulation de soin d’urgence lors d’une mission habitée sur Mars. L’éloignement géographique sera doublé d’un isolement temporel, dû à la latence dans les communications entre le soignant (sur Mars) et le centre expert (sur Terre).

L’objectif de ce doctorat est de modéliser, implémenter et évaluer un assistant virtuel. Cet assistant doit être capable de soutenir le soignant pendant la réalisation d’une procédure médicale et de l’aider à garder son niveau de stress sous contrôle. Il doit aussi transmettre les ordres provenant du centre expert à l’équipe médicale éloignée en imposant son autorité si nécessaire.

Le travail du doctorant sera organisé autour de quatre tâches principales :

1. État de l’art : initialement, une étude approfondie de l’état de l’art sera fondamentale pour définir le comportement montré par les humains lorsqu’ils visent à garder le niveau de stress sous contrôle et lorsqu’ils doivent donner un ordre.
2. Traitement des données multimodales : des expérimentations sur simulateur sont actuellement menées afin de pré-tester les fonctionnalités de l’ACA. Il s’agit d’évaluer des situations d’urgence médicale (telles qu’une appendicite aiguë grave ou une fracture de jambe) impliquant des fonctionnalités envisagées comme dédiées à l’ACA, mais portées soit par des soignants, soit par des aides cognitives élémentaires. L’objectif est de disposer de premiers résultats permettant de conceptualiser les fonctionnalités de l’ACA et d’en extraire les comportements multimodaux que l’ACA devrait être capable de montrer.
3. Définition d’un modèle et son implémentation pour un agent conversationnel animé : pendant cette étape les connaissances recueillies lors des deux étapes précédentes seront utilisées pour créer un modèle d’assistant virtuel.
4. Évaluation : enfin, le modèle sera évalué à travers plusieurs études qui seront menées en collaboration avec les autres partenaires du projet.

Le doctorat est entièrement financé pour trois ans par le projet ANR VR-MARS.

Le travail sera mené au Centre Européen de Réalité Virtuelle (CERV), un laboratoire reconnu et spécialisé dans la modélisation du comportement autonome et l’interaction humain/système. Plus précisément, la thèse sera menée au sein du Lab-STICC.

*Candidat(e)*

Le/La candidat/e doit avoir un master 2 en Informatique, Mathématique appliqué.

Des connaissances de traitement de données multimodales et de génération de comportements multimodaux seront considérées un atout majeur.

La connaissance de la langue française n’est pas obligatoire mais très appréciée.

*Candidature*

Tout candidature doit contenir les documents suivants :

– un curriculum vitae détaillé,

– une copie de résultats scolaires à partir de deux dernières années de l’école supérieure,

– une lettre de motivation expliquant pourquoi le(la) candidat(e) serait fait(e) pour le poste proposé.

– au moins 2 lettres de recommandation, dont une de la part de l’encadrant de master 2 (ou équivalent).

La candidature (ainsi que tout question) doit être envoyée à :

Elisabetta Bevacqua: bevacqua@enib.fr

et

Ronan Querrec: querrec@enib.fr

** Informations ultérieures **

*Le Centre Européen de Réalité Virtuelle*

Le CERV est une plate-forme technologique appartenant à l’ENIB qui est tutelle du Lab-STICC (un UMR-CNRS). Environ 30 chercheurs avec différents formations (telles que Informatique, Mathématique, Science Cognitive et Psychologie) travaillent au CERV. Les thématiques principales sont la réalité virtuelle, le comportement artificiel autonome, l’interaction naturelle entre l’humain et le système informatique, les agents conversationnels animés. Le CERV constituera un environnement intellectuel riche et dynamique pour un jeune doctorant.

 

*Brest*

Brest est une ville de taille moyenne de 150 000 habitants nichée dans la Rade de Brest, à l’extrémité ouest de la Bretagne. Port important et deuxième port militaire français, Brest possède également plusieurs instituts tels que des grandes écoles et des universités de haut niveau, les musées et « Le Quartz », un théâtre national très connu.

En plus de ses atouts scientifiques, universitaires et culturels, Brest possède des activités récréatives exceptionnelles. Ses résidents peuvent avoir facilement accès à l’escalade, la voile, la pêche, le vélo et la natation. Même une simple promenade au bord de la mer devient une expérience unique grâce à la beauté des paysages.

Pour plus d’informations voir : www.brest.fr et

www.brest-metropole-tourisme.fr