offre de thèse Cifre “Les Interactions Multimodales dans le contexte de l’Internet des Objets” chez Orange

Localisation

Rennes : Orange Labs

Brest : Lab-STICC / IMT Atlantique

Contacts

Les candidatures (CV et lettre de motivation) sont à envoyer aux contacts suivants :

Anthony Foulonneau : anthony.foulonneau@orange.com

Jérémy Lacoche : jeremy.lacoche@orange.com

Thierry Duval : thierry.duval@imt-atlantique.fr

Les notes de dernière année du candidat pourront également être demandées.

Description

Votre rôle est d’effectuer un travail de thèse sur les interactions multimodales dans le contexte de l’Internet des objets.

Un nombre toujours plus grand d’objets de notre quotidien deviennent « connectés », réalisant ainsi l’idée depuis longtemps anticipée d’un Internet des objets (IoT). Que ce soit dans les bâtiments (maison, entreprise, …), les voitures, dans la ville, ou même directement portés par l’utilisateur (wearable), ces objets sont les briques des environnements intelligents de demain.

L’apport de l’IoT ne se limite cependant pas à l’ajout d’une connectivité à des objets unitaires, ou à la création de services dédiés à chacun d’eux. C’est pris dans leur ensemble, et en tant qu’écosystème, que ces objets redéfiniront en profondeur notre rapport au monde digital.

D’abord, parce que la multiplication des capteurs produit une somme de données, qui une fois agrégées et traitées, est capable de caractériser toujours plus finement nos actions et notre environnement. L’Internet des objets ouvre ainsi la voix au « contexte-aware computing », et au-delà, à des systèmes ambiants, pervasifs et ubiquitaires.

Ensuite, parce que la multiplication des interacteurs est à la fois source de complexité et d’opportunité dans les interactions homme – machine. Elle submerge l’utilisateur d’informations et d’actions potentielles, dans lesquelles il lui est parfois difficile de s’y retrouver. Mais elle apporte également de nouvelles conditions, favorables au développement de nouveaux paradigmes d’interaction.

Parmi ceux-là, la multimodalité est un concept particulièrement intéressant. Elle tire avantage des multiples interacteurs, en s’appuyant sur leur complémentarité, dans le cadre d’une interaction distribuée. De plus, dans ce contexte d’environnements ultra-connectés et pervasifs les interactions multimodales sont particulièrement adaptées puisqu’elles offrent une manière naturelle d’interagir avec les équipements, notamment par les gestes, la parole ou la manipulation directe.

Profil souhaité

  • compétences (scientifiques et techniques) et qualités personnelles souhaitées par le poste

    • Programmation (C++/C#/Python)

    • Interface Homme Machine (2D et/ou 3D)

    • architecture logicielle et modélisation

    • Rigueur, autonomie, capacité de synthèse, de présentation et rédaction

    • Anglais

    • Des connaissances en interaction (vocale, gestuelle, tangible, …) ou réalité augmentée seraient un plus

  • formation demandée :

    • Master recherche ou diplôme d’ingénieur dans le domaine de l’informatique (spécialisation IHM / interaction)

  • expériences souhaitées (stages, …) :

    • Expérience en interaction homme-machine (formation ou stage)

    • Avoir une expérience dans un contexte recherche serait un plus (labo académique ou industriel)

Objectifs

L’objectif global de la thèse est la mise en œuvre d’un framework d’adaptation des modalités d’interaction en fonction du contexte d’usage. Pour atteindre cet objectif, plusieurs verrous sont à lever :

  • Dans les environnements IoT, l’incroyable richesse et diversité des interacteurs susceptibles d’être intégrés aux dispositifs interactifs multimodaux, rend difficile la maitrise et la connaissance à priori (i.e. lors de la conception du dispositif) de la topologie et des caractéristiques de ces interacteurs.

    Dans ce contexte, comment abstraire celles-ci pour éviter le fastidieux travail d’adaptation à chacun des interacteurs pour le développeur ? Pour répondre à cette question, vous pourrez vous appuyer sur les résultats des travaux en plasticité des interfaces.

  • Comment intégrer la prise en compte du contexte dans les deux principaux processus des systèmes multimodaux, à savoir la fusion et la fission de modalité ? Il sera notamment intéressant de faire la distinction entre les critères génériques dont la prise en compte pourra être automatisée, et les critères spécifiques, qui dépendent directement de l’application à mettre en œuvre. Pour ces derniers, il s’agira alors d’offrir des mécanismes pour faciliter leur intégration.

  • Des questions se posent aussi du point de vue de l’usage de tels dispositifs :

    • Comment l’utilisateur peut-il anticiper l’interaction attendue dans un environnement interactif dynamique (question de l’affordance) ?

    • Comment l’utilisateur peut-il agir sur les choix de modalité pour qu’ils correspondent mieux à ces besoins, ces attentes (question de la personnalisation) ?

Illustration

Voici un exemple pour mieux illustrer la problématique de l’interaction multimodale contextuelle dans les environnements IOT : la réservation de salle de réunion en entreprise.

Henri est chargé d’organiser un important séminaire pour son entreprise, qui réunit les principaux clients de celle-ci. C’est l’occasion pour lui de mettre à l’épreuve les nombreuses technologies du bâtiment dans lequel il travaille. Il se place devant l’un des écrans d’informations et s’adresse à celui-ci :

– « affiche-moi le plan du premier étage »

Il pointe alors le doigt sur l’amphithéâtre, s’adressant toujours à l’écran d’information :

– « je voudrais réserver cette salle début octobre. Indique-moi les jours où elle est libre toute la journée ».

Cette fois-ci le système répond oralement à Henri :

– « L’amphithéâtre est libre le mardi 3 et le vendredi 6 octobre »

– « Très bien, envoie moi ça sur mon smartphone, je finaliserai la réservation plus tard ».

Le jour du séminaire, les invités se présentent à l’accueil du bâtiment, au rez-de-chaussée. Après un rapide enregistrement, ils sont guidés par le système qui profite des nombreux écrans d’information pour

afficher à leur passage, la direction à suivre pour rejoindre l’amphithéâtre.

Pendant ce temps-là, Henri se prépare à prononcer le discours d’ouverture du séminaire. Sur la scène de l’amphithéâtre, il répète discrètement son discours à l’aide de ses lunettes de réalité augmentée qui lui servent de prompteur. De plus elles l’informent en direct du nombre d’invités présents dans la salle.

Rémunération

Offre de thèse Cifre

Salaire : ~30-35K annuel

Pour plus d’information sur le salaire et autres avantages : https://orange.jobs/site/en-phd/index.htm#content

Références

[1] Bolt, Richard A. 1980. « “Put-That-There”: Voice and Gesture at the Graphics Interface ». In , 262-70. ACM Press.

[2] Nigay, Laurence, et Joëlle Coutaz. 1993. « A Design Space for Multimodal Systems: Concurrent Processing and Data Fusion ». In , 172-78. ACM Press.

[3] Dumas, Bruno, Denis Lalanne, et Sharon Oviatt. 2009. « Multimodal Interfaces: A Survey of Principles, Models and Frameworks ». In Human Machine Interaction, édité par Denis Lalanne et Jürg Kohlas, 5440:3-26. Berlin, Heidelberg: Springer Berlin Heidelberg.

[4] Coutaz, Joëlle, Ann Blandford, et Jon May. 1995. « Four easy pieces for assessing the usability of multimodal interaction: the CARE properties ». In . Lillehammer.

[5] Bouchet, Jullien, Laurence Nigay, et Thierry Ganille. 2004. « ICARE Software Components for Rapidly Developing Multimodal Interfaces ». In , 251. ACM Press.

[6] Serrano, Marcos, Laurence Nigay, Jean-Yves L. Lawson, Andrew Ramsay, Roderick Murray-Smith, et Sebastian Denef. 2008. « The Openinterface Framework: A Tool for Multimodal Interaction. » In , 3501. ACM Press.

[7] Bodell, Michael, Deborah Dahl, Ingmar Kliche, Jim Larson, Brad Porter, Dave Raggett, T.V. Raman, et al. 2012. Multimodal Architecture and Interfaces. https://www.w3.org/TR/mmi-arch/.

[8] Loquendo, Paolo Baggia, Daniel C. Burnett, Jerry Carter, Deborah A. Dahl, Gerry McCobb, et Dave Raggett. s. d. Extensible Multi-Modal Annotations (EMMA). https://www.w3.org/TR/emma/.

[9] Avouac, Pierre-Alain, Philippe Lalanda, et Laurence Nigay. 2012. « Autonomic Management of Multimodal Interaction: DynaMo in Action ». In Proceedings of the 4th ACM SIGCHI Symposium on Engineering Interactive Computing Systems – EICS ’12, 35. Copenhagen, Denmark: ACM Press.

[10] Thevenin, D., Coutaz, J. Plasticity of User Interfaces : Framework and Research Agenda. In Proc. Interact99, Edinburgh, A. Sasse & C. Johnson Eds, IFIP IOS Press Publ. , 1999, pp.110-117

Catégorie(s) : Emploi et carrière, Offres de thèses

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*


+ 9 = onze