Poste en Réalité Virtuelle Post-Doc / Chercheur CDD au Centre de Robotique – Janvier 2019

Sujet : Mise en place d’une caméra Lightfield pour la réalité virtuelle

Dates et période : Mi-Mars à Décembre  2019

 

Contact : alexis.paljic@mines-paristech.fr

1. Contexte.

Le monde du cinéma et celui du jeu s’emparent de la réalité virtuelle (VR) pour créer de nouvelles expériences. La VR offre un nouvel espace d’expression pour les créatifs, réalisateurs, game designers et de nouvelles perspectives d’expériences immersives pour le grand public. Différents domaines (cinéma, formation, tourisme, patrimoine) ont le besoin de proposer des environnements de réalité virtuelle issues de prises de vue sur des scènes réelles. Les technologies d’acquisition d’environnements réels existent, mais pour certaines offrent peu ou pas d’interaction (vidéos 360°) d’autres sont réservées à des marchés très ciblés, utilisent des appareils coûteux, et des procédures d’acquisition complexes (photogrammétrie, lasergrammetrie), enfin pour ces techniques, atteindre un bon niveau de réalisme visuel nécessite un travail important.

L’objet de ce projet est de mettre en place une plateforme lightfield. Il s’agit d’un système d’acquisition d’environnements réels basée sur un réseau de caméras (Voir https://www.blog.google/products/google-ar-vr/experimenting-light-fields/). L’acquisition d’environnements par caméras lightfield (Figure 1 et 2) est une méthode rapide pour obtenir un point de vue dynamique et de haute qualité sur une scène réelle dans un casque de réalité virtuelle. Le réseau de caméras lightfield réalise l’acquisition de la fonction plénoptique. Celle-ci permet, une fois stockée, de revivre la scène dans un casque de réalité virtuelle, tout en pouvant choisir le point de vue en se déplaçant dans la scène (ce que ne permet pas la vidéo 360°). On peut y intégrer des objets de synthèse et proposer une activité virtuelle dans un environnement de haute qualité visuelle.

Figure 1 Système de prise de vue plénoptique (ou Lightfield) réseau de caméras qui génère la fonction plénoptique. Illustration © Google

Figure 2 L’avantage de la prise de vue lightfield est de permettre à l’utilisateur de se déplacer dans la scène en ayant un point de vue cohérent sur l’environnement virtuel, c’est-à-dire qui simule la parallaxe de mouvement ainsi que les effets visuels (ombres, réflexions, illumination globale). Illustration © Google

 

 

L’objet du projet est donc de mettre en place une plateforme d’acquisitions lightfield, permettant l’exploration immersive d’une scène réelle.

 

2. Rôle du candidat :

  1. Mettre en place d’un système de capture lightfield. Il s’agit d’un travail de conception de la plateforme matérielle et de sa réalisation.
  2. Créer des expériences interactives ultra réalistes en réalité virtuelle sur la base de ces acquisitions sur des scènes réelles. La majeure partie des développements d’informatique graphique ont d’ores et déjà été réalisés dans le moteur de rendu, en particulier la mise en place des structures de données accueillant la fonction plénoptique et les lookup en temps réel dans la fonction plénoptique pour le rendu du bon point de vue. Le système fonctionne actuellement avec des images* basse résolution. Il reste à implémenter une fonctionnalité de chargement dynamique des images (la totalité des images haute résolution du champ plénoptique étant bien supérieure à la mémoire vive et GPU disponible).
  3. Participer avec les chercheurs du centre aux évaluations de l’expérience utilisateur dans ces scènes en réalité virtuelle.

 

*Les images utilisées actuellement sont des images de synthèse. La mise en place du système permet de passer à des prises de vue réelles.

Nous envisageons dans le projet de bâtir deux plateformes light field : une aux performances et caractéristiques optimales, une seconde à moindre coût, visant un déploiement sur le marché. La première version est générique et sa qualité permet d’obtenir une expérience optimale, base de comparaison pour les autres méthodes low cost et simplifiées que nous explorerons. La seconde version de la plateforme, capitalisant sur les expériences de la première, est axée sur une réduction du coût matériel. La réduction de coût se fera sur la base des d’expérimentations perceptives permettant de choisir les caractéristiques techniques minimales nécessaires pour  une série de cas d’usage.

Cette méthode par lightfield est aussi une base de comparaison à d’autres techniques de reconstruction, que nous mettons en place dans le laboratoire et dont nous souhaitons estimer le confort.

Le projet se coordonne avec un autre projet (PopulateVR) du laboratoire dont l’objet est de peupler des environnements virtuels avec des objets et agents interactifs en utilisant des moyens automatiques de traitement des données issues des captures de scènes réelles, en particulier par machine learning. Le candidat aura vocation à participer au projet Populate VR.

3. Profil souhaité et contexte de Travail

Profil général

  • Ingénieur Grande Ecole apprécié ou Master Recherche
  • Qualités de rédaction et de présentation à l’oral
  • Anglais parlé et écrit (rédaction d’articles scientifiques)

Compétences

  • Le candidat devra avoir des connaissances dans au moins un des domaines : perception visuelle, réalité virtuelle, facteurs humains, conception de jeux vidéo.
  • Compétences techniques demandées : programmation C++ ou C#, la connaissance d’outils de programmation graphique haut niveau (type Unity3D, UnrealEngine) est appréciée mais pas nécessaire.
  • Une expérience de Conception (Modélisation 3D, prototypage rapide via imprimante 3D, mécatronique, expérience avec ordinateurs monocartes type Rasperry Pi) est appréciée.
  • Background de machine learning apprécié si participation au projet PopulateVR mentionné ci-dessus.

4 . Informations générales.

Dates et Durée du contrat :

Il s’agit d’un contrat à durée déterminée, démarrant au 1er Février ou au 1er Mars 2019, pour une durée minimale de 4 mois, et maximum de 9 mois (fin 2019).

Le travail s’effectuera à l’école des Mines-ParisTech, et se fera en collaboration avec Alexis Paljic (Chercheur) et Grégoire Dupont de Dinechin (Doctorant).

Rémunération :

à négocier en fonction du profil.

Contacts :

Contacter Alexis paljic par mail alexis.paljic@mines-paristech.fr ou par téléphone au 01 40 51 91 61 pour toute question.

Candidature à envoyer (CV et lettre de motivation) à alexis.paljic@mines-paristech.fr et gregoire.dupont_de_dinechin@mines-paristech.fr

Fiche de Poste CDD en Réalité Virtuelle – Centre de Robotique – 21 Janvier 2019 – Alexis Paljic

Catégorie(s) : Emploi et carrière, Offres de stages

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*


− six = 3