Stage « Téléprésence » au CEA LIST

Les récentes avancées hardware de systèmes de capture 3D ainsi que des systèmes de visualisation en VR et/ou AR permettent désormais de développer des systèmes de télé-présence de haute qualité à faible latence [1]. Ces systèmes nécessitent une capture 3D temps réel haute résolution à partir d’une constellation de caméras, une fusion volumiques et temps réel des données provenant de ce système de capture, une compression efficace du flux pour être transporté entre plusieurs sites et enfin une restitution 3D haute résolution dans un système VR et/ou AR tout en limitant la latence globale du système.

Ce stage propose d’intégrer et/ou d’améliorer différentes briques technologiques nécessaire à la mise en place de ce système de télé-présence. Le candidat travaillera sur un système de capture composé de 4 à 6 kinects azure (v3). Les développements se concentreront sur les algorithmes de fusion et de tessellation temps réel, sur la compression de ce maillage et enfin sur le rendu final après transport dans un casque de VR (Unity 3D).

Le candidat devra avoir de bonnes connaissances en computer graphics, maîtriser le C++, avoir des notions de CUDA et de shader Unity 3D. Ce travail ambitieux demandera également une grande autonomie ainsi qu’une capacité à proposer de nouvelles solutions.

Laboratoire de Simulation Interactive

CEA Saclay 91191 Gif-sur-Yvette France

Contact: Jérémie Le Garrec

Jeremie.le-garrec@cea.fr

+33 (0)1 69 08 23 88

Présentation du laboratoire d’accueil

Au cœur du Plateau de Saclay (Ile-de-France), l’institut CEA LIST focalise ses recherches sur les systèmes numériques intelligents. Porteurs d’enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur les systèmes interactifs (intelligence ambiante), les systèmes embarqués (architectures, ingénierie logicielle et systèmes), les capteurs et le traitement du signal (contrôle industriel, santé, sécurité, métrologie).

Dédiés à la recherche technologique, les 700 ingénieurs-chercheurs et techniciens de l’institut ont pour objectif de favoriser l’innovation et son transfert autour de partenariats industriels pérennes. La culture projet et l’excellence scientifique des équipes de l’Institut sont au cœur de cette ambition.

Le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM). Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l’ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques. Elle permet également de valider des scénarios incluant l’opérateur pour étudier l’ergonomie du poste de travail par l’introduction de son avatar dans la simulation dynamique. Centrées sur les noyaux de simulation interactive, les activités de l’équipe vont jusqu’à la mise au point d’applicatifs, répondant aux contextes d’usage de ses partenaires industriels (manufacturing pour l’automobile et l’aéronautique, énergie, santé).

Description du stage

Les récentes avancées hardware de systèmes de capture 3D ainsi que des systèmes de visualisation en VR et/ou AR permettent désormais de développer des systèmes de télé-présence de haute qualité à faible latence [1]. Ces systèmes nécessitent une capture 3D temps réel haute résolution à partir d’une constellation de caméras, une fusion volumiques et temps réel des données provenant de ce système de capture, une compression efficace du flux pour être transporté entre plusieurs sites et enfin une restitution 3D haute résolution dans un système VR et/ou AR tout en limitant la latence globale du système.

Ce stage propose d’intégrer et/ou d’améliorer différentes briques technologiques nécessaire à la mise en place de ce système de télé-présence. Le candidat travaillera sur un système de capture composé de 4 à 6 kinect azure (v3). Les développements se concentreront sur les algorithmes de fusion et de tessellation temps réel, sur la compression de ce maillage et enfin sur le rendu final après transport dans un casque de VR (Unity 3D).

Le candidat devra avoir de bonnes connaissances en computer graphics, maîtriser le C++, avoir des notions de CUDA et de shader Unity 3D. Ce travail ambitieux demandera également une grande autonomie ainsi qu’une capacité à proposer de nouvelles solutions.

Mots-clés

Kinect Depth Cameras, 3D capture, Telepresence, Non-rigid reconstruction, Real-time

Références

[1] Holoportation: Virtual 3D Teleportation in Real-time, Proceedings of the 29th Annual Symposium on User Interface Software and Technology Tokyo, Japan 2016.

Profil du candidat/de la candidate

Niveau demandé : Ingénieur, Master 2

Ce stage ouvre la possibilité de poursuite en thèse et ingénieur R&D dans notre laboratoire.

Durée : 6 mois

Rémunération : entre 700 € et 1300 € suivant la formation.

Compétences requises :

  • Computer Graphics

  • Programmation CUDA sur GPU

  • Langage C++/C#/shader Unity 3D

  • Plateforme Unity 3D

Catégorie(s) : Emploi et carrière, Offres de stages

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*


× six = 6