LeHD – Reconstruction d’un lightfield HDR
Projet ANR ReVeRY
Directrice de thèse : Céline Loscos (URCA, CReSTIC)
Co-encadrants : Stéphanie Prévost (URCA, CReSTIC) Gilles Valette (URCA, CReSTIC)
Mots clés : informatique graphique, imagerie 3D, Systèmes multi-caméras, vision 3D, reconstruction de profondeur, imagerie HDR, contenu de réalité virtuelle
Contexte de la thèse :
Cette thèse s’inscrit dans le projet ANR ReVeRY (RichEr VidEo for Richer creativitY 2017-2021) qui vise à définir une nouvelle méthodologie et un prototype de système de caméra-grille pour l’acquisition d’une vidéo multivue /multi-exposition. Ce système va d’une part, capter en une seule acquisition plusieurs points de vue à des expositionsdifférentes, et d’autre part convertir un flux vidéo multi-vues, multi-exposé en un média riche de haute qualité. Uneavancée majeure du projet consiste à résoudre conjointement une reconstruction de profondeur en haute gammedynamique (HDR) et ultra-haute définition (UHD).
Combiner UHD et HDR renforcera le média produit par une précision et qualité colorimétrique et géométrique, surpassant ainsi les formats vidéo existants. Sa nature mêmepermettra de nouveaux usages, tels que le recadrage, la génération de nouveaux points de vue et le ré-éclairage à la fois dans les étapes de post-production et de visualisation.
Le doctorant travaillera au sein de l’équipe RVM1 (Rich Visual Media), dirigée par Céline Loscos. Cette équipe adéveloppé une expertise en visual computing, informatique graphique et interaction, pour répondre aux demandesd’innovations actuelles, en particulier autour des industries créatives, contexte du projet ReVeRY. Dans l’équipe RVM, la recherche s’appuie sur des équipements de technologie visuelle innovants (caméras multi-vues, écrans auto-stéréoscopiques ou HDR (High-Dynamic Range), capteurs de profondeur et de mouvement, technologie de réalité virtuelle). Le doctorant pourra ainsi avoir accès à du matériel de pointe et aussi travailler avec les équipes collaboratrices du projet.
Description du sujet de thèse :
L’objectif de la thèse est de gérer et de traiter des données multi-vidéo spécialement conçues pour fournir un média vidéo innovant de haute qualité (HDR, UHD, profondeur), ces données étant à moyen terme produites par une grille de caméras spécifiquement construite pour le projet ReVeRY. Les objectifs technologiques et scientifiques du projet LeHD sont donc de proposer de nouveaux algorithmes dédiés à la reconstruction de profondeur et HDR à partir de données brutes multivues / multi-exposées, et la conversion de cette sortie de reconstruction en un support vidéo HDR UHD facile à utiliser et auquel s’ajoute une informat ion de profondeur.
La première étape de la thèse sera un travail de bibliographie visant à réaliser un état de l’art. Il inclura une recherche de publications, de logiciels et de jeux de données existants, ainsi qu’une implémentation des méthodes significatives de la littérature. Une classification sera établie et appuyée par une étude comparative.
La deuxième étape consistera en la réalisation d’ensembles synthétiques d’images 4×4 et des reconstructions de vérité terrain, en HD et UHD pour servir de données d’entrée pour les algorithmes à tester alors que des données réelles ne sont pas encore disponibles. Cette étape nécessitera la spécification de l’algorithme de reconstruction et aboutira à la formulation exacte de la structure de données en sortie du système par exemple un ensemble temporel de nuages de points 3D avec valeurs de couleurs HDR.
La troisième étape représente l’essentiel du travail de thèse et devra aboutir à la réalisation d’un solveur
HDR/profondeur à partir des données, d’abord synthétiques, puis fournies par la grille de caméras. Un premier objectif sera la réalisation d’un démonstrateur de laboratoire prouvant la faisabilité des objectifs de reconstruction profondeur + HDR pour les flux vidéo HD en mode post-production, indépendamment du temps de calcul implicite et de la consommation de mémoire. Dans un second temps, ce prototype de base sera adapté à un flux vidéo UHD (4K) et transféré vers du HPC, pour donner le résultat final : un prototype efficace sur le plan industriel prenant en compte les exigences de mémoire et de calcul impliquées par l’UHD.
Compétences souhaitées du candidat :
Bonnes connaissances en informatique graphique et/ou vision 3D, très bon niveau de programmation en C++.
Maîtrise des shaders OpenGL et connaissance de Cuda souhaitées.
Contacts :
Merci d’attacher à votre réponse un CV incluant le cas échéant des références de personnes pouvant faire état de votre potentiel de chercheur (encadrants de stage, enseignants…).
Références :
[1] J. Prévoteau, S. Chalençon-Piotin, D. Debons, L. Lucas, and Y. Remion, Improve 3D visual experience by controlling the perceived depth distortion. Springer Verlag
[2] C. Niquin, S. Prévost, and Y. Remion, “Depth extraction for auto-stereoscopic sets by means of a mesh
reconstruction algorithm,” in IS&T/SPIE Electronic Imaging, Conference EI101 : Stereoscopic Displays and Application XXI, San Jose, CA, Jan. 2010.
[3] C Niquin, S Prévost, Y Remion, “An occlusion approach with consistency constraint for multiscopic depth extraction,” International Journal of Digital Multimedia Broadcasting (IJDMB), special issue Advances in 3DTV: Theory and Practice, vol. 2010, no. 857160, p. 1.
[4] C. Niquin, “Reconstruction du relief et mixage réel virtuel par caméras relief multipoints de vues,” Ph.D. dissertation, Université de Reims Champagne-Ardenne, 2011.
[5] C. Loscos and K. Jacobs, High-Dynamic Range Imaging for Dynamic Scenes. CRC Press/ Taylor & Francis, p. 259.
[6] K. Jacobs, C. Loscos, and G. Ward, “Automatic high-dynamic range generation for dynamic scenes,” IEEE Computer Graphics and Applications, vol. 28, no. 2, p. 24.
[7] R. Ramirez Orozco, I. Martin, C. Loscos, and P.P. Vasquez, “Full high-dynamic range images for dynamic scenes,” in Optics, Photonics, and Digital Technologies for Multimedia Applications II, 843609, Peter Schelkens, Touradj Ebrahimi and P. Saarikko, Ed. Brussels: SPIE, Jun. 2012.
[8] J. Bonnard, C. Loscos, G. Valette, J.-M. Nourrit, and L. Lucas, “High-dynamic range video acquisition with a multiview camera,” in Optics, Photonics, and Digital Technologies for Multimedia Applications II, Peter Schelkens, Touradj Ebrahimi and P. Saarikko, Eds. Brussel, Belgium: SPIE, Apr. 2012. [Online].
[9] J. Bonnard, “Génération d’images 3d hdr,” Ph.D. dissertation, Université de Reims ChampagneArdenne, 2015.
[10] R. Ramirez Orozco, C. Loscos, I. Martin, and A. Artusi, “Multiscopic hdr image sequence generation,” in WinterSchool of Computer Graphics, V. Skala, Ed., Pilsen, Czech Republic, p. 111.
Laisser un commentaire