| Spherical light field representation and reconstruction from omnidirectional imagery (Représentation et reconstruction de champs de lumière sphériques à partir d'images omni-directionnelles) Gu, Kai - (2024-11-25) / Université de Rennes, Technische Universität (Berlin) Spherical light field representation and reconstruction from omnidirectional imagery
| |||
Langue : Anglais Directeur(s) de thèse: Guillemot, Christine; Knorr, Sebastian Discipline : Signal, image, vision Laboratoire : INRIA-RENNES Ecole Doctorale : MATISSE Classification : Informatique Mots-clés : Informatique graphique, Réalité virtuelle, Apprentissage en profondeur, Vision par ordinateur, Apprentissage automatique
| |||
Résumé : Cette thèse examine les systèmes d’imagerie omnidirectionnelle avancés, la capture de champs lumineux et les pipelines de rendu, ainsi que le dernier paradigme de reconstruction de scènes, le champ de radiance (Radiance Field, RF). Elle traite des défis clés liés à l’utilisation du RF pour la représentation de champs lumineux sphériques et la reconstruction de scènes. Les principales contributions sont les suivantes : Tout d’abord, nous étendons les Champs de Radiance Neuronaux (NeRF) pour prendre en charge les entrées d’images omnidirectionnelles en intégrant un modèle de caméra fisheye optimisable. Cela permet la reconstruction de scènes à 360 degrés avec des images grand angle, en mettant l’accent sur l’échantillonnage de rayons sphériques. Ensuite, nous améliorons la reconstruction de scènes à 360 degrés à partir d’images omnidirectionnelles éparses en combinant l’estimation de points de fuite avec un encodage fréquentiel dans un cadre d’encodage de hachage efficace. Enfin, nous intégrons des techniques de segmentation d’images 2D de haute qualité pour contraindre les objets dans des espaces 3D limités, améliorant ainsi la précision de la reconstruction de scènes et la segmentation cohérente en 3D. Abstract : This thesis reviews advanced omnidirectional imaging (ODI) systems, light field capture and rendering pipelines, and the latest scene reconstruction paradigm, Radiance Field (RF). It addresses key challenges encountered in using RF for spherical light field representation and scene reconstruction. The primary contributions are in three aspects. First, we extend Neural Radiance Fields (NeRF) to support ODI inputs by incorporating an optimizable fisheye camera model. This allows for 360-degree scene reconstruction with ultra-wide-angle images, emphasizing the importance of spherical ray-sampling in such contexts. Second, to address the challenge of reconstructing 360-degree scenes from sparse ODI inputs, we combine vanishing point estimation with frequency encoding in an efficient hash-encoding framework, which significantly improves reconstruction quality without compromising efficiency. Finally, we enhance sparse-input scene reconstruction by integrating high-quality 2D image segmentation techniques. Using object mask matching from multiple views, we constrain objects within limited 3D spaces, improving scene reconstruction accuracy and achieving consistent 3D segmentation. These methods advance the RF-based reconstruction of 360- degree scenes, offering robust solutions for sparse input scenarios and enhancing visual experience in immersive image modalities. | |||