Université de Rennes Spherical light field representation and reconstruction from omnidirectional imagery Représentation et reconstruction de champs de lumière sphériques à partir d'images omni-directionnelles Informatique graphiqueRéalité virtuelleApprentissage en profondeurVision par ordinateurApprentissage automatique Computer graphicsVirtual realityDeep learningComputer visionMachine learning Réalité virtuelle Apprentissage profond Vision par ordinateur Cette thèse examine les systèmes d’imagerie omnidirectionnelle avancés, la capture de champs lumineux et les pipelines de rendu, ainsi que le dernier paradigme de reconstruction de scènes, le champ de radiance (Radiance Field, RF). Elle traite des défis clés liés à l’utilisation du RF pour la représentation de champs lumineux sphériques et la reconstruction de scènes. Les principales contributions sont les suivantes : Tout d’abord, nous étendons les Champs de Radiance Neuronaux (NeRF) pour prendre en charge les entrées d’images omnidirectionnelles en intégrant un modèle de caméra fisheye optimisable. Cela permet la reconstruction de scènes à 360 degrés avec des images grand angle, en mettant l’accent sur l’échantillonnage de rayons sphériques. Ensuite, nous améliorons la reconstruction de scènes à 360 degrés à partir d’images omnidirectionnelles éparses en combinant l’estimation de points de fuite avec un encodage fréquentiel dans un cadre d’encodage de hachage efficace. Enfin, nous intégrons des techniques de segmentation d’images 2D de haute qualité pour contraindre les objets dans des espaces 3D limités, améliorant ainsi la précision de la reconstruction de scènes et la segmentation cohérente en 3D. This thesis reviews advanced omnidirectional imaging (ODI) systems, light field capture and rendering pipelines, and the latest scene reconstruction paradigm, Radiance Field (RF). It addresses key challenges encountered in using RF for spherical light field representation and scene reconstruction. The primary contributions are in three aspects. First, we extend Neural Radiance Fields (NeRF) to support ODI inputs by incorporating an optimizable fisheye camera model. This allows for 360-degree scene reconstruction with ultra-wide-angle images, emphasizing the importance of spherical ray-sampling in such contexts. Second, to address the challenge of reconstructing 360-degree scenes from sparse ODI inputs, we combine vanishing point estimation with frequency encoding in an efficient hash-encoding framework, which significantly improves reconstruction quality without compromising efficiency. Finally, we enhance sparse-input scene reconstruction by integrating high-quality 2D image segmentation techniques. Using object mask matching from multiple views, we constrain objects within limited 3D spaces, improving scene reconstruction accuracy and achieving consistent 3D segmentation. These methods advance the RF-based reconstruction of 360- degree scenes, offering robust solutions for sparse input scenarios and enhancing visual experience in immersive image modalities. Electronic Thesis or DissertationText en application/pdf1 : 9752 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/a2449148-8d72-4177-8c46-aadb671b04e4 Gu Kai 1994-03-30 CN 283424206 gukai.k@gmail.com 2024URENS071 http://www.theses.fr/2024URENS071 2024-11-25 Signal, image, vision Université de Rennesthesis.degree.grantor_1 26693823X Technische Universität (Berlin)thesis.degree.grantor_2 031373240 Doctorat non ouiGuillemotChristineintervenant_1061597074Knorr Sebastianintervenant_2258928166MorinLuceintervenant_3059851171GuillemotChristineintervenant_1061597074Knorr Sebastianintervenant_2258928166SikoraThomasintervenant_507093939XSjöströmMårtenintervenant_4259213691LambertPeterintervenant_6283424427 MATISSEecoleDoctorale_1 267602553 INRIA-RENNES partenaireRecherche_1 133175863 ddc:004 GuillemotChristineKnorr SebastianMorinLuceSjöströmMårtenSikoraThomasLambertPeterUniversité de RennesTechnische Universität (Berlin)MATISSE INRIA-RENNES ASCII PDF 9985740