| Combining implicit and explicit representations for modeling 3D shape and appearance (Combinaison de représentations implicites et explicites pour la modélisation de formes et d'apparences 3D) Jena, Shubhendu - (2025-06-23) / Université de Rennes Combining implicit and explicit representations for modeling 3D shape and appearance
| |||
Langue : Anglais Directeur(s) de thèse: Multon, Franck Discipline : Signal, image, vision Laboratoire : INRIA-RENNES Ecole Doctorale : MATISSE Classification : Sciences de l'ingénieur Mots-clés : Reconstruction 3D, Synthèse de nouvelles vues, Apprentissage profond
| |||
Résumé : Cette thèse aborde la reconstruction de géométrie 3D précise et éditable ainsi que la synthèse d’apparence réaliste à partir d’entrées éparses, non posées ou bruitées, en combinant des représentations 3D implicites et explicites. Les champs implicites permettent une modélisation continue et flexible, mais restent coûteux et peu robustes. Les représentations explicites, comme les maillages, sont rapides à rendre et éditables, mais dépendent de données fiables. Nous explorons leur adaptation et combinaison pour une reconstruction 3D robuste et évolutive. Nous améliorons les champs implicites via un transfert d’opacité depuis des NeRFs vers des champs d’occupation, et proposons une optimisation SDF robuste adaptée aux nuages de points bruités. Pour les représentations explicites, nous développons une méthode de déformation de maillage pour la reconstruction humaine monoculaire, basée sur des descripteurs pixel-alignés et des graphes, ainsi qu’un pipeline de rendu neuronal combinant géométrie proxy et descripteurs conditionnés. Enfin, nous introduisons un cadre de Gaussian Splatting 2D généralisable pour la synthèse de vues et un pipeline sans pose pour reconstruire géométrie et caméras via splatting différentiable et priors 3D. Ces approches hybrides unifient flexibilité et structure pour une modélisation 3D robuste et pratique. Abstract : This thesis addresses the challenge of reconstructing accurate, editable 3D geometry and realistic appearance from sparse, unposed, or noisy inputs by combining implicit and explicit 3D representations. Implicit neural fields offer flexible, continuous modeling but often struggle with efficiency, generalization to sparse data, and lack of structural interpretability. Explicit representations like meshes support efficient rendering and editing but depend on reliable geometry and pose information. This work explores how the two can be adapted and combined to enable scalable, robust, and generalizable 3D reconstruction. We improve generalizable implicit fields by distilling opacity from pretrained NeRFs into occupancy fields, enabling geometry extraction without test-time optimization. We also propose a robust SDF formulation for reconstruction from noisy point clouds. For explicit modeling, we develop mesh deformation for monocular human shape reconstruction using pixel-aligned features and graph neural networks, and a neural rendering method combining proxy geometry with view-conditioned descriptors. We further introduce generalizable 2D Gaussian Splatting for sparse-view synthesis and a pose-free pipeline that jointly recovers geometry and camera poses using differentiable splatting and 3D priors. These methods unify flexibility and structure for practical 3D modeling. | |||