| Novel view synthesis from sparse inputs (Synthèse de nouvelles vues à partir d’entrées limitées) Li, Qian - (2023-10-17) / Université de Rennes Novel view synthesis from sparse inputs
| |||
Langue : Anglais Directeur(s) de thèse: Multon, Franck; Adnane, Boukhayma Discipline : Signal, image, vision Laboratoire : INRIA-RENNES Ecole Doctorale : MATISSE Classification : Informatique Mots-clés : Synthèse de nouvelles vues, champs de rayonnement neuronal, réseau de champ lumineux, génération de formes multi-humaine, entrées éparses
| |||
Résumé : Malgré le potentiel important de la synthèse de nouvelles vues à partir d’entrées éparses dans les applications d’infographie et de vision par ordinateur, plusieurs défis subsistent dans ce sujet. Cette thèse étudie trois aspects concernant la synthèse de nouvelles vues. Tout d’abord, nous avons présenté une nouvelle approche pour améliorer les NeRF à partir d’entrées éparses. Les méthodes proposées comprennent échantillonnage global avec régularisation, l’augmentation des données, l’échantillonnage de patchs locaux avec régularisation basée sur les patchs et la régularisation de profondeur explicite. Des évaluations approfondies démontrent que notre méthode surpasse les performance de référence. Deuxièmement, nous avons proposé d’améliorer le champ lumineux neuronal à partir d’entrées éparses. Nous utilisons un réseau neuronal implicite conditionné sur les caractéristiques des rayons locaux d’un encodeur à convolutions. Nous atteignons des performances compétitives et offrons une vitesse de rendu beaucoup plus rapide. Troisièmement, nous avons introduit une nouvelle approche pour génération de forme et rayonnement 3D d’un scène contenant plusieurs personnes à partir d’images éparses. Notre approche intègre des contraintes géométriques à l’aide de maillages pré-calculés, de la régularisation des rayons basée sur les patchs et de la régularisation de la saturation. Nous atteignons des performances de pointe sur des données réelles et synthétiques. Abstract : Despite the significant potential of novel view synthesis from sparse inputs in computer graphics and computer vision applications, several challenges remain in this topic. This thesis investigates and provides solutions in three aspects regarding novel view synthesis. Firstly, we presented a novel approach to improve NeRF from sparse inputs. The proposed methods include global sampling with regularization, data augmentation, local patch sampling with patch-based regularization, and explicit depth regularization. Extensive evaluations demonstrate our method outperforms baselines. Secondly, We proposed to improve the neural light field from sparse inputs. It employed an implicit neural network conditioned on local ray features from the convolutional encoder. It achieved competitive performance and offered a much faster rendering speed. Thirdly, We introduced a novel 3d shape and radiance generation approach for multiple humans from sparse images. Our approach incorporates geometry constraints using pre-computed meshes, patch-based ray regularization, and saturation regularization. It achieved state-of-the-art performance on real and synthetic data. | |||