Université de Rennes 1 Learning-based depth estimation from light field and view synthesis L’estimation de la profondeur de champ de lumière et la synthèse de vue basés sur l’apprentissage champs de lumièreestimation de profondeursynthèse de vueinterpolation de trame light fieldsdepth estimationview synthesisframe interpolation aVision par ordinateur Apprentissage automatique Un champ de lumière échantillonne la scène à partir de différentes perspectives, et les informations directionnelles contenues dans chaque vue de champ de lumière permettent d'obtenir de meilleures performances dans ces tâches de vision par ordinateur que l'utilisation d'images 2D classiques. Les contributions principales de cette thèse se présentent sous trois aspects. Notre première contribution se concentre sur l'estimation de la profondeur (ou de la disparité) à partir du champ de lumière avec un sous-ensemble de vues. Les méthodes existantes d'estimation de la profondeur conviennent soit à des champs de lumière simplement échantillonnés de manière dense, soit à la prédiction de profondeurs imprécises avec des artefacts visuels apparents. Nous proposons un nouveau cadre basé sur l'apprentissage qui génère des profondeurs précises avec un plus petit sous-ensemble de vues avec une grande variété de plages de disparités. Ensuite, dans la deuxième partie, nous nous concentrons sur le problème de synthèse de vue en champ de lumière. En adoptant les techniques d'estimation de la profondeur utilisées dans les travaux précédents et en combinant des pixels et des caractéristiques, nous proposons un pipeline de synthèse dépendant de la profondeur, qui peut suréchantillonner un champ de lumière à toutes les dimensions souhaitées et produire des vues synthétisées de haute qualité. Dans le dernier aspect, nous améliorons notre pipeline de synthèse avec de nouvelles architectures et l'adaptons à la tâche d'interpolation de trame vidéo. Le schéma amélioré montre une performance supérieure pour la tâche de synthèse de vue de champ de lumière et donne des résultats compétitifs avec les méthodes d'état de l'art d'interpolation de trame vidéo. A light field samples the scene from different perspectives, and the directional information contained in each light field view makes it yield better performance in those computer vision task than using classical 2D images. The main contributions of this thesis are in three aspects. Our first contribution focuses on the depth (or disparity) estimation from light field with a subset of views. Existing depth estimation methods either is suitable for merely densely sampled light fields, or predict imprecise depths with apparent visual artifacts. We propose a novel learning-based framework that generates precise depths with a smaller subset of views with a large variety of disparity range. Then in the second part, we focus on light field view synthesis problem. By adopting depth estimation techniques used in the previous work and by combining pixel and feature cues, we propose a depth-dependent synthesis pipeline, which can upsample a light field to any desired dimensions and produce high quality synthesized views. In the last aspect, we improve our synthesis pipeline with some new architectures, and adapt it to the video frame interpolation task. The improved scheme shows a superior performance for light field view synthesis task and yields results competitive with the state-of-the-art video frame interpolation methods. Electronic Thesis or DissertationText en application/pdf1 : 56618 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/7e7766f9-99e3-4d63-aa3e-db0366c6691e Shi Jinglei 1992-09-07 CN 259213497 jlshi@outlook.com 2021REN1S051 http://www.theses.fr/2021REN1S051 2021-06-16 informatique Universite de Rennes 1thesis.degree.grantor_1 02778715X Doctorat non ouiGuillemotChristineintervenant_1061597074MorinLuceintervenant_2059851171JiangXiaoranintervenant_3259213802Gotchev‎Atanasintervenant_4259213896MonassePascal intervenant_5139451994SjostromMartenintervenant_6259213691 MATHSTICecoleDoctorale_1 204770424 INRIA-RENNES partenaireRecherche_1 133175863 ddc:004 GuillemotChristineMorinLuceJiangXiaoranGotchev‎AtanasMonassePascal SjostromMartenUniversite de Rennes 1Sciences et technologie, medecine, pharmacie, odontologie, droit, economie, gestion, philosophieMATHSTICÉcole doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) INRIA-RENNES ASCII PDF 57977306