| Deep learning for inverse problems and application to omni-directional imaging (Apprentissage profond pour problèmes inverses en imagerie par champs de lumière et en imagerie omni-directionnelle) Fermanian, Rita - (2023-12-06) / Université de Rennes Deep learning for inverse problems and application to omni-directional imaging
| |||
Langue : Anglais Directeur(s) de thèse: Guillemot, Christine Discipline : Signal, image, vision Laboratoire : INRIA-RENNES Ecole Doctorale : MATISSE Classification : Sciences de l'ingénieur Mots-clés : problèmes inverses, régularisation, deep learning, images omnidirectionnelles, plug-and-play, débruitage
| |||
Résumé : Cette thèse est consacrée à contribuer à des solutions d'apprentissage profond pour régulariser des problèmes inverses en imagerie perspective et omnidirectionnelle. Dans la première partie, nous nous concentrons sur les images 2D et nous commençons par proposer de régulariser le Deep Image Prior avec le débruiteur DRUNet de pointe. Cette combinaison améliore les performances du DIP et se compare favorablement avec les méthodes qui ont été proposées précédemment pour le régulariser. Ensuite, nous proposons une nouvelle approche pour entraîner un réseau modélisant le gradient d'un régulariseur en utilisant un débruiteur appris. Nous utilisons ce réseau dans un algorithme de descente de gradient Plug-and-play et montrons qu'il surpasse les méthodes génériques existantes. Dans la deuxième partie de cette thèse, nous nous concentrons sur les images omnidirectionnelles et nous abordons le problème du débruitage, comme première étape vers des méthodes de régularisation basées sur le débruiteur. Nous introduisons un nouveau débruiteur sphérique, en transférant le débruiteur DRUNet de pointe sur la sphère. Nous montrons également que le débruitage d'images omnidirectionnelles est plus efficace lorsqu'il est effectué directement sur la sphère plutôt que débruiter sa projection. Abstract : This thesis is devoted to contribute to deep learning solutions to regularize inverse problems in perspective and omnidirectional imagery. In the first part of this manuscript, we focus on perspective imagery and we begin by proposing to regularize the Deep Image Prior with the state-of-the-art DRUNet denoiser. This combination enhances the performance of the DIP and compares favourably with the methods that have been proposed previously to regularize it. Then, we propose a novel approach to train a network modeling the gradient of a regularizer by using a deep denoiser. We use this network in a Plug-and-play gradient descent algorithm and show that it outperforms existing generic methods. In the second part of this thesis, we focus on omnidirectional images and we address the problem of omnidirectional image denoising, as a first step towards denoiser-based regularization methods. We introduce a novel spherical denoiser, by transferring the state-of-the-art DRUNet denoiser into the sphere. We also show that omnidirectional image denoising is more efficient when performed directly on the sphere rather than a corresponding mapping. | |||