Université de Rennes 1 Deep latent representations for visual servoing Représentations latentes pour l'asservissement visuel Asservissement visuelapprentissage profondreprésentations latentes Visual servoingdeep learninglatent representations Apprentissage profond Vision artificielle (robotique) L'asservissement visuel (AV) est utilisé pour contrôler des systèmes robotiques, en se servant d'informations visuelles. L'AV permet de résoudre de nombreuses tâches, telles que la saisie d'objets, la navigation ou le suivi de cibles. Les primitives visuelles classiquement utilisées sont de nature géométrique ou photométrique. Cependant, les primitives géométriques peuvent être difficiles à extraire et à suivre à partir d'images brutes. Récemment, l'apprentissage profond a été proposé comme une solution potentielle pour l'asservissement visuel, mais son utilisation s'est limitée à l'extraction des primitives ou de la pose. Dans cette thèse, nous proposons d'aller plus loin en supprimant cette étape d'extraction des primitives. Nous établissons directement le lien entre le mouvement de la caméra et les changements dans l'espace latent. Ce lien peut être directement appris, créant ainsi une approche de l'asservissement reposant intégralement sur l'apprentissage, ou il peut être calculé analytiquement en exploitant la structure des réseaux appris. De plus, l'apprentissage supervisé ou non supervisé peut être utilisé pour créer des représentations utiles à l'AV. Enfin, le fait de formuler l'AV dans un espace latent permet d'exploiter des informations provenant de différentes modalités, telles que les poses de la caméra et les images, conduisant à un asservissement "hybride". Nous montrons que l'espace latent est idéal de par sa flexibilité, et peut être utilisé pour effectuer de grands déplacements, tout en conservant une excellente précision. Visual servoing is used to control robotic systems using visual information. This framework can be used to solve many tasks, such as object grasping, navigation or target tracking. Classically, visual features are geometric or photometric in nature. However, geometric primitives can be hard to extract and track from raw images. Lately, deep learning has come to light as a potential tool for visual servoing, but its use remained limited to extracting features or estimating the pose from images. In this thesis, we propose to go further by removing the feature extraction step, directly linking the learned representations to the motion of the camera, mounted on the robot. This link can be learned, creating an end-to-end approach, or it can be analytically computed, based on the network structure. Moreover, both supervised and unsupervised learning can be employed to create useful servoing representations. Finally, framing visual servoing in a latent space allows us to leverage information from multiple modalities, such as poses and images, leading to a novel "hybrid" visual servoing scheme. We show that the latent space is ideal due to its flexibility, and can be leveraged to accomplish large motions, while retaining an excellent accuracy. Electronic Thesis or DissertationText en application/pdf1 : 7047 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/30126663-ca9a-4338-8f12-a4bb04820eeb Felton Samuel 1997-03-01 FR 267459211 samuel.felton@irisa.fr 2022REN1S072 http://www.theses.fr/2022REN1S072 2022-12-20 Informatique Universite de Rennes 1thesis.degree.grantor_1 02778715X Doctorat non ouiFromontÉlisaintervenant_1095621601MarchandÉricintervenant_2098809121ChaumetteFrançoisintervenant_3059347856TeulièreCélineintervenant_6149645163WolfChristianintervenant_4083311696CaronGuillaumeintervenant_5158360931 MATHSTICecoleDoctorale_1 204770424 IRISA partenaireRecherche_1 026386909 ddc:004 FromontÉlisaMarchandÉricChaumetteFrançoisWolfChristianCaronGuillaumeTeulièreCélineUniversite de Rennes 1Sciences et technologie, medecine, pharmacie, odontologie, droit, economie, gestion, philosophieMATHSTICÉcole doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) IRISA ASCII PDF 7216537