| Fall detection and activity recognition using stereo low-resolution thermal imaging (Détection des chutes et reconnaissance de l'activité à l'aide de l'imagerie thermique stéréo basse résolution) Zoetgnande, Yannick - (2020-12-16) / Universite de Rennes 1 Fall detection and activity recognition using stereo low-resolution thermal imaging
| |||
Langue : Anglais Directeur(s) de thèse: Dillenseger, Jean-Louis Discipline : Signal, image, vision Laboratoire : Laboratoire de Traitement du Signal et de l'Image Ecole Doctorale : MATHSTIC Classification : Sciences de l'ingénieur Mots-clés : Détection de chute, Reconnaissance d’activité, Apprentissage profond, Généralisation de domaine, Thermique
| |||
Résumé : De nos jours, il est important de trouver des solutions pour détecter et prévenir les chutes des personnes âgées. Nous avons proposé un dispositif bas coût à base d’une paire de capteurs thermiques. La contrepartie de ces capteurs bas-coût est leur faible résolution (80x60 pixels), la faible fréquence de rafraîchissement, le bruit et des effets de halo. Nous avons donc proposé quelques approches pour contourner ces inconvénients. Tout d’abord, nous avons proposé une nouvelle méthode de calibration avec une grille adaptée à l’image thermique et une méthodologie assurant la robustesse de l’estimation des paramètres malgré la faible résolution. Ensuite, pour la vision 3D, nous avons proposé une méthode de mise en correspondance stéréo avec une précision sous-pixels (appelée ST pour Subpixel Thermal) composée : 1) d’une méthode robuste d’extraction des caractéristiques basée sur la congruence de phase, 2) d’une mise en correspondance de ces caractéristiques au pixel près, et 3) d’une mise correspondance raffinée en précision sous-pixel basée sur la corrélation de phase locale. Nous avons également proposé une méthode de super-résolution appelée Edge Focused Thermal Super-Resolution (EFTS) qui contient un module d’extraction de contours amenant le réseau de neurones artificiels de se concentrer sur les contours des objets dans les images. Par la suite, pour la détection des chutes, nous avons proposé une nouvelle méthode (TSFD pour Thermal Stereo Fall Détection) basée sur les correspondances stéréo mais sans calibration et un apprentissage de points au sol. Enfin, pour la surveillance des activités des personnes âgées, nous avons exploré de nombreuses approches basées sur l’apprentissage profond pour classer des activités avec une quantité limitée de données d’apprentissage. Abstract : Nowadays, it is essential to find solutions to detect and prevent the falls of seniors. We proposed a low-cost device based on a pair of thermal sensors. The counterpart of these low-cost sensors is their low resolution (80x60 pixels), low refresh rate, noise, and halo effects. We proposed some approaches to bypass these drawbacks. First, we proposed a calibration method with a grid adapted to the thermal image and a framework ensuring the robustness of the parameters estimation despite the low resolution. Then, for 3D vision, we proposed a threefold sub-pixel stereo matching framework (called ST for Subpixel Thermal): 1) robust features extraction method based on phase congruency, 2) matching of these features in pixel precision, and 3) refined matching in sub-pixel accuracy based on local phase correlation. We also proposed a super-resolution method called Edge Focused Thermal Super-resolution (EFTS), which includes an edge extraction module enforcing the neural networks to focus on the edge in images. After that, for fall detection, we proposed a new method (called TSFD for Thermal Stereo Fall Detection) based on stereo point matching but without calibration and the classification of matches as on the ground or not on the ground. Finally, we explored many approaches to learn activities from a limited amount of data for seniors activity monitoring. | |||