L'analyse de scène avec uniquement des caméras visibles est difficile en cas d'éclairage insuffisant ou de mauvais temps. Pour améliorer la fiabilité de la reconnaissance, les systèmes multispectraux introduisent des caméras thermiques supplémentaires et effectuent la détection d'objets à partir de données multispectrales. Bien que le concept d'analyse de scène multispectrale avec apprentissage profond ait un grand potentiel, il n'a pas été étudié en profondeur dans la communauté des chercheurs, ni largement déployé dans le contexte industriel. Dans cette thèse, nous avons étudié trois défis principaux concernant la détection d'objets multispectraux: (1) la détection rapide et précise d'objets d'intérêt à partir d'images ; (2) la fusion dynamique et adaptative d'informations provenant de différentes modalités ; (3) la détection d'objets multispectraux à faible coût et à faible énergie et la réduction de ses efforts d'annotation manuelle. En ce qui concerne le premier défi, nous optimisons d'abord l'attribution des étiquettes de l'entraînement de la détection d'objets en introduisant la stratégie de guidage mutuel entre les tâches de classification et de localisation; nous réalisons ensuite une compression efficace des modèles de détection d'objets en incluant les désaccords de prédiction enseignant-étudiant dans le cadre de distillation des connaissances basé sur les caractéristiques. En ce qui concerne le deuxième défi, trois schémas de fusion de caractéristiques multispectrales différents sont proposés pour traiter les cas de fusion les plus difficiles où différentes caméras fournissent des informations contradictoires. Pour le troisième défi, un nouveau cadre de distillation de modalité est d'abord présenté pour aborder les contraintes matérielles et logicielles des systèmes multispectraux actuels; Ensuite, une stratégie d'apprentissage actif basée sur plusieurs capteurs est conçue pour réduire les coûts d'étiquetage lors de la construction d'ensembles de données multispectrales.