Université de Rennes Video question answering with limited supervision Réponse aux questions vidéo avec supervision limitée compréhension vidéoréponse aux questions vidéoapprentissage multimodal video understandingvideo question answeringmultimodal learning Vidéo numérique Interaction multimodale Apprentissage automatique Le contenu vidéo a considérablement augmenté en volume et en diversité à l'ère numérique, et cette expansion a souligné la nécessité de technologies avancées de compréhension des vidéos. Poussée par cette nécessité, cette thèse explore la compréhension sémantique des vidéos, en exploitant plusieurs modes perceptuels similaires aux processus cognitifs humains et un apprentissage efficace avec une supervision limitée, semblable aux capacités d'apprentissage humain. Cette thèse se concentre spécifiquement sur la réponse aux questions sur les vidéos comme l'une des principales tâches de compréhension vidéo. Notre première contribution traite de la réponse aux questions sur les vidéos à long terme, nécessitant une compréhension du contenu vidéo étendu. Alors que les approches récentes dépendent de sources externes générées par les humains, nous traitons des données brutes pour générer des résumés vidéo. Notre contribution suivante explore la réponse aux questions vidéo en zéro-shot et en few-shot, visant à améliorer l'apprentissage efficace à partir de données limitées. Nous exploitons la connaissance des modèles à grande échelle existants en éliminant les défis d'adaptation des modèles pré-entraînés à des données limitées. Nous démontrons que ces contributions améliorent considérablement les capacités des systèmes de réponse aux questions vidéo multimodaux, où les données étiquetées spécifiquement annotées par l'homme sont limitées ou indisponibles. Video content has significantly increased in volume and diversity in the digital era, and this expansion has highlighted the necessity for advanced video understanding technologies. Driven by this necessity, this thesis explores semantically understanding videos, leveraging multiple perceptual modes similar to human cognitive processes and efficient learning with limited supervision similar to human learning capabilities. This thesis specifically focuses on video question answering as one of the main video understanding tasks. Our first contribution addresses long-range video question answering, requiring an understanding of extended video content. While recent approaches rely on human-generated external sources, we process raw data to generate video summaries. Our following contribution explores zero-shot and few-shot video question answering, aiming to enhance efficient learning from limited data. We leverage the knowledge of existing large-scale models by eliminating challenges in adapting pre-trained models to limited data. We demonstrate that these contributions significantly enhance the capabilities of multimodal video question-answering systems, where specifically human-annotated labeled data is limited or unavailable. Electronic Thesis or DissertationText en application/pdf1 : 6265 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/862dd8a1-d2f7-432a-8ac1-333cbff1f42f Engin Deniz 1991-12-03 TR 280197829 denizengin255@gmail.com 2024URENS016 http://www.theses.fr/2024URENS016 2024-06-11 Signal, image, vision Université de Rennesthesis.degree.grantor_1 26693823X Doctorat non ouiFuronTeddyintervenant_1078044758AvrithisYannisintervenant_2253126193MorinLuceintervenant_5059851171AvrithisYannisintervenant_2253126193SivicJosefintervenant_6193079054AlahariKarteekintervenant_7196283892LaptevIvanintervenant_3CordMatthieuintervenant_4132968126 MATISSEecoleDoctorale_1 267602553 INRIA-RENNES partenaireRecherche_1 133175863 ddc:620 FuronTeddyAvrithisYannisLaptevIvanCordMatthieuMorinLuceSivicJosefAlahariKarteekUniversité de RennesMATISSE INRIA-RENNES ASCII PDF 6415058