Université de Rennes Multimodal misinformation detection overcoming the training data collection challenge through data generation Détection de désinformation multimodale : surmonter le défi de la collecte de données d'entraînement grâce à la génération de données intelligence artificielleinfoxreprésentation des connaissancestraitement automatique du langage naturelvision par ordinateurmultimodalart numériquegénératif misinformation detectiontraining datagenerative modelscooperative generationgenerative adversarial networksmultimodality Intelligence artificielle Représentation des connaissances Traitement automatique du langage naturel Vision par ordinateur Pour répondre au problème croissant de la désinformation, des outils de vérification automatique de l'information sont nécessaires. Des images étant fréquemment associées à la désinformation, ces modèles doivent être multimodaux. La collecte de suffisamment de données non biaisées nécessaires pour entraîner les modèles est un défi. Dans cette thèse, nous explorons comment les modèles génératifs peuvent être utilisés pour des tâches discriminatives en cas de manque de données. Pour résoudre le problème des récompenses clairsemées des GAN textuels, nous explorons la génération coopérative, où le générateur est guidé par un modèle externe, et nous présentons une méthode originale basée sur le MCTS. Ensuite, nous utilisons la génération coopérative pour créer des explications de modèles boîte noire et réalisons une étude empirique sur la complexité/qualité de différents types de modèles dans le cadre de cette coopération. Enfin, nous explorons l'utilisation de légendes humaines dans l'apprentissage par renforcement d'un modèle de légendage d'images en utilisant des récompenses d'un modèle de recherche cross-modal. Nous concluons en discutant des opportunités et des risques des modèles génératifs dans le contexte de la désinformation et en abordant la question du tatouage numérique. To tackle the growing issue of misinformation, automated fact-check tools are required. Because images are often found within misinformation, these models need to be multimodal. Collecting enough unbiased data to train the models is challenging. In this thesis, we explore how generative models can be used for discriminative tasks when there is a lack of data. To tackle the sparse rewards issue of textual GANs, we explore cooperative generation where the generator is guided by an external model and present a novel method based on the MCTS. We then use cooperative generation to generate explanations of black-box models and conduct an empirical study on the complexity/quality of different types of models in the cooperative setup. Finally, we explore the use of ground truth caption in a reinforcement learning training of an image captioning model using rewards from a cross-modal retriever. We conclude by discussing the opportunities and risks of generative models in the context of misinformation as well as watermarking. Electronic Thesis or DissertationText en application/pdf1 : 17014 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/17871241-7de8-4000-b761-8adfd2a34a4d Chaffin Antoine 1997-09-22 FR 27494054X antoine.chaffin@icloud.com 2023URENS054 http://www.theses.fr/2023URENS054 2023-11-14 Informatique Université de Rennesthesis.degree.grantor_1 26693823X Doctorat non ouiClaveauVincentintervenant_1075988216KijakEwaintervenant_207598640XLoliveDamienintervenant_313017498XGardentClaireintervenant_6034104593FerretOlivierintervenant_4155894498FavreBenoitintervenant_5115288511 MATISSEecoleDoctorale_1 267602553 IRISA partenaireRecherche_1 026386909 ddc:004 ClaveauVincentKijakEwaLoliveDamienFerretOlivierFavreBenoitGardentClaireUniversité de RennesMATISSE IRISA ASCII PDF 17422230