Université de Rennes 1 Search-based and supervised text generation La génération de texte basée recherche et supervisée encodeur-décodeurtriplets RDFgénération de paraphrasestransformerméthode basée rechercherecherche dans un arbrebertgptdistillation encoder-decoderRDF tripleparaphrase generationtransformersearch-based methodtree searchbertgptdistillation Apprentissage supervisé (intelligence artificielle) Ressource Description Framework (informatique) Les modèles supervisés encodeurs-décodeurs nécessitent de grands datasets alignés pour être entraînés. Les données nécessaires ne sont pas encore disponibles pour plusieurs tâches telles que la verbalisation de triplets RDF ou la génération de paraphrases. D'abord, nous avons exploré la tâche de verbalisation de triplets RDF. Nous avons entraîné des modèles Transformers sur une nouvelle version des données WebNLG et avons étudié plusieurs stratégies de pré-entraînement pour surmonter la petite taille du corpus. Ensuite, nous avons étudié la tâche de génération de paraphrases. Nous avons entraîné des modèles Transformers sur des corpus alignés afin de les comparer directement avec les modèles de la littérature. Une contribution importante de la thèse a été de proposer un cadre expérimental uniforme pour comparer les modèles encodeurs-décodeurs pour la génération de paraphrases. Nous avons également suivi la voie des méthodes alternatives basées recherche pour générer des paraphrases. Pour ce faire, nous avons transformé la tâche de génération de paraphrases en un problème de recherche dans un arbre. Nous avons ensuite développé deux stratégies de recherche: MCPG et PTS et un module de score des paraphrases qui exploite le BERT score, GPT2 et la distance de Levenshtein. Enfin, nous avons mené des expériences de distillation avec le modèle Transformer. In this thesis, we studied the topic of Search-Based and Supervised Text Generation. Supervised encoder-decoder models require huge aligned datasets to be trained. The necessary data is not yet available for several tasks such as RDF triples verbalization or paraphrase generation. First, we explored the data-to-text task of RDF verbalization. We trained supervised Transformer models on a newly released version of the WebNLG dataset and studied in depth several pre-training strategies to overcome the small size of the aligned corpus. Then, we studied the paraphrase generation task. We have trained Transformer models on aligned corpora to directly compare with the literature model. An important contribution of the thesis was to propose a uniform experimental framework for comparing encoder-decoder models for paraphrase generation. We also followed the path of search-based alternative strategies to generate paraphrases. The main motivation was to provide better control of the generated paraphrase. To do so, we casted the paraphrase generation tasks as a tree-search problem. We then developed two search strategies MCPG, and PTS and a paraphrase scoring module that leverages the BERT score, GPT2, and the Levenshtein distance. Finally, we conducted experiments of data distillation for the Transformer model. Electronic Thesis or DissertationText fr application/pdf1 : 6192 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/a919d31e-dcf3-420e-80f5-8b49c97accf0 Fabre Betty 1996-03-03 FR 269315624 fabre.betty@gmail.com 2022REN1S099 http://www.theses.fr/2022REN1S099 2022-09-16 Informatique Université de Rennes 1thesis.degree.grantor_1 02778715X Doctorat non ouiLoliveDamienintervenant_113017498XUrvoyTanguyintervenant_207442419XCheveluJonathanintervenant_3156873885SébillotPascaleintervenant_4075988453CerisaraChristopheintervenant_5102700168KelleherJohn D.intervenant_6193181347RiezlerStefanintervenant_7269315691 MATHSTICecoleDoctorale_1 204770424 IRISA partenaireRecherche_1 026386909 ddc:004 LoliveDamienUrvoyTanguyCheveluJonathanSébillotPascaleCerisaraChristopheKelleherJohn D.RiezlerStefanUniversité de Rennes 1MATHSTICÉcole doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) IRISA ASCII PDF 6340892