Université de Rennes 1 A perceptual approach to film editing : exploring cinematography through visual attention and computational saliency Une approche perceptuelle de l'édition de film : exploration de la cinématographie par l'attention visuelle et la saillance computationnelle Attention visuellecinématographieoculométrie, saillance visuellecongruence visuelle inter-observateurs Visual attentionmovie editingeye-trackingvisual saliencyinter-observer visual congruency Oculométrie Saillance visuelle Quand nous regardons un film, nous ne traitons pas toute l'information visuelle émise par l'image tout le temps. À la place, nous dirigeons notre attention sur certaines zones de l'écran que nous considérons comme importantes, que ce soit à cause de leurs propriétés visuelles, ou de leur importance sémantique pour la narration du film. Depuis plus de cent ans, les réalisateurs de films ont appris à jouer avec l'attention visuelle de leur public, en utilisant un ensemble varié d'outils et de techniques. Dans cette thèse, nous nous proposons d'explorer les liens entre ces choix cinématographiques du réalisateur et la perception visuelle qu'en a le public. Bien qu'il existe de nombreux modèles de saillance visuelle, prédisant les zones d'attention visuelle d'observateurs sur des vidéos, nous montrons que les prédictions de ces modèles s'avèrent parfois fausses dans le contexte particulier de stimuli cinématographiques. Nous proposons donc un nouveau modèle de saillance visuelle, incluant des caractéristiques de haut niveau concernant les propriétés cinématographiques de l'extrait de film considéré. Enfin, nous proposons une étude de la congruence visuelle inter-observateurs dans ce contexte, ainsi que deux modèles visant à prédire l'intensité de cette congruence, sur des images et des extraits de films. When watching movies, we do not grasp the full image that is displayed at all time. Instead, we focus on several parts of the frame, depending on what we deem relevant, be it for the visual properties of this area or its semantic importance in the narration. With more than a century of cinematographic experience, filmmakers have developed a whole array of tools and techniques to direct the attention of their audience, using cuts, camera motion, staging, and so on. In this work, we propose to explore the links between film editing and the visual perception an audience has of it, using a data-driven approach. While there exists a lot of efficient models predicting where people will look on a video, we found that these models could often be wrong on cinematographic stimuli. We then propose a visual saliency model dedicated to include the high-level information created by the director's editing choices, and we show a significant improvement on cinematic stimuli compared to the state-of-the-art. Finally, we propose two models dedicated to predict the inter-observer visual congruency on both static and dynamic stimuli, with particular care to the case of cinematographic stimuli. Electronic Thesis or DissertationText en application/pdf1 : 33950 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/45936f86-1136-478e-8404-ebaf73a90007 Bruckert Alexandre 1994-06-13 FR 265747880 alexandre.bruckert@gmail.com 2022REN1S026 http://www.theses.fr/2022REN1S026 2022-03-24 Signal, image, vision Universite de Rennes 1thesis.degree.grantor_1 02778715X Doctorat non ouiBouatouchKadiintervenant_1061718297ChristieMarcintervenant_2069153973Le CalletPatrickintervenant_3060370068WuHui-Yinintervenant_4199445559SmithTim J.intervenant_5265748933RiccardoLeonardiintervenant_6098816853BruceNeil D. B.intervenant_7265748747 MATHSTICecoleDoctorale_1 204770424 IRISA partenaireRecherche_1 026386909 ddc:004 BouatouchKadiChristieMarcLe CalletPatrickWuHui-YinSmithTim J.RiccardoLeonardiBruceNeil D. B.Universite de Rennes 1Sciences et technologie, medecine, pharmacie, odontologie, droit, economie, gestion, philosophieMATHSTICÉcole doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) IRISA ASCII PDF 34765027