| Adaptive avatar customization for immersive experiences (Personnalisation adaptative d’avatar pour expériences immersives) Olivier, Nicolas - (2022-03-31) / Universite de Rennes 1 Adaptive avatar customization for immersive experiences
| |||
Langue : Anglais Directeur(s) de thèse: Multon, Franck Discipline : Informatique Laboratoire : INRIA-RENNES Ecole Doctorale : MATHSTIC Classification : Informatique Mots-clés : Transfert de style, personnage virtuel, apprentissage profond, perception, infographie
| |||
Résumé : Dans cette thèse, nous cherchons à réaliser la stylisation des personnages de manière entièrement automatique. Qu'ils soient stylisés ou non, la présence de doubles numériques dans le contenu publié a connu une croissance significative ces dernières décennies, qu'il s'agisse de films, séries télévisées, ou jeux. Avoir un double numérique complet est un concept fortement poussé en avant par des produits commerciaux comme le Metaverse. Il y a un intérêt à disposer d'un personnage stylisé ressemblant à une personne de référence, tout en conservant certaines caractéristiques identitaires essentielles, afin qu'il soit reconnaissable. Cela permet de ne pas perdre la valeur de marque d'un acteur, ou d'augmenter le sentiment d'incarnation, l'intimité avec son double virtuel, et l'interactivité avec les autres dans des environnements partagés. Dans cette thèse, nous avons exploré le sujet de la stylisation des personnages virtuels. Nos objectifs étaient d'aborder le problème de la stylisation automatique des personnages dans le contexte d'une disponibilité élevée ou faible des données, ainsi que le transfert d'expression entre des visages aux morphologies variées. Nous avons présenté une nouvelle méthode pour deux contextes de stylisation de personnages (méthode basée règle, et méthode basée apprentissage) ainsi que des études d'utilisateurs afin d'examiner leurs performances et leurs limites. Nous avons également proposé une nouvelle méthode pour le transfert d'expression entre visages en tenant compte de la morphologie du visage, qui surpasse les méthodes existantes sur plusieurs métriques. La solution à court terme pour une telle stylisation réside dans des méthodes basées sur l'apprentissage exploitant des données 3D, ou même des approches basées sur des règles. A plus long terme, nous pensons que la capacité d'interpréter des données 2D d'une manière consciente de la 3D sera la clef, ces dernières étant beaucoup plus nombreuses et plus faciles à produire. À l'heure actuelle, nous espérons que les solutions proposées dans cette thèse seront utiles pour permettre la génération automatique de personnages stylisés expressifs, ainsi que pour montrer leurs limites, et qu'elles donneront des indications en vue d'une extension à l'ensemble du corps, et à partir de contenu 2D. Abstract : In this thesis, we aim to perform character stylization in a fully automatic manner. Personalizable characters have been present in games for several decades, allowing users to stylize (alter) the appearance of their faces, bodies, or clothes of the character they incarnate or interact with. In the case of movies, with only tens of actors compared to thousands or millions of gamers, personalizing characters does not require automation and can be seen instead as a cost saving factor, since realistic hand crafted personalized embodiments are limited to a few per high budget movies. Stylized or not, digital doubles presence in published content has grown significantly these last decades, from movies, to TV series, and games. The concept of having a whole digital double is a future strongly pushed forward by commercial products such as the Metaverse. As modern day virtual embodiments grow closer and closer to ourselves, and as we reach times where entirely virtual characters can look realistic on screen, there is a growing interest in being able to personnalize your own embodiment. This means that there is a need of a stylized character resembling a reference person, while conserving some core identity features, to let them be recognizable. This allows to not lose the brand value of an actor, or increase the sentiment of embodiment, intimacy as one's virtual double, and interactivity with others in shared environments. In this thesis, we explored the topic of virtual character stylization. Our goals were to address the problem of automatic character stylization in the context of both high and low data availability, as well as expression transfer between faces with varied morphologies. We presented a novel method for both character stylization context along with users studies to examine their performance and limitations, and proposed a novel method for facial morphology aware expression transfer, that beat existing methods on several metrics. While the short term solution to such stylization is in learning-based methods leveraging 3D data, or even rule-based approaches, in the longer run we believe that they ability to interpret 2D data in a 3D aware manner to be key, the latter being vastly more numerous and easier to produce. At present, we hope that the solutions proposed in this thesis will be useful to allow the automatic generation of expressive stylized characters, the limits of current methods, and will give insights towards an extension of it to the whole body, and from 2D content. | |||