| Imprimer |
| Learning for new generation video coders : complexity reduction of inter coding for VVC codec (Apprentissage pour l'encodage vidéo nouvelle génération) Liu, Yiqun - (2023-12-11) / Université de Rennes Learning for new generation video coders : complexity reduction of inter coding for VVC codec
| |||
Langue : Anglais Directeur(s) de thèse: Guillemot, Christine; Guionnet, Thomas Discipline : Signal, image, vision Laboratoire : Laboratoire de Traitement du Signal et de l'Image Ecole Doctorale : MATISSE Classification : Sciences de l'ingénieur Mots-clés : VVC, Inter coding, Complexity reduction, CNN, Partitioning
| |||
Résumé : L’encodage vidéo avec le dernier codec Versatile Video Coding (VVC) requiert d’importantes ressources de calcul. Malgré son impact sur le temps d’encodage global, peu d’études portent sur l’accélération de l’encodage inter. Cette thèse se concentre ainsi sur ce sujet, en proposant des approches de partitionnement rapide. Notre première contribution consiste à utiliser un CNN léger pour réduire l’espace de recherche de partitionnement. En estimant la carte de profondeur des décisions de partitionnement QT, ce CNN nous permet d’élaguer l’espace de recherche de l’arbre MT initial. Les expériences montrent que ce travail peut réduire d’un tiers la complexité, pour une perte légère en efficacité de codage. Dans la deuxième partie, nous améliorons la première contribution en proposant une nouvelle structure CNN associé à un algorithme d’accélération. La carte de profondeur QT et les décisions MT sont prédites simultanément, réduisant davantage l’espace de recherche. Le compromis efficacité et accélération d’encodage obtenu surpasse l’état de l’art. Dans la dernière partie, nous proposons une méthode de partitionnement rapide multi-débit pour les scénarios de streaming. Les données collectées à partir d’encodages à bas débits sont exploités pour accélérer les encodages à débits supérieurs. 40% de la complexité est réduite en appliquant notre approche à l’encodeur VVenc, avec une perte raisonnable. Abstract : Video encoding with the latest video codec Versatile Video Coding (VVC) requires significant computational resources. Despite its impact on the overall encoding time, few studies focus on accelerating inter-frame encoding. This thesis, therefore, targets this topic by proposing fast partitioning approaches. Our first contribution involves utilizing a lightweight CNN to reduce the search space of partitioning. By predicting the QT depth map, this CNN allows us to prune the search space of the MT partitions. Experiments show that this work can reduce complexity by a third, with slight coding loss. In the second part, we intend to improve the first contribution by proposing a novel CNN structure associated with an acceleration algorithm. The QT depth map and the MT decisions are predicted simultaneously, further reducing the search space. The trade-off between efficiency and encoding acceleration of our method outperforms the stat of the art. In the final part, we propose a multi-rate fast partitioning process for streaming scenarios. Partition data collected from low-bitrate encodings are leveraged to accelerate high-bitrate encodings. 40% reduction in complexity is achieved by applying our approach to the VVenc encoder, with a reasonable loss. | |||