Université de Rennes Efficient CNN inference acceleration on FPGAs : a pattern pruning-driven approach Accélération efficace de l'inférence de CNN sur FPGA : une approche basée sur l'élagage des motifs Réseaux neuronaux profondsréseaux neuronaux à convolutionélagageaccélérateuraccélérateur éparsinférencetraitement d'imagesFPGA Deep Neural NetworksConvolution Neural NetworkPruningAcceleratorSparse AcceleratorInferenceImage ProcessingFPGA Réseaux neuronaux (informatique) Réseaux logiques programmables par l'utilisateur Traitement d'images -- Techniques numériques Les modèles d'apprentissage profond basés sur les CNNs offrent des performances de pointe dans les tâches de traitement d'images et de vidéos, en particulier pour l'amélioration ou la classification d'images. Cependant, ces modèles sont lourds en calcul et en empreinte mémoire, ce qui les rend inadaptés aux contraintes de temps réel sur des FPGA embarqués. Il est donc essentiel de compresser ces CNNs et de concevoir des architectures d'accélérateurs pour l'inférence qui intègrent la compression dans une approche de co-conception matérielle et logicielle. Bien que des optimisations logicielles telles que l'élagage aient été proposées, elles manquent souvent de structure nécessaire à une intégration efficace de l'accélérateur. Pour répondre à ces limitations, cette thèse se concentre sur l'accélération des CNNs sur FPGA tout en respectant les contraintes de temps réel sur les systèmes embarqués. Cet objectif est atteint grâce à plusieurs contributions clés. Tout d'abord, elle introduit l'élagage des motifs, qui impose une structure à la sparsité du réseau, permettant une accélération matérielle efficace avec une perte de précision minimale due à la compression. Deuxièmement, un accélérateur pour l'inférence de CNN est présenté, qui adapte son architecture en fonction des critères de performance d'entrée, des spécifications FPGA et de l'architecture du modèle CNN cible. Une méthode efficace d'intégration de l'élagage des motifs dans l'accélérateur et un flux complet pour l'accélération de CNN sont proposés. Enfin, des améliorations de la compression du réseau sont explorées grâce à la quantification de Shift\&Add, qui modifie les méthodes de multiplication sur FPGA tout en maintenant la précision du réseau de base. CNN-based deep learning models provide state-of-the-art performance in image and video processing tasks, particularly for image enhancement or classification. However, these models are computationally and memory-intensive, making them unsuitable for real-time constraints on embedded FPGA systems. As a result, compressing these CNNs and designing accelerator architectures for inference that integrate compression in a hardware-software co-design approach is essential. While software optimizations like pruning have been proposed, they often lack the structured approach needed for effective accelerator integration. To address these limitations, this thesis focuses on accelerating CNNs on FPGAs while complying with real-time constraints on embedded systems. This is achieved through several key contributions. First, it introduces pattern pruning, which imposes structure on network sparsity, enabling efficient hardware acceleration with minimal accuracy loss due to compression. Second, a scalable accelerator for CNN inference is presented, which adapts its architecture based on input performance criteria, FPGA specifications, and target CNN model architecture. An efficient method for integrating pattern pruning within the accelerator and a complete flow for CNN acceleration are proposed. Finally, improvements in network compression are explored through Shift&Add quantization, which modifies FPGA computation methods while maintaining baseline network accuracy. Electronic Thesis or DissertationText en application/pdf1 : 9212 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/47609334-e813-4dc0-8167-fb7b35b3bc18 Pradels Léo 1996-10-13 FR 284052361 leo.pradels@gmail.com 2024URENS087 http://www.theses.fr/2024URENS087 2024-12-19 Informatique Université de Rennesthesis.degree.grantor_1 26693823X Doctorat non ouiChilletDanielintervenant_1109182197PétrotFrédéricintervenant_3108969223ChilletDanielintervenant_1109182197Le CallochThibautintervenant_2284052418ZaourarLiliaintervenant_4230168329FilipSilviu-Ioanintervenant_5197081525KummMartinintervenant_6278728197BosioAlbertointervenant_7174383592 MATISSEecoleDoctorale_1 267602553 INRIA-RENNES partenaireRecherche_1 133175863 ddc:004 ChilletDanielLe CallochThibautPétrotFrédéricZaourarLiliaFilipSilviu-IoanKummMartinBosioAlbertoUniversité de RennesMATISSE INRIA-RENNES ASCII PDF 9432642