| Neural network quantization methods for FPGA on-board processing of satellite images (Méthodes de quantification des réseaux de neurones pour le traitement embarqué d'images satellites sur FPGA) Gernigon, Cédric - (2024-12-18) / Université de Rennes Neural network quantization methods for FPGA on-board processing of satellite images
| |||
Langue : Anglais Directeur(s) de thèse: Sentieys, Olivier Discipline : Informatique Laboratoire : INRIA-RENNES Ecole Doctorale : MATISSE Classification : Informatique Mots-clés : Réseaux de neurones profonds, Précision limitée, Quantification pendant l'entraînement, Optimisation adaptative de la largeur de bits, Petit flottant, Détection de navires, Segmentation sémantique, FPGA
| |||
Résumé : L'apprentissage profond commence à être employé avec succès dans diverses applications spatiales. Cependant, en raison de son empreinte mémoire et de son volume de calcul, la phase d'inférence de nombreux modèles est encore principalement réalisée sur des plateformes terrestres. Des recherches récentes se sont intéressées à la quantification des réseaux de neurones afin de réduire ce volume de calcul et de faciliter le traitement embarqué. Cette thèse étudie la quantification des réseaux de neurones et son impact sur la précision des prédictions des modèles destinés aux accélérateurs FPGA pour les applications spatiales embarquées. Nous introduisons une méthode d'optimisation pour la quantification de nombres entiers uniformes en précision mixte des poids et des activations. Sa caractéristique principale est l'utilisation de largeurs de bits fractionnaires relâchés mises à jour à l'aide d'une règle de descente de gradient, mais par ailleurs discrétisées pour toutes les opérations (lors les calculs progressif et rétrogressif). Nous présentons également une approche performante basée sur la quantification en virgule flottante de faible précision (appelée minifloats). Notre méthode adapte une approche d'entraînement de réseaux de neurones profonds quantifiés, principalement utilisée pour la quantification en nombres entiers/virgule fixe. Enfin, nous avons étudié l'impact des sauts de connexion longs des modèles de segmentation sémantique en forme de U sur la précision des prédictions et mis en évidence leur empreinte mémoire. Abstract : Deep learning is starting to be successfully applied to various space applications. However, due to its memory footprint and computational intensity, inference of many models is still mainly performed on ground platforms. Recent research has focused on neural network quantization to mitigate this computational burden and facilitate on-board processing. This thesis investigates neural network quantization and its impact on model accuracy targeting FPGA accelerators for on-board space applications. We introduce an optimization-based method for mixed-precision uniform quantization of both weights and activations. Its defining characteristic is the use of relaxed fractional bit-widths that are updated using a gradient descent rule but otherwise discretized for all operations (in forward and backward pass computations). We also present an efficient approach based on low-precision floating-point quantization (so-called minifloats). Our method adapts a quantized deep neural network training approach predominantly used for integer/fixed-point-based quantization. Finally, we studied the impact of long skip connections in U-shaped semantic segmentation models on accuracy and highlighted their memory footprint. | |||