Université de Rennes Neural network quantization methods for FPGA on-board processing of satellite images Méthodes de quantification des réseaux de neurones pour le traitement embarqué d'images satellites sur FPGA Réseaux de neurones profondsPrécision limitéeQuantification pendant l'entraînementOptimisation adaptative de la largeur de bitsPetit flottantDétection de naviresSegmentation sémantiqueFPGA Deep neural networksReduced precisionQuantization aware trainingAdaptive bit-width optimizationMinifloatShip detectionSemantic segmentationFPGA Réseaux neuronaux (informatique) Apprentissage profond Imagerie satellitaire Réseaux logiques programmables par l'utilisateur L'apprentissage profond commence à être employé avec succès dans diverses applications spatiales. Cependant, en raison de son empreinte mémoire et de son volume de calcul, la phase d'inférence de nombreux modèles est encore principalement réalisée sur des plateformes terrestres. Des recherches récentes se sont intéressées à la quantification des réseaux de neurones afin de réduire ce volume de calcul et de faciliter le traitement embarqué. Cette thèse étudie la quantification des réseaux de neurones et son impact sur la précision des prédictions des modèles destinés aux accélérateurs FPGA pour les applications spatiales embarquées. Nous introduisons une méthode d'optimisation pour la quantification de nombres entiers uniformes en précision mixte des poids et des activations. Sa caractéristique principale est l'utilisation de largeurs de bits fractionnaires relâchés mises à jour à l'aide d'une règle de descente de gradient, mais par ailleurs discrétisées pour toutes les opérations (lors les calculs progressif et rétrogressif). Nous présentons également une approche performante basée sur la quantification en virgule flottante de faible précision (appelée minifloats). Notre méthode adapte une approche d'entraînement de réseaux de neurones profonds quantifiés, principalement utilisée pour la quantification en nombres entiers/virgule fixe. Enfin, nous avons étudié l'impact des sauts de connexion longs des modèles de segmentation sémantique en forme de U sur la précision des prédictions et mis en évidence leur empreinte mémoire. Deep learning is starting to be successfully applied to various space applications. However, due to its memory footprint and computational intensity, inference of many models is still mainly performed on ground platforms. Recent research has focused on neural network quantization to mitigate this computational burden and facilitate on-board processing. This thesis investigates neural network quantization and its impact on model accuracy targeting FPGA accelerators for on-board space applications. We introduce an optimization-based method for mixed-precision uniform quantization of both weights and activations. Its defining characteristic is the use of relaxed fractional bit-widths that are updated using a gradient descent rule but otherwise discretized for all operations (in forward and backward pass computations). We also present an efficient approach based on low-precision floating-point quantization (so-called minifloats). Our method adapts a quantized deep neural network training approach predominantly used for integer/fixed-point-based quantization. Finally, we studied the impact of long skip connections in U-shaped semantic segmentation models on accuracy and highlighted their memory footprint. Electronic Thesis or DissertationText en application/pdf1 : 13972 Kohttps://ged.univ-rennes1.fr/nuxeo/site/esupversions/7810be56-fee4-42fb-b300-32258d8ef1c6 Gernigon Cédric 1996-03-16 fr 285911481 cedric.gernigon-contact@mailo.bzh 2024URENS122 http://www.theses.fr/2024URENS122 2024-12-18 Informatique Université de Rennesthesis.degree.grantor_1 26693823X Doctorat non ouiSentieysOlivierintervenant_1061585920MénardDanielintervenant_2069860505SentieysOlivierintervenant_1061585920PouliTaniaintervenant_3181533065TermierAlexandreintervenant_413741689XFilipSilviu-Ioanintervenant_7197081525PopoviciEmanuelintervenant_828593726XNovoDavidintervenant_5244276455DinechinFlorent deintervenant_6060154012 MATISSEecoleDoctorale_1 267602553 INRIA-RENNES partenaireRecherche_1 133175863 ddc:004 SentieysOlivierMénardDanielPouliTaniaTermierAlexandreNovoDavidDinechinFlorent deFilipSilviu-IoanPopoviciEmanuelUniversité de RennesMATISSE INRIA-RENNES ASCII PDF 14307557