L’apprentissage machine est un des domaines les plus importants et les plus actifs dans l’informatique moderne. La plupart des systèmes d’apprentissage machine actuels utilisent encore une architecture essentiellement centralisée. Même si l’application finale doit être délivrée sur de nombreux systèmes, parfois des millions (voire des milliards) d’appareils individuels, le processus d’apprentissage est toujours centralisé dans un centre de calcul. Ce peut être un problème notamment si les données d’apprentissage sont sensibles, comme des conversations privées, des historiques de recherche ou des données médicales. Dans cette thèse, nous nous intéressons au problème de l'apprentissage machine distribué dans sa forme multitâche : une situation dans laquelle différents utilisateurs d'un même système d'apprentissage machine ont des tâches similaires, mais différentes, à apprendre, ce qui correspond à des applications majeures de l'apprentissage machine moderne, comme la reconnaissance de l'écriture ou de la parole. Nous proposons tout d'abord le concept d'un système d'apprentissage machine distribué multitâche pour les réseaux de neurones. Ensuite, nous proposons une méthode permettant d'optimiser automatiquement le processus d'apprentissage en identifiant les tâches les plus similaires. Enfin, nous étudions comment nos propositions correspondent aux intérêts individuels des utilisateurs.