Cette thèse étudie l’approche multimodale basée sur le traitement de signal sur graphe (TSG) pour intégrer la connectivité cérébrale structurelle et les signaux BOLD, mesurés par l’IRM de diffusion et fonctionnelle, respectivement. Dans une première partie, nous utilisons la théorie des graphes pour extraire les régions cérébrales liées à la dépression. Puis, du point de vue du TSG, nous montrons que l’analyse multimodale apporte une plus grande précision dans la classification d'adolescents anxieux et dépressifs, par rapport aux analyses unimodales. Dans une deuxième partie, nous essayons d’améliorer la localisation du signal à la fois dans le domaine spatial et spectral du graphe. Pour ce faire, nous concevons des paquets d’ondelettes sur graphe afin de créer un nouvel ensemble de transformées qui prennent mieux en compte la structure sous-jacente du graphe. Ensuite, nous exploitons et étendons l’approche Slepian de graphe qui vise à se concentrer sur un ensemble spécifique de nœuds sans exclure le sous-graphe. Nous proposons une décomposition spectrale des signaux BOLD dans des structures cérébrales localisées ainsi qu’une méthode de filtrage permettant d’examiner les patterns d’interactions entre les réseaux cérébraux. Dans une troisième partie, nous développons l’apprentissage sur graphe en utilisant les réseaux de neurones convolutionnels pour intégrer la structure et la fonction.