Contenu du cours :
Introduction à l’inférence bayésienne, probabilité conditionnelle et théorème de Bayes
Inférence asymptotique, entropie d’une distribution, entropie croisée, distribution a posteriori, divergence de Kullback-Leibler, non-pertinence de la distribution a priori, entropie d’un processus de Poisson
Information et entropie de Shannon, information mutuelle, principe du maximum d’entropie
Analyse en composantes principales, directions les plus informatives et composantes principales ; transition de phase de l’apprentissage retardé
Partitionnement (clustering), ACP en ligne
Régularisation par a priori et parcimonie, a priori pour les régressions aux moindres carrés, validation croisée pour la force optimale de l’a priori
Inférence graphique : reconstruction de réseaux pour des variables gaussiennes multivariées, modèle d’Ising et modèle d’Ising inverse, pseudo-vraisemblance, apprentissage de machines de Boltzmann, inférence en champ moyen, inférence des couplages à partir de données neuronales
Apprentissage non supervisé : auto-encodeurs, machines de Boltzmann restreintes ; fonctions d’activation linéaires et non linéaires, représentations
Classification par réseau de neurones et algorithme d’apprentissage du perceptron, réseaux de neurones multicouches
Modèles de Markov et modèles de Markov cachés