Performances statistiques d'algorithmes d'apprentissage : "Kernel projection machine" et analyse en composantes principales à noyau

La these se place dans le cadre de l'apprentissage statistique. Elle apporte des contributions a la communaute du machine learning en utilisant des techniques de statistiques modernes basees sur des avancees dans l'etude des processus empiriques. Dans une premiere partie, les proprietes statistiques de l'analyse en composantes principales a noyau (KPCA) sont explorees. Le comportement de l'erreur de reconstruction est etudie avec un point de vue non-asymptotique et des inegalites de concentration des valeurs propres de la matrice de Gram sont donnees. Tous ces resultats impliquent des vitesses de convergence rapides. Des proprietes non-asymptotiques concernant les espaces propres de la KPCA eux-memes sont egalement proposees. Dans une deuxieme partie, un nouvel algorithme de classification a ete concu : la Kernel Projection Machine (KPM). Tout en s'inspirant des Support Vector Machines (SVM), il met en lumiere que la selection d'un espace vectoriel par une methode de reduction de la dimension telle que la KPCA regularise convenablement. Le choix de l'espace vectoriel utilise par la KPM est guide par des etudes statistiques de selection de modele par minimisation penalisee de la perte empirique. Ce principe de regularisation est etroitement relie a la projection fini-dimensionnelle etudiee dans les travaux statistiques de Birge et Massart. Les performances de la KPM et de la SVM sont ensuite comparees sur differents jeux de donnees. Chaque theme aborde dans cette these souleve de nouvelles questions d'ordre theorique et pratique.