Apprentissage pour la vérification

par Johan Oudinet U 9 mai, 14h00, amphi IP11 En apprentissage supervise, les chercheurs n’ont que peu de donnees pour evaluer les performances de leurs algorithmes d’apprentissage. Ils doivent donc utiliser des heuristiques de test. Mais ces heuristiques, comme leur nom l’indique, peuvent faire des erreurs. Nous evaluerons deux types d’erreurs que ces heuristiques sont susceptibles de commettre : le test trouve qu’il y a une difference significative entre deux algorithmes alors que ce n’est pas le cas (Type I), ou au contraire, le test ne detecte pas la difference existante entre deux algorithmes d’apprentissage (Type II). Nous commencerons par exposer les differentes sources de variabilite qui peuvent induire en erreur une methode de test, puis nous etudierons en detail les performances de differentes heuristiques de test, dans l’objectif de trouver la methode que devraient utiliser les chercheurs pour valider avec certitude les performances de leurs algorithmes. Generation de texte en langage naturel