Prédiction computationnelle de la mémorabilité des images : vers une intégration des informations extrinsèques et émotionnelles

La memorabilite des images est un sujet de recherche recent en vision par ordinateur. Les premieres tentatives ont repose sur l’utilisation d’algorithmes d’apprentissage pour inferer le degre de memorabilite d’une image d’un ensemble de caracteristiques de bas niveau. Dans cette these, nous revenons sur les fondements theoriques de la memorabilite des images, en insistant sur les emotions vehiculees par les images, etroitement liees a leur memorabilite. En consideration de cet eclairage theorique, nous proposons d’inscrire la prediction de la memorabilite des images dans un cadre de travail plus large, qui embrasse les informations intrinseques mais egalement extrinseques de l’image, liees a leur contexte de presentation et aux observateurs. En consequence, nous construisons notre propre base de donnees pour l’etude de la memorabilite des images ; elle sera utile pour eprouver les modeles existants, entraines sur l’unique verite terrain disponible jusqu’alors. Nous introduisons ensuite l’apprentissage profond pour la prediction de la memorabilite des images : notre modele obtient les meilleures performances de prediction a ce jour. En vue d’amender ces predictions, nous cherchons alors a modeliser les effets contextuels et individuels sur la memorabilite des images. Dans une derniere partie, nous evaluons la performance de modeles computationnels d’attention visuelle, de plus en plus utilises pour la prediction de la memorabilite, pour des images dont le degre de memorabilite et l’information emotionnelle varient. Nous presentons finalement le film interactif « emotionnel », qui nous permet d’etudier les liens entre emotion et attention visuelle dans les videos.