Fusion multi-niveaux pour l'indexation et la recherche multimédia par le contenu sémantique

Aujourd'hui, l'acces aux documents dans les bases de donnees, d'archives et sur Internet s'effectue principalement grâce a des donnees textuelles : nom de l'image ou mots-cles. Cette recherche est non exempte de fautes plus ou moins graves : omission, orthographe, etc. Les progres effectues dans le domaine de l'analyse d'images et de l'apprentissage automatique permettent d'apporter des solutions comme l'indexation et la recherche a base des caracteristiques telles que la couleur, la forme, la texture, le mouvement, le son et le texte. Ces caracteristiques sont riches en informations et notamment d'un point de vue semantique. Cette these s'inscrit dans le cadre de l'indexation automatique par le contenu semantique des documents multimedia: plans video et images-cles. L'indexation consiste a extraire, representer et organiser efficacement le contenu des documents d'une base de donnees. L'etat de l'art du domaine est confronte au «fosse semantique» qui separe les representations visuelles brutes (bas-niveau) et conceptuelles (haut-niveau). Pour limiter les consequences de cette problematique, nous avons introduit dans le systeme plusieurs types de descripteurs, tout en prenant a notre avantage les avancees scientifiques dans le domaine de l'apprentissage automatique et de la ``fusion multi-niveaux''. En effet, la fusion est utilisee dans le but de combiner des informations heterogenes issues de plusieurs sources afin d'obtenir une information globale, plus complete, de meilleure qualite, permettant de mieux decider et d'agir. Elle peut etre appliquee sur plusieurs niveaux du processus de classification. Dans cette these, nous avons etudie la fusion bas-niveau (precoce), la fusion haut-niveau (tardive), ainsi qu'a un niveau decisionnel base sur l'ontologie et la similarite inter-concepts dit de raisonnement. Les systemes proposes ont ete valides sur les donnees de TRECVid (projet NoE K-Space) et les videos de football issues d'Orange-France Telecom Labs (projet CRE-Fusion). Les resultats revelent l'importance de la fusion sur chaque niveau du processus de classification, en particulier, l'usage de la theorie des evidences.