Etude empirique de l'usage du geste et de la parole dans une interface multimodale imposant des contraintes d'expression

Les avancees recentes des recherches menees en reconnaissance automatique de la parole et en traitement de la langue naturelle permettent d'envisager le developpement d'interfaces homme-machine multimodales autorisant l'usage du geste 2D et de la parole. Cependant, pour concevoir de telles interfaces, il est necessaire d'etudier comment les futurs utilisateurs mettront en oeuvre ces nouvelles modalites d'interaction. Dans le cadre d'une approche d'ergonomie prospective, nous avons etudie le comportement d'utilisateurs potentiels naifs face a une interface multimodale simulee, imposant des contraintes sur leur expression orale et gestuelle. Ces contraintes sont realistes dans la mesure ou elles definissent un langage de commande interpretable de maniere robuste par les systemes actuels de reconnaissance de la parole et d'analyse du geste. L'etude empirique que nous presentons tente de tester la facilite d'utilisation de ces contraintes (« usability ») par le grand public. La comparaison des donnees empiriques recueillies avec celles provenant d'une etude anterieure de l'usage spontane du geste et de la parole ([3], [9]) montre que la presence de contraintes d'expression est sans influence significative sur l'activite des sujets [14]. D'autre part, les contraintes choisies ont ete dans l'ensemble facilement mises en oeuvre par la majorite des sujets, ce qui valide l'approche que nous avons adoptee pour les definir. Enfin, dans le contexte applicatif choisi, le recours a la multimodalite est limite.