Segmentation de séquence vidéo en plans cohérents pour compositing 2D

Dans le cadre d’une realisation cinematographique, le projet Previz (FUI 15, www.previz.eu) vise a fournir au realisateur le moyen de previsualiser les effets speciaux en temps reel en cours le tournage. Pour ce faire, il est necessaire d’assurer une coherence entre le virtuel et le reel, et plus particulierement d’accorder les interactions entre les personnages reels et les personnages virtuels. Dans ce cas, il est indispensable, dans le flux video de la camera du realisateur, d’une part de separer le sujet du decor et d’autre part de reconstruire son mouvement. Ce processus est connu pour fonctionner parfaitement en environnement contraint c’est-a-dire en utilisant un fond vert ou au mieux un decor non changeant. Dans ces conditions, on a souvent recours a plusieurs cameras fixes et un eclairage controle pour eviter les brusques variations de luminosites. Nous nous placons dans le cas ou une seule camera filme la scene. Nous n’apposons aucune contrainte sur le mouvement de la camera et il n’est pas connu a priori mais la position de la camera dans l’environnement est calculee en temps reel. Par ailleurs, les conditions de tournage ne permettent pas de faire un apprentissage a priori du decor. Cela amene deux difficultes. D’une part des elements du decor peuvent apparaitre et disparaitre du champ de vision de la camera et, d’autre part, le decor qui est statique apparait en mouvement dans la sequence video. Le travail presente dans ce poster s’attache a separer l’acteur du decor.