|
Système de capteurs de mouvement dans la salle d’acquisition multimodale : un modèle lit à voix haute le texte qui s’affiche sur l’écran ; les caméras autour de l’écran captent les mouvements de sa bouche et du visage ; le caméscope au-dessus permet une capture vidéo classique.
Le projet Dynalips a pour objectif d'animer une tête parlante réaliste (realistic lip synchronization for 3D animated characters) : grâce à l’IA et au deep learning, on enregistre une voix que la tête parlante prononcera en s’animant automatiquement. L'objectif est que le son soit parfaitement synchrone avec les mouvements du visage.
Les acquisitions peuvent s'étaler sur plusieurs jours ; un masque, imprimé en 3D à partir d’un scan du visage de chaque modèle humain, permet de noter les points pour poser les marqueurs sur le modèle afin qu'ils soient toujours au même endroit. On pose jusqu’à 68 capteurs réfléchissants répartis sur l'ensemble du visage (principalement la partie inférieure du visage autour de la bouche, mais également les yeux, les sourcils...)
|
