Animer un visage 3D : 51 expressions, des clips prêts à l’emploi et votre propre caméra

Comment « Animer le visage » transforme une tête que vous avez créée en personnage qui cligne des yeux, sourit et parle : un exemple réel, de la photo au buste qui parle, ce qui se passe à l’intérieur en cinq étapes, « Visage en direct » avec une webcam ou un téléphone, le contenu du fichier et les limites, en toute franchise.

L’équipe Wandy3D8 min de lecture

Une tête 3D qui ne fait que fixer le vide n’est qu’un demi-personnage. Animer le visage apprend à une tête que vous avez créée dans Wandy3D à cligner des yeux, sourire, froncer les sourcils et parler. Le modèle garde son propre maillage et sa texture, et reçoit des yeux qui bougent, des dents et l’intérieur d’une bouche, 51 formes d’expression aux noms ARKit standard et 11 clips prêts à l’emploi. Avec Visage en direct, votre propre visage anime le modèle, via une webcam ou votre téléphone. Ci-dessous : un exemple réel, de la photo à la tête qui parle, ce qui se passe à l’intérieur et ce que vous obtenez.

La tête de cet article joue cinq de ses clips : Smile, Surprise, Wink, Talk et Laugh. La vidéo est rendue à partir du fichier même qu’affiche la visionneuse, sans aucune retouche.

Essayez sur la tête de cet article

Ci-dessous, la version animée elle-même, en 3D. Touchez un clip pour le lancer, ouvrez 51 formes pour faire bouger chaque expression séparément, ou choisissez Caméra et faites des grimaces : la tête vous imite. L’image de la caméra est traitée sur votre appareil et n’en sort jamais.

Le buste 3D animé de cet article

Un modèle 3D de 13 Mo sera chargé. La caméra reste éteinte tant que vous ne l’activez pas.

L’exemple : de la photo à la tête qui parle

Nous ne voulions pas montrer un vrai visage : l’homme de cet exemple n’existe donc pas. Son portrait a été créé par une IA d’images à partir d’une courte description (un homme barbu en t-shirt noir sur fond blanc, qui regarde l’objectif, bouche fermée). Ensuite, tout s’est déroulé exactement comme pour n’importe quel utilisateur :

  1. Un modèle 3D à partir de la photo. Nous avons importé le portrait dans Créer, avec la version Wandy par défaut, Wandy 2. Le buste texturé était prêt en deux minutes environ.
  2. Animer le visage. Dans Créer → Animer (l’outil est aussi sur la page du modèle), nous avons appuyé sur Animer le visage. Les crédits sont débités une seule fois et remboursés automatiquement si le visage ne peut pas être animé.
  3. Une nouvelle version. 43 secondes plus tard, le buste avait une deuxième version, Visage animé, avec un panneau Expressions sur la scène. Le modèle d’origine reste tel quel. Notre serveur tournait déjà ; en temps normal, comptez 3 à 6 minutes.
Un portrait généré d’homme barbu, le buste 3D créé à partir de ce portrait et le même buste souriant après « Animer le visage »
De gauche à droite : le portrait généré, le buste Wandy 2 créé à partir de celui-ci et le même buste après « Animer le visage », souriant.

Ce qui se passe à l’intérieur, en cinq étapes

1. Trouver le visage

Le modèle est rendu sous sept angles (de face, à 25° et 45° de chaque côté, et à 15° en plongée et en contre-plongée), et le suivi du visage repère 478 points sur chaque image : les contours des yeux, des lèvres, des sourcils, du nez et de la mâchoire. Les points qu’une vue ne voit pas sont écartés, et les autres sont combinés en 3D. La même étape vérifie que le visage peut bien être animé : un visage humain, les yeux ouverts, les lèvres fermées.

Quatre vues du buste 3D avec les 478 points faciaux repérés sur chacune par le suivi du visage
Quatre des sept vues, avec les 478 points repérés sur chacune par le suivi du visage.

2. Ajuster un gabarit de visage

Pour animer, il faut un visage conçu pour cela : un visage qui sait où se plient les paupières, comment s’écartent les lèvres et comment pivote la mâchoire. Nous utilisons un gabarit de visage de ce type (peau, globes oculaires, dents, gencives, langue et intérieur de la bouche), avec une forme pour chaque expression ARKit. On ajuste d’abord ses proportions à la tête, puis on le plaque point par point sur la surface du modèle. Sur cette tête, la moitié de ses points se sont retrouvés à moins de 0,21 mm de la surface, et 90 % à moins de 0,65 mm.

Le gabarit de visage avant l’ajustement, ajusté à ce visage, puis posé sur le buste 3D
Le gabarit au départ (à gauche), ajusté à ce visage (au centre) et posé sur le modèle (à droite).

3. Transférer les expressions sur le modèle lui-même

Le gabarit ne remplace jamais votre modèle. Chaque point du visage suit le point le plus proche du gabarit ajusté : la tête garde ainsi son propre maillage, sa texture et sa ressemblance, et gagne seulement la capacité de bouger. Les lèvres sont découpées le long de la ligne où elles se rejoignent, pour que la bouche puisse s’ouvrir sans déchirer la peau. La barbe bouge avec la peau en dessous, tandis que les cheveux, les oreilles, le cou et les vêtements restent immobiles. Sur ce buste, 67 176 de ses 181 262 points bougent, soit 37 %.

Une carte thermique sur le buste : le visage, la barbe et la mâchoire en orange et rouge, les cheveux, les oreilles, le cou et le t-shirt en gris
L’amplitude de mouvement de chaque partie du buste sur l’ensemble des 51 expressions : le gris ne bouge jamais, le rouge orangé bouge le plus.

4. Les yeux et l’intérieur de la bouche

Des yeux peints ne peuvent ni cligner ni regarder autour d’eux : ils sont donc remplacés par des globes oculaires qui le peuvent, avec la couleur de l’iris reprise des yeux du modèle. Des dents, des gencives, une langue et l’intérieur de la bouche sont placés derrière les lèvres et ombrés là où la lumière ne parviendrait pas, pour qu’une bouche ouverte ressemble à une bouche, et non à un trou.

Les globes oculaires, les dents, les gencives et la langue ajoutés, seuls, puis le buste bouche ouverte, le regard de côté
Les parties ajoutées seules (à gauche), puis en place : une bouche ouverte et un regard de côté.

5. Les clips et le fichier

Enfin, 11 clips sont écrits dans le fichier : Idle (respiration et clignements, en boucle), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around et Talk. Le résultat est enregistré dans une nouvelle version : le fichier du modèle d’origine, complété par les formes d’expression et les clips, soit 45 Mo à télécharger, plus une copie de 13 Mo chargée en streaming dans la visionneuse.

Le buste dans onze expressions, une par clip, avec le nom des clips
Chacun des 11 clips à son moment le plus intense.

51 expressions aux noms standard

Chaque expression est stockée comme une forme (blend shape, ou shape key dans Blender) : le même visage avec, par exemple, la mâchoire ouverte. Une valeur de 0 à 1 règle son intensité, et n’importe quel mélange de formes crée une nouvelle expression : un clip, ce n’est rien d’autre que ces valeurs qui changent au fil du temps. Les 51 formes portent les noms qu’utilise le suivi du visage d’Apple ARKit, et que de nombreux outils comprennent :

Partie du visageFormesExemples
Yeux14eyeBlinkLeft, eyeLookOutRight, eyeWideLeft
Sourcils5browInnerUp, browDownLeft
Mâchoire4jawOpen, jawLeft
Bouche23mouthSmileLeft, mouthPucker, mouthFunnel
Joues et nez5cheekPuff, noseSneerLeft

ARKit en compte une de plus, tongueOut : c’est la seule qui manque. Comme les noms sont standard, le fichier fonctionne partout où les morph targets fonctionnent (Blender, Unity, Unreal, three.js), et une capture faciale qui enregistre des noms ARKit s’y applique directement, nom pour nom.

Douze gros plans du visage, chacun montrant une forme d’expression à pleine intensité avec son nom ARKit
Douze des 51 formes, chacune à pleine intensité, avec son nom ARKit.

Visage en direct : votre visage anime le modèle

Partout où une version animée est sur la scène (dans Créer, sur la page du modèle ou dans votre bibliothèque), vous trouverez Visage en direct. Appuyez sur Activer la caméra, puis :

  1. Calibration. La première fois, on vous demande de détendre votre visage et de regarder l’écran un instant. Ce visage neutre devient le point zéro de toutes les expressions.
  2. En direct. Le suivi du visage lit 52 valeurs dans chaque image de la caméra, et le modèle les affiche aussitôt. Par défaut, il bouge comme votre reflet (Miroir), et un buste ou une tête tourne avec votre tête ; un personnage en pied reste immobile. Plus de réglages propose le lissage et l’intensité des expressions.
  3. Enregistrement. Enregistrer un clip transforme ce que vous jouez en nouvelle animation, et Télécharger le GLB avec ce clip vous donne le modèle avec votre enregistrement à l’intérieur. Enregistrer une vidéo filme la scène, avec votre micro et l’image de votre caméra dans un coin si vous le souhaitez.
Ici, la « caméra » est une série de photos générées d’une personne qui n’existe pas, affichées l’une après l’autre ; la tête lit chacune avec le même suivi du visage et le même code que le site.

Le suivi du visage fonctionne dans votre navigateur à partir de nos propres fichiers (environ 10 Mo, téléchargés une seule fois), et l’image de la caméra n’est jamais envoyée. Une limite, en toute honnêteté : le suivi du visage par webcam ne mesure ni les joues gonflées, ni le nez froncé, ni la mâchoire de côté, ni les coins de la bouche qui s’abaissent ; en direct, ces formes restent donc immobiles. Les clips et les curseurs, eux, les utilisent toujours.

Cinq paires : la photo webcam d’une personne générée avec une expression, et le buste 3D qui montre la même expression
L’image de la caméra et ce que le modèle a montré en direct : un sourire, de la surprise, un clin d’œil, un froncement de sourcils et une rotation de la tête.

Votre téléphone comme caméra

Pas de webcam, ou envie de bouger librement ? Appuyez sur Caméra du téléphone, à côté de Visage en direct, et scannez le QR code. La page s’ouvre sur le téléphone sans connexion ni application, et le téléphone fait lui-même le suivi du visage. Seules les 52 valeurs d’expression et l’orientation de votre tête parviennent à l’ordinateur, jamais la vidéo : directement si les deux appareils sont sur le même Wi-Fi, sinon via notre serveur, qui se contente de les transmettre et ne stocke rien. Le code reste valable 10 minutes, le temps qu’un téléphone se connecte.

Ce que vous obtenez

VersionUne nouvelle version de votre modèle, Visage animé. L’original reste tel quel ; rouvrir la version animée est gratuit.
Expressions51 formes aux noms ARKit
Clips11 : Idle (en boucle), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, Talk
Yeux et boucheDes globes oculaires qui tournent et clignent ; dents, gencives, langue et intérieur de la bouche
FichierGLB : le maillage et la texture propres au modèle, les formes et les clips
Visage en directVos enregistrements sous forme de clips supplémentaires dans le GLB, et des vidéos de la scène
Si l’animation est impossibleLes crédits sont restitués automatiquement

Pour un bon résultat

  • Une tête ou un buste, c’est l’idéal. Un personnage en pied fonctionne aussi, mais en direct il ne tourne pas avec votre tête.
  • Le visage regarde l’objectif, la bouche est fermée, les yeux sont ouverts. Un sourire qui montre les dents ou des lèvres entrouvertes sont refusés : les lèvres doivent être fermées pour être découpées proprement.
  • Un visage humain. Réaliste ou stylisé, peu importe, tant que les proportions sont humaines ; un monstre ou un animal est refusé.
  • D’abord les retouches, l’animation en dernier. Retexturez ou retouchez l’original, puis animez le résultat ; un remaillage ferait perdre les expressions.
  • Dégagez le visage. Les cheveux et les vêtements ne bougent pas, la barbe si. Une main ou un téléphone tenu devant la bouche bouge avec la mâchoire.

Si un visage ne peut pas être animé (aucun visage trouvé, bouche ouverte, yeux fermés, proportions trop éloignées de celles d’un humain ou visage trop petit), la tâche s’arrête et les crédits sont restitués d’eux-mêmes.

Questions

Combien de temps faut-il ?

En général 3 à 6 minutes, attente d’un serveur comprise ; notre exemple a pris 43 secondes parce que le serveur tournait déjà. Vous pouvez fermer la page entre-temps : la tâche continue, et la nouvelle version apparaît dans votre bibliothèque.

Combien ça coûte ?

Un nombre fixe de crédits par modèle, affiché sur le bouton Animer le visage avant le lancement et débité une seule fois. Rouvrir la version animée, lire ses clips et utiliser Visage en direct ne coûte rien.

Ma caméra est-elle enregistrée ou envoyée ?

Non. Le suivi du visage fonctionne sur votre appareil, et les enregistrements restent dans l’onglet de votre navigateur jusqu’à ce que vous les téléchargiez. Avec la caméra du téléphone, seuls des nombres transitent, jamais l’image.

Puis-je utiliser le fichier dans un moteur de jeu ou dans Blender ?

Oui, téléchargez la version en GLB. Blender importe les expressions comme shape keys avec leurs noms ARKit ; les moteurs qui importent le glTF les lisent comme des blend shapes (morph targets), et les clips comme des animations.

Est-ce que ça marche avec des personnages de dessin animé ?

Si le visage a des proportions humaines, oui : une tête humaine stylisée fonctionne. Un visage trop éloigné de l’humain, comme un monstre ou un animal, est refusé, et les crédits sont restitués.

Puis-je animer un visage qui sourit en montrant les dents ?

Pas encore : la bouche doit être fermée sur le modèle. Créez la tête avec un visage calme et la bouche fermée ; le sourire viendra de l’animation.