3D の顔に表情を付ける:51 種類の表情、既製クリップ、そして自分のカメラ

「表情アニメーション」で、作った頭部がまばたきし、笑い、話すキャラクターになるまで:写真から話す胸像までの実例、内部で行われる 5 つのステップ、Web カメラやスマホで使う「ライブ表情」、ファイルの中身、そして正直な限界。

Wandy3Dチーム8分で読めます

ただ前を見つめているだけの 3D の頭部は、キャラクターとしてはまだ半分です。「表情アニメーション」を使うと、Wandy3D で作った頭部がまばたきし、笑い、眉をひそめ、話せるようになります。モデル自身のメッシュとテクスチャはそのままに、動く目、歯と口の中、標準の ARKit 名が付いた表情シェイプ 51 個、既製クリップ 11 個が加わります。「ライブ表情」なら、Web カメラやスマホを通して、あなた自身の顔でモデルを動かせます。以下では、写真から話す頭部ができるまでの実例を 1 つ取り上げ、内部で何が起きているか、そして何が手に入るかを紹介します。

この記事の頭部が 5 つのクリップを再生しているところです:Smile、Surprise、Wink、Talk、Laugh。ビューアーに表示されるのと同じファイルからレンダリングしており、修正は一切加えていません。

この記事の頭部で試す

下にあるのは、表情付きバージョンそのものの 3D 表示です。クリップをタップすると再生でき、「51 シェイプ」を開くと表情を 1 つずつ動かせます。「カメラ」を選んでいろいろな表情をしてみると、頭部があなたのまねをします。カメラの映像はお使いの端末の中で処理され、外部に送られることはありません。

この記事の表情付き 3D 胸像

13 MB の 3D モデルを読み込みます。カメラは、オンにするまでオフのままです。

実例:写真から話す頭部まで

実在する人の顔は見せたくなかったので、この例の人物は実在しません。ポートレートは、短い説明をもとに画像生成 AI が作ったもので、白い背景に黒い T シャツ姿のひげの男性が、口を閉じてカメラを見ています。そこから先は、ほかのユーザーとまったく同じ流れです:

  1. 写真から 3D モデルへ。ポートレートを「作成」にアップロードし、標準のモデルバージョン Wandy 2 で生成しました。テクスチャ付きの胸像は約 2 分でできあがりました。
  2. 表情アニメーション。「作成」→「アニメ」で「表情を付ける」を押しました(このボタンはモデルページにもあります)。クレジットの消費は 1 回だけで、表情を付けられなかった場合は自動で返還されます。
  3. 新しいバージョン。43 秒後、胸像に 2 つ目のバージョン「表情付き」ができ、ステージに「表情」パネルが表示されました。元のモデルはそのまま残ります。43 秒で済んだのは処理サーバーがすでに起動していたためで、通常は 3〜6 分かかります。
AI で生成したひげの男性のポートレート、そこから作った 3D 胸像、表情アニメーションの後にほほえむ同じ胸像
左から、生成したポートレート、そこから作った Wandy 2 の胸像、表情アニメーションの後にほほえむ同じ胸像。

内部の仕組み:5 つのステップ

1. 顔を見つける

モデルを 7 つの角度からレンダリングします。正面、左右それぞれ 25° と 45°、そして上下から 15° です。顔のトラッキングで、それぞれの画像から目、唇、眉、鼻、あごの輪郭にあたる 478 個の点を見つけます。ある角度から見えない点は除き、残りを 3D で統合します。同じステップで、そもそも表情を付けられる顔かどうかも確かめます。条件は、人間の顔であること、目が開いていること、唇が閉じていることです。

3D 胸像を 4 つの角度から見た画像と、それぞれで顔のトラッキングが見つけた 478 個の顔の点
7 つの角度のうち 4 つと、それぞれで見つかった 478 個の点。

2. 顔のテンプレートを合わせる

アニメーションには、そのために作られた顔が必要です。まぶたの折り目がどこにあり、唇がどう開き、あごがどう動くかを知っている顔です。そこで使うのが、そうした顔のテンプレートです。肌、眼球、歯、歯ぐき、舌、口の中がそろい、ARKit の表情ごとにシェイプを 1 つずつ持っています。まず比率を頭部に合わせ、次に点を 1 つずつモデルの表面に引き寄せます。この頭部では、テンプレートの点の半分が表面から 0.21 mm 以内、90% が 0.65 mm 以内に収まりました。

合わせる前の顔のテンプレート、この顔に合わせたテンプレート、3D 胸像に重ねたテンプレート
最初の状態のテンプレート(左)、この顔に合わせたもの(中央)、モデルに重ねたもの(右)。

3. 表情をモデル自体に移す

テンプレートがあなたのモデルと入れ替わることはありません。顔の各点は、合わせたテンプレートのいちばん近い点に追従します。そのため頭部は自分のメッシュ、テクスチャ、顔立ちをそのまま保ち、動く能力だけが加わります。唇は合わさる線に沿って切り離すので、肌を裂かずに口を開けられます。ひげはその下の肌と一緒に動き、頭髪、耳、首、服は動きません。この胸像では、181,262 個の点のうち 67,176 個、つまり 37% が動きます。

胸像のヒートマップ:顔、ひげ、あごはオレンジと赤、髪、耳、首、T シャツはグレー
51 の表情全体で、胸像の各部分がどれだけ動くか。グレーはまったく動かず、オレンジがかった赤がいちばん大きく動きます。

4. 目と口の中

描かれただけの目はまばたきも視線の移動もできないので、それができる眼球に置き換えます。虹彩の色はモデル自身の目から取ります。歯、歯ぐき、舌、口の中は唇の奥に配置し、光が届かないところに陰影を付けます。こうして、開いた口は穴ではなく、ちゃんと口に見えます。

追加した眼球、歯、歯ぐき、舌を単体で見た画像と、口を開けて横を見る胸像
追加したパーツ単体(左)と、取り付けた状態:開いた口と横向きの視線。

5. クリップとファイル

最後に、11 個のクリップをファイルに書き込みます:Idle(呼吸とまばたき、ループ再生)、Blink、Smile、Laugh、Surprise、Angry、Sad、Wink、Kiss、Look Around、Talk。結果は新しいバージョンとして保存されます。元のモデルのファイルに表情シェイプとクリップを加えたもので、ダウンロード用が 45 MB、ビューアーに読み込まれるコピーが 13 MB です。

クリップごとに 1 つずつ、11 の表情を見せる胸像とクリップ名
11 個のクリップそれぞれの、表情がいちばん強く出た瞬間。

標準の名前が付いた 51 の表情

それぞれの表情は 1 つのシェイプ(ブレンドシェイプ、Blender ではシェイプキー)として保存されています。たとえば、あごを開けた状態の同じ顔です。0 から 1 の値で混ぜる量を決め、シェイプをどう組み合わせても新しい表情になります。クリップとは、それらの値が時間とともに変化するものにすぎません。51 のシェイプには Apple の ARKit が顔のトラッキングで使う名前が付いていて、多くのツールがこの名前を理解します:

顔の部位シェイプ数例
目14eyeBlinkLeft, eyeLookOutRight, eyeWideLeft
眉5browInnerUp, browDownLeft
あご4jawOpen, jawLeft
口23mouthSmileLeft, mouthPucker, mouthFunnel
頬と鼻5cheekPuff, noseSneerLeft

ARKit にはもう 1 つ tongueOut がありますが、欠けているのはそれだけです。名前が標準なので、このファイルはモーフターゲットが使える場所ならどこでも使えます。Blender、Unity、Unreal、three.js などです。ARKit の名前で記録するフェイスキャプチャーのデータも、そのまま 1 対 1 で当てはまります。

顔のクローズアップ 12 枚。それぞれ 1 つの表情シェイプを最大の強さで示し、ARKit 名を添えたもの
51 のシェイプのうち 12 個を、それぞれ最大の強さで、ARKit 名とともに。

ライブ表情:あなたの顔でモデルが動く

表情付きバージョンがステージにある場所なら、「作成」でも、モデルページでも、ライブラリでも、「ライブ表情」が見つかります。「カメラをオン」を押すと、次のように進みます:

  1. キャリブレーション。初回は、顔の力を抜いて少しのあいだ画面を見るよう案内されます。そのときの自然な顔が、すべての表情のゼロ点になります。
  2. ライブ。顔のトラッキングがカメラのフレームごとに 52 個の値を読み取り、モデルがすぐにそれを再現します。デフォルトでは鏡に映ったあなたのように動き(「ミラー」)、胸像や頭部はあなたの頭に合わせて向きを変えます。全身のフィギュアはその場から動きません。「その他の設定」では、なめらかさと表情の強さを変えられます。
  3. 録画。「クリップを録る」で演じた内容を新しいアニメーションとして保存でき、「このクリップ入りの GLB をダウンロード」で、そのテイクが入ったモデルを受け取れます。「動画を録る」はステージを撮影します。必要に応じて、マイクの音声と、隅に映るカメラの映像も入れられます。
ここでの「カメラ」は、実在しない人物を AI で生成した写真を次々に映したものです。頭部は、サイトと同じ顔のトラッキングとコードで、その写真を 1 枚ずつ読み取っています。

顔のトラッキングは Wandy3D が用意したファイル(約 10 MB、ダウンロードは初回のみ)を使ってブラウザの中で動き、カメラの映像がアップロードされることはありません。正直に言うと、限界が 1 つあります。Web カメラの顔のトラッキングでは、頬のふくらみ、鼻のしわ、あごの横の動き、口角の下がりを測れないため、ライブ中はこれらのシェイプが動きません。クリップとスライダーでは、これらも使われます。

5 組の画像:表情を作った生成人物の Web カメラ写真と、同じ表情を見せる 3D 胸像
カメラの映像と、そのときモデルがライブで見せた表情:ほほえみ、驚き、ウインク、しかめ面、振り向き。

スマホをカメラに

Web カメラがないときや、動き回りながら使いたいときは、ライブ表情の横にある「スマホのカメラ」を押して QR コードを読み取ります。ログインもアプリも不要でスマホにページが開き、顔のトラッキングはスマホ自体が行います。パソコンに届くのは 52 個の表情の値と頭の向きだけで、映像は届きません。両方が同じ Wi-Fi にあれば直接、そうでなければ Wandy3D のサーバー経由で届きます。サーバーは中継するだけで、何も保存しません。コードは、スマホが接続するまで 10 分間有効です。

得られるもの

バージョンモデルの新しいバージョン「表情付き」。元のモデルはそのまま残り、表情付きバージョンはもう一度開いても無料です。
表情ARKit 名が付いた 51 のシェイプ
クリップ11 個:Idle(ループ)、Blink、Smile、Laugh、Surprise、Angry、Sad、Wink、Kiss、Look Around、Talk
目と口向きを変え、まばたきする眼球。歯、歯ぐき、舌、口の中
ファイルGLB:モデル自身のメッシュとテクスチャ、シェイプ、クリップ
ライブ表情あなたのテイクを GLB の追加クリップとして、さらにステージの動画も
表情を付けられない場合クレジットは自動で返還されます

うまくいくコツ

  • 頭部か胸像がいちばん向いています。全身のフィギュアでも使えますが、ライブではあなたの頭に合わせて向きを変えません。
  • 顔はカメラに向け、口を閉じ、目を開けて。歯を見せた笑顔や少し開いた唇には、表情を付けられません。唇をきれいに切り離すには、閉じている必要があります。
  • 人間の顔であること。比率が人間なら、リアルでもイラスト調でもかまいません。モンスターや動物には表情を付けられません。
  • 編集は先に、表情は最後に。元のモデルをリテクスチャーまたは編集してから、その結果に表情を付けてください。リメッシュすると表情が失われます。
  • 顔を隠さないこと。頭髪や服は動きませんが、ひげは動きます。口元にある手やスマホは、あごと一緒に動いてしまいます。

顔に表情を付けられない場合(顔が見つからない、口が開いている、目が閉じている、比率が人間から離れすぎている、顔が小さすぎる)は、処理が止まり、クレジットは自動で返還されます。

よくある質問

どのくらい時間がかかりますか?

処理サーバーの待ち時間を含めて、通常 3〜6 分です。この例が 43 秒で済んだのは、処理サーバーがすでに起動していたからです。そのあいだにページを閉じてもかまいません。処理は続き、新しいバージョンはライブラリに表示されます。

何クレジットかかりますか?

モデルごとに決まった数のクレジットです。開始前に「表情を付ける」ボタンに表示され、消費は 1 回だけです。表情付きバージョンをもう一度開く、クリップを再生する、ライブ表情を使う、はいずれも無料です。

カメラの映像は録画やアップロードされますか?

いいえ。顔のトラッキングはお使いの端末の中で動き、録画はダウンロードするまでブラウザのタブの中にだけ残ります。スマホのカメラでも、送られるのは数値だけで、映像は送られません。

ファイルはゲームエンジンや Blender で使えますか?

はい。そのバージョンを GLB でダウンロードしてください。Blender では、表情は ARKit 名付きのシェイプキーとして読み込まれます。glTF を読み込めるエンジンでは、表情はブレンドシェイプ(モーフターゲット)として、クリップはアニメーションとして読み込まれます。

カートゥーン調のキャラクターでも使えますか?

顔が人間の比率なら使えます。イラスト調の人間の頭部なら大丈夫です。モンスターや動物など、人間からかけ離れた顔には表情を付けられず、クレジットは返還されます。

歯を見せて笑っている顔にも表情を付けられますか?

今のところできません。モデルの口は閉じている必要があります。穏やかな表情で口を閉じた頭部を作ってください。笑顔はアニメーションが付けてくれます。