Animasikan wajah 3D: 51 ekspresi, klip siap pakai, dan kamera Anda sendiri

Cara “Animasi wajah” mengubah kepala buatan Anda menjadi karakter yang berkedip, tersenyum, dan berbicara: contoh nyata dari foto sampai patung dada yang bisa bicara, apa yang terjadi di baliknya dalam lima langkah, “Wajah live” dengan webcam atau ponsel, isi file-nya, dan batasannya secara jujur.

Tim Wandy3D8 menit baca

Kepala 3D yang hanya bisa menatap baru setengah karakter. Animasi wajah mengajari kepala yang Anda buat di Wandy3D untuk berkedip, tersenyum, mengernyit, dan berbicara. Model tetap memakai mesh dan teksturnya sendiri, lalu mendapat mata yang bisa bergerak, gigi dan bagian dalam mulut, 51 bentuk ekspresi dengan nama standar ARKit, serta 11 klip siap pakai. Dengan Wajah live, wajah Anda sendiri yang menggerakkannya lewat webcam atau ponsel. Di bawah ini: satu contoh nyata dari foto sampai kepala yang bisa bicara, apa yang terjadi di baliknya, dan apa yang Anda dapatkan.

Kepala dari artikel ini memutar lima klipnya: Smile, Surprise, Wink, Talk, dan Laugh. Dirender dari file yang sama dengan yang ditampilkan di penampil, tanpa diedit sama sekali.

Coba langsung pada kepala dari artikel ini

Di bawah ini adalah versi beranimasi itu sendiri, dalam bentuk 3D. Ketuk sebuah klip untuk memutarnya, buka 51 bentuk untuk menggerakkan setiap ekspresi satu per satu, atau pilih Kamera dan pasang ekspresi apa saja — kepala itu akan menirukan Anda. Gambar kamera diproses di perangkat Anda dan tidak pernah dikirim ke mana pun.

Patung dada 3D beranimasi dari artikel ini

Memuat model 3D berukuran 13 MB. Kamera tetap mati sampai Anda menyalakannya.

Contohnya: dari foto sampai kepala yang bisa bicara

Kami tidak ingin menampilkan wajah asli siapa pun, jadi orang dalam contoh ini tidak benar-benar ada: potretnya dibuat oleh AI pembuat gambar dari deskripsi singkat — pria berjanggut berkaus hitam dengan latar putih, menatap kamera dengan mulut tertutup. Dari situ, semuanya berjalan persis seperti yang dialami setiap pengguna:

  1. Model 3D dari foto. Potret itu kami unggah di bagian Buat dengan versi Wandy bawaan, Wandy 2. Patung dada bertekstur sudah siap dalam sekitar dua menit.
  2. Animasi wajah. Di bagian Buat → Animasi, kami menekan Animasikan wajah (tombol ini juga ada di halaman model). Kreditnya dipotong sekali dan otomatis dikembalikan jika wajah tidak bisa dianimasikan.
  3. Versi baru. Setelah 43 detik, patung dada itu punya versi kedua, Wajah beranimasi, dengan panel Ekspresi di viewport. Model aslinya tetap seperti semula. Saat itu server pemroses kami sudah menyala; biasanya prosesnya memakan waktu 3–6 menit.
Potret hasil AI seorang pria berjanggut, patung dada 3D yang dibuat darinya, dan patung dada yang sama sedang tersenyum setelah Animasi wajah
Dari kiri ke kanan: potret hasil AI, patung dada Wandy 2 yang dibuat darinya, dan patung dada yang sama setelah Animasi wajah, sedang tersenyum.

Apa yang terjadi di baliknya, dalam lima langkah

1. Menemukan wajah

Model dirender dari tujuh sudut — lurus dari depan, 25° dan 45° ke tiap sisi, serta 15° dari atas dan dari bawah — lalu pelacak wajah menemukan 478 titik di setiap gambar: kontur mata, bibir, alis, hidung, dan rahang. Titik yang tidak terlihat dari suatu sudut dibuang, dan sisanya digabungkan dalam 3D. Langkah yang sama juga memeriksa apakah wajahnya memang bisa dianimasikan: wajah manusia, mata terbuka, bibir tertutup.

Empat sudut patung dada 3D dengan 478 titik wajah yang ditemukan pelacak pada tiap sudut
Empat dari tujuh sudut, dengan 478 titik yang ditemukan pelacak pada tiap sudut.

2. Mencocokkan templat wajah

Animasi butuh wajah yang memang dirancang untuk itu: wajah yang tahu di mana kelopak mata melipat, bagaimana bibir terbuka, dan bagaimana rahang berayun. Kami memakai templat wajah seperti itu — kulit, bola mata, gigi, gusi, lidah, dan bagian dalam mulut, dengan satu bentuk untuk setiap ekspresi ARKit. Pertama, proporsinya disesuaikan dengan kepala, lalu templat ditarik titik demi titik ke permukaan model. Pada kepala ini, separuh titik templat berada dalam jarak 0,21 mm dari permukaan, dan 90% dalam jarak 0,65 mm.

Templat wajah sebelum dicocokkan, setelah dicocokkan dengan wajah ini, dan saat ditumpangkan di atas patung dada 3D
Templat dalam bentuk awalnya (kiri), setelah dicocokkan dengan wajah ini (tengah), dan ditumpangkan di atas model (kanan).

3. Memindahkan ekspresi ke model itu sendiri

Templat tidak pernah menggantikan model Anda. Setiap titik wajah mengikuti titik terdekat pada templat yang sudah dicocokkan, sehingga kepala tetap memakai mesh dan teksturnya sendiri, tetap mirip seperti aslinya, dan hanya mendapat tambahan kemampuan untuk bergerak. Bibir dibelah di sepanjang garis pertemuannya, sehingga mulut bisa terbuka tanpa merobek kulit. Janggut ikut bergerak bersama kulit di bawahnya, sedangkan rambut di kepala, telinga, leher, dan pakaian tetap diam. Pada patung dada ini, 67.176 dari 181.262 titiknya bergerak — 37%.

Peta panas pada patung dada: wajah, janggut, dan rahang berwarna oranye dan merah; rambut, telinga, leher, dan kaus berwarna abu-abu
Seberapa banyak tiap bagian patung dada bergerak di seluruh 51 ekspresi: abu-abu tidak pernah bergerak, oranye-merah paling banyak bergerak.

4. Mata dan bagian dalam mulut

Mata yang hanya dilukis tidak bisa berkedip atau melirik ke sana kemari, jadi mata itu diganti dengan bola mata yang bisa, dengan warna iris yang diambil dari mata model itu sendiri. Gigi, gusi, lidah, dan bagian dalam mulut diletakkan di balik bibir dan diberi bayangan di bagian yang tidak terkena cahaya, sehingga mulut yang terbuka tetap terlihat seperti mulut, bukan lubang.

Bola mata, gigi, gusi, dan lidah tambahan secara terpisah, serta patung dada dengan mulut terbuka dan pandangan ke samping
Bagian tambahan secara terpisah (kiri), lalu di tempatnya: mulut terbuka dan pandangan ke samping.

5. Klip dan file

Terakhir, 11 klip ditulis ke dalam file: Idle (bernapas dan berkedip, diputar berulang), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, dan Talk. Hasilnya disimpan sebagai versi baru: file model asli yang dilengkapi bentuk ekspresi dan klip — 45 MB untuk diunduh, serta salinan 13 MB yang dimuat di penampil.

Patung dada dalam sebelas ekspresi, satu untuk tiap klip, lengkap dengan nama klipnya
Ke-11 klip, masing-masing pada momen puncaknya.

51 ekspresi dengan nama standar

Setiap ekspresi disimpan sebagai sebuah bentuk (blend shape, atau shape key di Blender): wajah yang sama, tetapi misalnya dengan rahang terbuka. Nilai dari 0 sampai 1 menentukan seberapa kuat bentuk itu dicampurkan, dan campuran bentuk apa pun menghasilkan ekspresi baru — klip hanyalah nilai-nilai itu yang berubah seiring waktu. Ke-51 bentuk ini memakai nama yang digunakan pelacakan wajah ARKit dari Apple, yang dikenali banyak aplikasi:

Bagian wajahBentukContoh
Mata14eyeBlinkLeft, eyeLookOutRight, eyeWideLeft
Alis5browInnerUp, browDownLeft
Rahang4jawOpen, jawLeft
Mulut23mouthSmileLeft, mouthPucker, mouthFunnel
Pipi dan hidung5cheekPuff, noseSneerLeft

ARKit punya satu lagi, tongueOut; hanya itu yang tidak ada. Karena namanya standar, file ini bisa dipakai di mana pun morph target didukung — Blender, Unity, Unreal, three.js — dan data face capture yang merekam nama ARKit langsung cocok dengan file ini, satu nama untuk satu bentuk.

Dua belas tampilan close-up wajah, masing-masing menampilkan satu bentuk ekspresi dengan kekuatan penuh beserta nama ARKit-nya
Dua belas dari 51 bentuk, masing-masing dengan kekuatan penuh, beserta nama ARKit-nya.

Wajah live: wajah Anda menggerakkan model

Di mana pun versi beranimasi tampil di viewport — di Buat, di halaman model, atau di pustaka Anda — Anda akan menemukan Wajah live. Tekan Nyalakan kamera, lalu:

  1. Kalibrasi. Saat pertama kali, Anda diminta merilekskan wajah dan melihat ke layar sejenak. Wajah netral itu menjadi titik nol untuk setiap ekspresi.
  2. Live. Pelacak wajah membaca 52 nilai dari setiap frame kamera, dan model langsung menampilkannya. Secara bawaan, model bergerak seperti bayangan cermin Anda (Cermin), dan patung dada atau kepala ikut berputar mengikuti kepala Anda; figur utuh tetap di tempat. Di Pengaturan lainnya ada penghalusan dan kekuatan ekspresi.
  3. Rekaman. Rekam klip menyimpan apa yang Anda peragakan sebagai animasi baru, dan Unduh GLB dengan klip ini memberi Anda model dengan rekaman Anda di dalamnya. Rekam video merekam viewport, lengkap dengan suara mikrofon dan gambar kamera Anda di pojok jika Anda mau.
Di sini, “kamera”-nya adalah serangkaian foto hasil AI dari orang yang tidak benar-benar ada, ditampilkan bergantian; kepala membaca setiap foto dengan pelacak wajah dan kode yang sama seperti di situs.

Pelacakan wajah berjalan di browser Anda dengan file milik kami sendiri (sekitar 10 MB, diunduh sekali saja), dan gambar kamera tidak pernah diunggah. Satu batasan, terus terang saja: pelacakan wajah lewat webcam tidak mengukur pipi yang menggembung, hidung yang mengerut, rahang yang bergeser ke samping, atau sudut mulut yang turun, jadi dalam mode live bentuk-bentuk itu tetap diam. Klip dan penggeser tetap memakainya.

Lima pasang: foto webcam orang hasil AI yang sedang berekspresi, dan patung dada 3D yang menampilkan ekspresi yang sama
Gambar kamera dan apa yang ditampilkan model secara live: senyuman, wajah terkejut, kedipan sebelah mata, dahi berkerut, dan kepala yang menoleh.

Ponsel sebagai kamera

Tidak punya webcam, atau ingin bebas bergerak? Tekan Kamera ponsel di sebelah Wajah live, lalu pindai kode QR-nya. Halamannya terbuka di ponsel tanpa perlu masuk akun dan tanpa aplikasi, dan ponsel melakukan pelacakan wajahnya sendiri. Yang dikirim ke komputer hanya 52 nilai ekspresi dan putaran kepala Anda, tidak pernah videonya. Data itu dikirim langsung jika kedua perangkat terhubung ke Wi-Fi yang sama, atau lewat server kami, yang hanya meneruskannya tanpa menyimpan apa pun. Kodenya berlaku 10 menit sampai ada ponsel yang terhubung.

Yang Anda dapatkan

VersiVersi baru dari model Anda, Wajah beranimasi. Versi aslinya tetap seperti semula; membuka versi beranimasi lagi gratis.
Ekspresi51 bentuk dengan nama ARKit
Klip11: Idle (berulang), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, Talk
Mata dan mulutBola mata yang bisa melirik dan berkedip; gigi, gusi, lidah, dan bagian dalam mulut
FileGLB: mesh dan tekstur milik model itu sendiri, bentuk ekspresi, dan klip
Wajah liveRekaman Anda sebagai klip tambahan di GLB, serta video viewport
Jika tidak bisa dianimasikanKredit dikembalikan otomatis

Agar hasilnya bagus

  • Kepala atau patung dada paling cocok. Figur utuh juga bisa, tetapi dalam mode live figur itu tidak ikut berputar mengikuti kepala Anda.
  • Wajah menghadap kamera, mulut tertutup, mata terbuka. Senyum lebar yang memperlihatkan gigi atau bibir yang sedikit terbuka akan ditolak: bibir harus tertutup agar bisa dibelah dengan rapi.
  • Wajah manusia. Realistis atau bergaya kartun tidak masalah, asalkan proporsinya proporsi manusia; monster atau hewan akan ditolak.
  • Edit dulu, animasikan terakhir. Ganti tekstur atau edit model aslinya, lalu animasikan hasilnya; remesh akan menghapus ekspresinya.
  • Jangan tutupi wajah. Rambut di kepala dan pakaian tidak bergerak, janggut bergerak. Tangan atau ponsel yang dipegang di depan mulut akan ikut bergerak bersama rahang.

Jika wajah tidak bisa dianimasikan — wajah tidak ditemukan, mulut terbuka, mata tertutup, proporsinya terlalu jauh dari manusia, atau wajahnya terlalu kecil — proses dihentikan dan kredit kembali dengan sendirinya.

Tanya jawab

Berapa lama prosesnya?

Biasanya 3–6 menit, termasuk waktu menunggu server pemroses; contoh kami hanya butuh 43 detik karena servernya sudah menyala. Anda boleh menutup halaman sementara itu: prosesnya tetap berjalan, dan versi barunya akan muncul di pustaka Anda.

Berapa biayanya?

Sejumlah kredit tetap per model, tertera di tombol Animasikan wajah sebelum Anda mulai, dan dipotong sekali. Membuka versi beranimasi lagi, memutar klipnya, dan memakai Wajah live tidak dikenai biaya.

Apakah kamera saya direkam atau diunggah?

Tidak. Pelacakan wajah berjalan di perangkat Anda, dan rekaman tetap ada di tab browser Anda sampai Anda mengunduhnya. Dengan kamera ponsel, yang dikirim hanya angka, gambarnya tidak pernah.

Bisakah file-nya dipakai di game engine atau Blender?

Bisa, unduh versinya sebagai GLB. Blender mengimpor ekspresi sebagai shape key dengan nama ARKit-nya; engine yang bisa mengimpor glTF membacanya sebagai blend shape (morph target), dan klipnya sebagai animasi.

Apakah bisa untuk karakter kartun?

Bisa, asalkan wajahnya berproporsi manusia: kepala manusia bergaya kartun tetap bisa. Wajah yang terlalu jauh dari manusia — monster, hewan — akan ditolak, dan kreditnya dikembalikan.

Bisakah saya menganimasikan wajah yang tersenyum sampai giginya terlihat?

Belum bisa: mulut pada model harus tertutup. Buat kepala dengan wajah tenang dan mulut tertutup — senyumnya akan datang dari animasi.