Thổi hồn cho khuôn mặt 3D: 51 biểu cảm, clip có sẵn và camera của chính bạn

Cách “Tạo biểu cảm” biến cái đầu bạn làm ra thành một nhân vật biết chớp mắt, mỉm cười và nói chuyện: một ví dụ thật từ ảnh chụp đến tượng bán thân biết nói, năm bước diễn ra bên trong, “Khuôn mặt trực tiếp” với webcam hoặc điện thoại, tệp chứa những gì và những giới hạn thật sự.

Đội ngũ Wandy3D8 phút đọc

Một cái đầu 3D chỉ biết nhìn chằm chằm thì mới là một nửa nhân vật. Tạo biểu cảm giúp cái đầu bạn làm trong Wandy3D biết chớp mắt, mỉm cười, cau mày và nói chuyện. Mô hình vẫn giữ lưới và texture của chính nó, đồng thời có thêm đôi mắt biết chuyển động, răng và khoang miệng, 51 hình dạng biểu cảm mang tên chuẩn ARKit cùng 11 clip có sẵn. Với Khuôn mặt trực tiếp, chính khuôn mặt bạn điều khiển mô hình qua webcam hoặc điện thoại. Bên dưới là một ví dụ thật từ ảnh chụp đến cái đầu biết nói, những gì diễn ra bên trong và những gì bạn nhận được.

Cái đầu trong bài viết này phát năm clip của nó: Smile, Surprise, Wink, Talk và Laugh. Được render từ đúng tệp mà trình xem hiển thị, không chỉnh sửa gì.

Thử ngay trên cái đầu trong bài viết này

Bên dưới chính là phiên bản có biểu cảm, ở dạng 3D. Chạm vào một clip để phát, mở 51 hình dạng để điều chỉnh riêng từng biểu cảm, hoặc chọn Camera rồi thử làm đủ kiểu mặt — cái đầu sẽ bắt chước bạn. Hình ảnh từ camera được xử lý ngay trên thiết bị của bạn và không bao giờ rời khỏi máy.

Tượng bán thân 3D có biểu cảm từ bài viết này

Sẽ tải một mô hình 3D 13 MB. Camera chỉ bật khi bạn tự bật nó.

Ví dụ: từ ảnh chụp đến cái đầu biết nói

Chúng tôi không muốn dùng khuôn mặt thật của bất kỳ ai, nên người trong ví dụ này không có thật: bức chân dung được một AI tạo ảnh vẽ ra từ một đoạn mô tả ngắn — một người đàn ông để râu, mặc áo thun đen trên nền trắng, nhìn vào ống kính và ngậm miệng. Từ đó, mọi thứ diễn ra đúng như với bất kỳ người dùng nào:

  1. Mô hình 3D từ ảnh. Bức chân dung được đưa vào mục Tạo với phiên bản Wandy mặc định là Wandy 2. Khoảng hai phút sau, tượng bán thân có texture đã sẵn sàng.
  2. Tạo biểu cảm. Trong mục Tạo → Hoạt ảnh, chúng tôi nhấn Tạo biểu cảm (nút này cũng có trên trang mô hình). Tín dụng chỉ bị trừ một lần và được tự động hoàn lại nếu không thể tạo biểu cảm cho khuôn mặt.
  3. Phiên bản mới. 43 giây sau, tượng bán thân có thêm phiên bản thứ hai mang tên Có biểu cảm, kèm bảng Biểu cảm trong khung xem. Mô hình gốc vẫn giữ nguyên. Lúc đó máy chủ xử lý của chúng tôi đã chạy sẵn; thông thường quá trình này mất 3–6 phút.
Bức chân dung do AI tạo của một người đàn ông để râu, tượng bán thân 3D làm từ bức ảnh đó và chính tượng ấy đang mỉm cười sau khi dùng Tạo biểu cảm
Từ trái sang phải: bức chân dung do AI tạo, tượng bán thân Wandy 2 làm từ bức ảnh đó và chính tượng ấy sau khi dùng Tạo biểu cảm, đang mỉm cười.

Bên trong diễn ra những gì: năm bước

1. Tìm khuôn mặt

Mô hình được render từ bảy góc: chính diện, 25° và 45° về mỗi bên, 15° từ trên xuống và từ dưới lên. Trên mỗi ảnh, công cụ theo dõi khuôn mặt tìm ra 478 điểm: đường viền của mắt, môi, lông mày, mũi và hàm. Điểm nào không nhìn thấy được từ một góc sẽ bị loại bỏ, phần còn lại được ghép lại trong không gian 3D. Cũng ở bước này, hệ thống kiểm tra xem khuôn mặt có tạo biểu cảm được hay không: phải là khuôn mặt người, mắt mở, môi khép.

Bốn góc nhìn của tượng bán thân 3D với 478 điểm trên khuôn mặt mà công cụ theo dõi tìm được ở mỗi góc
Bốn trong bảy góc nhìn, cùng 478 điểm mà công cụ theo dõi tìm được ở mỗi góc.

2. Khớp khuôn mặt mẫu

Để làm hoạt ảnh, cần một khuôn mặt được dựng riêng cho việc đó: biết mí mắt gập ở đâu, môi hé ra thế nào và hàm đóng mở ra sao. Chúng tôi dùng một khuôn mặt mẫu như vậy — da, nhãn cầu, răng, nướu, lưỡi và khoang miệng, cùng một hình dạng cho mỗi biểu cảm ARKit. Trước tiên, tỷ lệ của khuôn mặt mẫu được chỉnh cho khớp với cái đầu, sau đó nó được kéo áp lên bề mặt mô hình theo từng điểm một. Trên cái đầu này, một nửa số điểm của khuôn mặt mẫu nằm cách bề mặt không quá 0,21 mm, và 90% không quá 0,65 mm.

Khuôn mặt mẫu trước khi khớp, sau khi khớp với khuôn mặt này và khi đặt chồng lên tượng bán thân 3D
Khuôn mặt mẫu ở trạng thái ban đầu (trái), sau khi khớp với khuôn mặt này (giữa) và đặt chồng lên mô hình (phải).

3. Chuyển biểu cảm sang chính mô hình

Khuôn mặt mẫu không bao giờ thay thế mô hình của bạn. Mỗi điểm trên khuôn mặt đi theo điểm gần nhất của khuôn mặt mẫu đã khớp, nên cái đầu vẫn giữ nguyên lưới, texture và diện mạo của chính nó, chỉ có thêm khả năng chuyển động. Đôi môi được tách ra dọc theo đường khép miệng, để miệng mở được mà không làm rách da. Râu chuyển động cùng phần da bên dưới, còn tóc trên đầu, tai, cổ và quần áo thì đứng yên. Trên tượng bán thân này, 67.176 trong số 181.262 điểm có chuyển động, tức 37%.

Bản đồ nhiệt trên tượng bán thân: khuôn mặt, râu và hàm màu cam và đỏ; tóc, tai, cổ và áo thun màu xám
Mức chuyển động của từng phần trên tượng bán thân qua cả 51 biểu cảm: màu xám không bao giờ chuyển động, màu cam đỏ chuyển động nhiều nhất.

4. Mắt và khoang miệng

Đôi mắt chỉ được vẽ lên thì không thể chớp hay đảo nhìn xung quanh, nên chúng được thay bằng nhãn cầu làm được việc đó, với màu mống mắt lấy từ chính đôi mắt của mô hình. Răng, nướu, lưỡi và khoang miệng được đặt sau đôi môi và đổ bóng ở những chỗ ánh sáng không chạm tới, để miệng khi mở trông giống một cái miệng chứ không phải một cái lỗ.

Nhãn cầu, răng, nướu và lưỡi được thêm vào khi đứng riêng, và tượng bán thân với miệng mở cùng ánh nhìn sang bên
Các phần được thêm vào khi đứng riêng (trái) và khi đã vào vị trí: miệng mở và ánh nhìn sang bên.

5. Clip và tệp

Cuối cùng, 11 clip được ghi vào tệp: Idle (thở và chớp mắt, phát lặp lại), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around và Talk. Kết quả được lưu thành phiên bản mới: tệp của mô hình gốc có thêm các hình dạng biểu cảm và clip — bản tải xuống nặng 45 MB, kèm một bản sao 13 MB để tải vào trình xem.

Tượng bán thân với mười một biểu cảm, mỗi biểu cảm ứng với một clip, kèm tên clip
Cả 11 clip, mỗi clip ở khoảnh khắc biểu cảm mạnh nhất.

51 biểu cảm với tên chuẩn

Mỗi biểu cảm được lưu dưới dạng một hình dạng (blend shape, hay shape key trong Blender): vẫn khuôn mặt đó, nhưng chẳng hạn hàm đang mở. Một giá trị từ 0 đến 1 quyết định mức pha trộn của nó, và bất kỳ tổ hợp hình dạng nào cũng tạo ra một biểu cảm mới — một clip đơn giản là các giá trị đó thay đổi theo thời gian. 51 hình dạng mang đúng những cái tên mà tính năng theo dõi khuôn mặt ARKit của Apple sử dụng, vốn được nhiều công cụ nhận biết:

Phần khuôn mặtHình dạngVí dụ
Mắt14eyeBlinkLeft, eyeLookOutRight, eyeWideLeft
Lông mày5browInnerUp, browDownLeft
Hàm4jawOpen, jawLeft
Miệng23mouthSmileLeft, mouthPucker, mouthFunnel
Má và mũi5cheekPuff, noseSneerLeft

ARKit còn một hình dạng nữa là tongueOut, và đó là cái duy nhất còn thiếu. Vì tên gọi là chuẩn, tệp dùng được ở mọi nơi hỗ trợ morph target — Blender, Unity, Unreal, three.js — và dữ liệu ghi hình khuôn mặt (face capture) theo tên ARKit sẽ khớp với tệp theo đúng từng tên một.

Mười hai cận cảnh khuôn mặt, mỗi ảnh là một hình dạng biểu cảm ở mức tối đa kèm tên ARKit
Mười hai trong số 51 hình dạng, mỗi hình ở mức tối đa, kèm tên ARKit.

Khuôn mặt trực tiếp: khuôn mặt bạn điều khiển mô hình

Ở bất cứ đâu có phiên bản có biểu cảm trong khung xem — trong mục Tạo, trên trang mô hình hay trong thư viện — bạn sẽ thấy Khuôn mặt trực tiếp. Nhấn Bật camera, rồi:

  1. Hiệu chỉnh. Lần đầu tiên, bạn sẽ được nhắc thả lỏng khuôn mặt và nhìn vào màn hình trong giây lát. Khuôn mặt trung tính đó trở thành điểm 0 của mọi biểu cảm.
  2. Trực tiếp. Công cụ theo dõi khuôn mặt đọc 52 giá trị từ mỗi khung hình của camera, và mô hình hiển thị chúng ngay lập tức. Theo mặc định, mô hình chuyển động như hình phản chiếu của bạn (Lật gương), còn tượng bán thân hoặc cái đầu sẽ xoay theo đầu bạn; mô hình toàn thân thì đứng yên. Trong Thêm cài đặt có các tùy chọn làm mượt và độ mạnh biểu cảm.
  3. Ghi lại. Ghi clip lưu những gì bạn diễn thành một hoạt ảnh mới, còn Tải xuống GLB kèm clip này cho bạn mô hình có sẵn đoạn diễn đó bên trong. Quay video quay lại khung xem, kèm micro và hình từ camera của bạn ở góc nếu bạn muốn.
Ở đây, “camera” là một loạt ảnh do AI tạo về một người không có thật, hiện lần lượt từng ảnh; cái đầu đọc từng ảnh bằng đúng công cụ theo dõi khuôn mặt và mã nguồn như trên trang web.

Tính năng theo dõi khuôn mặt chạy ngay trong trình duyệt của bạn bằng các tệp của chính chúng tôi (khoảng 10 MB, chỉ tải một lần), và hình ảnh từ camera không bao giờ được tải lên. Nói thẳng một giới hạn: theo dõi khuôn mặt qua webcam không đo được má phồng, mũi nhăn, hàm lệch sang bên hay khóe miệng trễ xuống, nên ở chế độ trực tiếp các hình dạng đó đứng yên. Clip và thanh trượt vẫn dùng chúng.

Năm cặp ảnh: ảnh webcam của một người do AI tạo đang thể hiện một biểu cảm, và tượng bán thân 3D thể hiện đúng biểu cảm đó
Hình từ camera và những gì mô hình hiển thị trực tiếp: mỉm cười, ngạc nhiên, nháy mắt, cau mày và quay đầu.

Dùng điện thoại làm camera

Không có webcam, hoặc muốn di chuyển thoải mái? Nhấn Camera điện thoại bên cạnh Khuôn mặt trực tiếp rồi quét mã QR. Trang sẽ mở trên điện thoại mà không cần đăng nhập hay cài ứng dụng, và điện thoại tự theo dõi khuôn mặt. Chỉ có 52 giá trị biểu cảm và góc xoay đầu của bạn được gửi tới máy tính, video thì không bao giờ: gửi trực tiếp nếu hai thiết bị dùng chung mạng Wi-Fi, còn không thì qua máy chủ của chúng tôi, vốn chỉ chuyển tiếp và không lưu gì cả. Mã có hiệu lực trong 10 phút, cho đến khi có điện thoại kết nối.

Bạn nhận được gì

Phiên bảnMột phiên bản mới của mô hình, mang tên Có biểu cảm. Bản gốc vẫn giữ nguyên; mở lại phiên bản có biểu cảm hoàn toàn miễn phí.
Biểu cảm51 hình dạng với tên ARKit
Clip11: Idle (phát lặp lại), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, Talk
Mắt và miệngNhãn cầu biết đảo và chớp; răng, nướu, lưỡi và khoang miệng
TệpGLB: lưới và texture của chính mô hình, các hình dạng và các clip
Khuôn mặt trực tiếpCác đoạn bạn diễn thành clip bổ sung trong GLB, cùng video khung xem
Nếu không tạo được biểu cảmTín dụng được hoàn lại tự động

Để có kết quả tốt

  • Đầu hoặc tượng bán thân là tốt nhất. Mô hình toàn thân cũng được, nhưng ở chế độ trực tiếp nó không xoay theo đầu bạn.
  • Khuôn mặt nhìn vào camera, miệng ngậm, mắt mở. Nụ cười lộ răng hay đôi môi hé mở sẽ bị từ chối: môi phải khép thì mới tách gọn được.
  • Khuôn mặt người. Chân thực hay cách điệu đều được, miễn là tỷ lệ giống người; quái vật hay động vật sẽ bị từ chối.
  • Chỉnh sửa trước, tạo biểu cảm sau cùng. Hãy đổi texture hoặc chỉnh sửa bản gốc, rồi mới tạo biểu cảm cho kết quả; remesh sẽ làm mất các biểu cảm.
  • Đừng che khuôn mặt. Tóc trên đầu và quần áo không chuyển động, râu thì có. Bàn tay hay chiếc điện thoại cầm sát miệng sẽ chuyển động theo hàm.

Nếu không thể tạo biểu cảm cho khuôn mặt — không tìm thấy khuôn mặt, miệng đang mở, mắt đang nhắm, tỷ lệ quá khác người hoặc khuôn mặt quá nhỏ — tác vụ sẽ dừng lại và tín dụng tự động được hoàn lại.

Câu hỏi thường gặp

Mất bao lâu?

Thường là 3–6 phút, tính cả thời gian chờ máy chủ xử lý; ví dụ của chúng tôi chỉ mất 43 giây vì máy chủ đã chạy sẵn. Trong lúc đó bạn có thể đóng trang: tác vụ vẫn tiếp tục, và phiên bản mới sẽ xuất hiện trong thư viện của bạn.

Tốn bao nhiêu tín dụng?

Một số tín dụng cố định cho mỗi mô hình, hiển thị trên nút Tạo biểu cảm trước khi bạn bắt đầu và chỉ bị trừ một lần. Mở lại phiên bản có biểu cảm, phát các clip và dùng Khuôn mặt trực tiếp đều miễn phí.

Camera của tôi có bị ghi lại hay tải lên không?

Không. Tính năng theo dõi khuôn mặt chạy trên thiết bị của bạn, và các bản ghi nằm trong tab trình duyệt cho đến khi bạn tải xuống. Với camera điện thoại, chỉ có các con số được gửi đi, hình ảnh thì không bao giờ.

Tôi có thể dùng tệp trong game engine hoặc Blender không?

Có, hãy tải phiên bản đó xuống dưới dạng GLB. Blender nhập các biểu cảm thành shape key với tên ARKit; các engine nhập được glTF sẽ đọc chúng thành blend shape (morph target), còn các clip thành hoạt ảnh.

Có dùng được cho nhân vật hoạt hình không?

Được, nếu khuôn mặt có tỷ lệ của người: một cái đầu người cách điệu vẫn dùng được. Khuôn mặt quá khác người — quái vật, động vật — sẽ bị từ chối và tín dụng được hoàn lại.

Tôi có thể tạo biểu cảm cho khuôn mặt đang cười lộ răng không?

Hiện chưa được: miệng của mô hình phải ngậm. Hãy làm cái đầu với gương mặt bình thản và miệng ngậm — còn nụ cười thì để hoạt ảnh lo.