Оживляем 3D-лицо: 51 выражение, готовые клипы и ваша собственная камера
Как функция «Анимировать лицо» превращает сделанную вами голову в персонажа, который моргает, улыбается и говорит: настоящий пример от фото до говорящего бюста, что происходит внутри за пять шагов, Живая мимика с веб-камерой или телефоном, что лежит в файле и честные ограничения.
Команда Wandy3D8 мин чтения

3D-голова, которая только смотрит в одну точку, — это полперсонажа. Анимировать лицо учит голову, сделанную в Wandy3D, моргать, улыбаться, хмуриться и говорить. У модели остаются её собственные сетка и текстура, а к ним добавляются подвижные глаза, зубы и полость рта, 51 форма выражения со стандартными именами ARKit и 11 готовых клипов. А в режиме Живая мимика моделью управляет ваше лицо — через веб-камеру или телефон. Ниже — один настоящий пример от фото до говорящей головы, что происходит внутри и что вы получаете.
Попробуйте на голове из этой статьи
Ниже — сама версия с мимикой, в 3D. Нажмите на клип, чтобы его проиграть, откройте 51 форму, чтобы двигать каждое выражение отдельно, или выберите Камеру и покорчите рожи — голова повторит за вами. Картинка с камеры обрабатывается на вашем устройстве и никуда не уходит.

Загрузится 3D-модель на 13 МБ. Камера не включится, пока вы её не включите.
Пример: от фото до говорящей головы
Показывать чьё-то настоящее лицо мы не хотели, поэтому человека из примера не существует: портрет нарисовал ИИ для картинок по короткому описанию — бородатый мужчина в чёрной футболке на белом фоне смотрит в камеру, рот закрыт. Дальше всё шло ровно так же, как у любого пользователя:
- 3D-модель по фото. Портрет ушёл в Создать с версией по умолчанию, Wandy 2. Бюст с текстурой был готов примерно за две минуты.
- Анимировать лицо. В разделе Создать → Анимация (кнопка есть и на странице модели) мы нажали Анимировать лицо. Кредиты списываются один раз и сами возвращаются, если лицо не получится анимировать.
- Новая версия. Через 43 секунды у бюста появилась вторая версия — С мимикой, а на сцене — панель Мимика. Исходная модель осталась как была. Наш воркер был уже запущен; обычно это занимает 3–6 минут.

Что происходит внутри: пять шагов
1. Найти лицо
Модель рисуется с семи сторон — прямо, под 25° и 45° с каждого бока, на 15° сверху и снизу, — и трекер лица находит на каждой картинке 478 точек: контуры глаз, губ, бровей, носа и челюсти. Точки, которые с какого-то ракурса не видны, отбрасываются, а остальные сводятся в 3D. Здесь же проверяется, можно ли вообще анимировать это лицо: оно человеческое, глаза открыты, губы сомкнуты.

2. Подогнать шаблон лица
Для анимации нужно лицо, которое для неё устроено: знает, где складываются веки, как размыкаются губы и как ходит челюсть. Мы берём такой шаблон лица — кожа, глазные яблоки, зубы, дёсны, язык и полость рта, а для каждого выражения ARKit — своя форма. Сначала под голову подгоняются его пропорции, потом он точка за точкой натягивается на поверхность модели. На этой голове половина его точек легла ближе 0,21 мм к поверхности, а 90 % — ближе 0,65 мм.

3. Перенести мимику на саму модель
Шаблон никогда не подменяет вашу модель. Каждая точка лица следует за ближайшей точкой подогнанного шаблона, поэтому у головы остаются своя сетка, текстура и сходство — она только получает способность двигаться. Губы разрезаются по линии смыкания, чтобы рот открывался, не разрывая кожу. Борода движется вместе с кожей под ней, а волосы на голове, уши, шея и одежда остаются на месте. На этом бюсте двигаются 67 176 точек из 181 262 — 37 %.

4. Глаза и полость рта
Нарисованные глаза не умеют моргать и смотреть по сторонам, поэтому их заменяют глазные яблоки, которые умеют, — с цветом радужки, взятым с глаз самой модели. Зубы, дёсны, язык и полость рта ставятся за губами и затеняются там, куда не доходит свет, — чтобы открытый рот выглядел ртом, а не дыркой.

5. Клипы и файл
Напоследок в файл записываются 11 клипов: Idle (дыхание и моргание по кругу), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around и Talk. Результат сохраняется новой версией: файл исходной модели, к которому добавлены формы выражений и клипы, — 45 МБ для скачивания и копия на 13 МБ, которая грузится в просмотрщик.

51 выражение со стандартными именами
Каждое выражение хранится как форма (blend shape, в Blender — shape key): то же лицо, но, скажем, с открытой челюстью. Значение от 0 до 1 подмешивает её, а любая смесь форм даёт новое выражение — клип это просто изменение этих значений во времени. У 51 формы — имена, которыми пользуется трекинг лица Apple ARKit, их понимают многие программы:
| Часть лица | Форм | Примеры |
|---|---|---|
| Глаза | 14 | eyeBlinkLeft, eyeLookOutRight, eyeWideLeft |
| Брови | 5 | browInnerUp, browDownLeft |
| Челюсть | 4 | jawOpen, jawLeft |
| Рот | 23 | mouthSmileLeft, mouthPucker, mouthFunnel |
| Щёки и нос | 5 | cheekPuff, noseSneerLeft |
В ARKit есть ещё одна — tongueOut; только её и нет. Раз имена стандартные, файл работает везде, где работают morph targets, — в Blender, Unity, Unreal, three.js, — а захват лица, который пишет имена ARKit, ложится на него один в один.

Живая мимика: моделью управляет ваше лицо
Везде, где на сцене версия с мимикой, — в разделе Создать, на странице модели или в библиотеке — есть Живая мимика. Нажмите Включить камеру, и дальше:
- Калибровка. В первый раз вас попросят расслабить лицо и секунду посмотреть на экран. Это спокойное лицо становится нулём для всех выражений.
- Вживую. Трекер считывает с каждого кадра камеры 52 значения, и модель сразу их показывает. По умолчанию она двигается как ваше отражение (Зеркало), а бюст или голова поворачиваются вслед за вашей головой; фигура в полный рост стоит на месте. В Ещё настройки — сглаживание и сила мимики.
- Запись. Записать клип сохраняет сыгранное как новую анимацию, а Скачать GLB с этим клипом отдаёт модель с вашим дублем внутри. Записать видео снимает сцену — по желанию с микрофоном и картинкой с камеры в углу.
Трекинг лица работает в вашем браузере на наших собственных файлах (около 10 МБ, скачиваются один раз), а картинка с камеры никуда не загружается. Одно честное ограничение: трекинг с веб-камеры не измеряет надутые щёки, сморщенный нос, челюсть вбок и опущенные уголки рта, поэтому вживую эти формы стоят на месте. Клипы и ползунки по-прежнему ими пользуются.

Телефон вместо камеры
Нет веб-камеры или хочется свободно двигаться? Нажмите Камера телефона рядом с Живой мимикой и отсканируйте QR-код. Страница откроется на телефоне — без входа и без приложений, — и трекинг лица телефон делает сам. На компьютер уходят только 52 значения мимики и поворот головы, видео — никогда: напрямую, если оба устройства в одной сети Wi-Fi, а иначе через наш сервер, который передаёт данные дальше и ничего не хранит. Код действует 10 минут, пока к нему не подключится телефон.
Что вы получаете
| Версия | Новая версия вашей модели — С мимикой. Исходная остаётся как была; открывать версию с мимикой снова — бесплатно. |
| Мимика | 51 форма с именами ARKit |
| Клипы | 11: Idle (по кругу), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, Talk |
| Глаза и рот | Глазные яблоки, которые поворачиваются и моргают; зубы, дёсны, язык и полость рта |
| Файл | GLB: собственные сетка и текстура модели, формы и клипы |
| Живая мимика | Ваши дубли как дополнительные клипы в GLB и видео сцены |
| Если анимировать не получится | Кредиты возвращаются сами |
Чтобы получилось хорошо
- Лучше всего — голова или бюст. Фигура в полный рост тоже подойдёт, но вживую она не поворачивается вслед за вашей головой.
- Лицо смотрит в камеру, рот закрыт, глаза открыты. Улыбку с зубами или приоткрытые губы система не примет: чтобы чисто разрезать губы, они должны быть сомкнуты.
- Человеческое лицо. Реалистичное или стилизованное — неважно, лишь бы пропорции были человеческими; монстра или животное система не примет.
- Сначала правки, анимация — последней. Меняйте текстуру или делайте правку оригинала, а анимируйте результат; ремеш убрал бы мимику.
- Лицо — свободное. Волосы на голове и одежда не двигаются, борода — двигается. Рука или телефон у рта будут ходить вместе с челюстью.
Если лицо не получается анимировать — лица не нашлось, рот открыт, глаза закрыты, пропорции слишком далеки от человеческих или лицо слишком маленькое, — работа останавливается, а кредиты возвращаются сами.
Вопросы
Сколько это занимает?
Обычно 3–6 минут вместе с ожиданием воркера; наш пример занял 43 секунды, потому что воркер уже работал. Страницу можно закрыть: работа продолжится, а новая версия появится в библиотеке.
Сколько это стоит?
Фиксированное число кредитов за модель — оно написано на кнопке Анимировать лицо до запуска и списывается один раз. Открывать версию с мимикой снова, проигрывать клипы и пользоваться Живой мимикой — бесплатно.
Камера что-то записывает или отправляет?
Нет. Трекинг лица работает на вашем устройстве, а записи хранятся во вкладке браузера, пока вы их не скачаете. С камерой телефона передаются только числа, картинка — никогда.
Можно ли взять файл в игровой движок или в Blender?
Да, скачайте версию в GLB. Blender импортирует выражения как shape keys с именами ARKit; движки, которые импортируют glTF, читают их как blend shapes (morph targets), а клипы — как анимации.
Подойдёт ли мультяшный персонаж?
Если у лица человеческие пропорции — да: стилизованная человеческая голова подойдёт. Лицо, слишком далёкое от человеческого, — монстра, животного — система не примет, и кредиты вернутся.
Можно ли анимировать лицо, которое улыбается с зубами?
Пока нет: в модели рот должен быть закрыт. Сделайте голову со спокойным лицом и закрытым ртом — улыбка появится в анимации.




