Оживляем 3D-лицо: 51 выражение, готовые клипы и ваша собственная камера

Как функция «Анимировать лицо» превращает сделанную вами голову в персонажа, который моргает, улыбается и говорит: настоящий пример от фото до говорящего бюста, что происходит внутри за пять шагов, Живая мимика с веб-камерой или телефоном, что лежит в файле и честные ограничения.

Команда Wandy3D8 мин чтения

3D-голова, которая только смотрит в одну точку, — это полперсонажа. Анимировать лицо учит голову, сделанную в Wandy3D, моргать, улыбаться, хмуриться и говорить. У модели остаются её собственные сетка и текстура, а к ним добавляются подвижные глаза, зубы и полость рта, 51 форма выражения со стандартными именами ARKit и 11 готовых клипов. А в режиме Живая мимика моделью управляет ваше лицо — через веб-камеру или телефон. Ниже — один настоящий пример от фото до говорящей головы, что происходит внутри и что вы получаете.

Голова из этой статьи проигрывает пять своих клипов: улыбку, удивление, подмигивание, речь и смех. Отрендерено из того же файла, что показывает просмотрщик, без ретуши.

Попробуйте на голове из этой статьи

Ниже — сама версия с мимикой, в 3D. Нажмите на клип, чтобы его проиграть, откройте 51 форму, чтобы двигать каждое выражение отдельно, или выберите Камеру и покорчите рожи — голова повторит за вами. Картинка с камеры обрабатывается на вашем устройстве и никуда не уходит.

3D-бюст с мимикой из этой статьи

Загрузится 3D-модель на 13 МБ. Камера не включится, пока вы её не включите.

Пример: от фото до говорящей головы

Показывать чьё-то настоящее лицо мы не хотели, поэтому человека из примера не существует: портрет нарисовал ИИ для картинок по короткому описанию — бородатый мужчина в чёрной футболке на белом фоне смотрит в камеру, рот закрыт. Дальше всё шло ровно так же, как у любого пользователя:

  1. 3D-модель по фото. Портрет ушёл в Создать с версией по умолчанию, Wandy 2. Бюст с текстурой был готов примерно за две минуты.
  2. Анимировать лицо. В разделе Создать → Анимация (кнопка есть и на странице модели) мы нажали Анимировать лицо. Кредиты списываются один раз и сами возвращаются, если лицо не получится анимировать.
  3. Новая версия. Через 43 секунды у бюста появилась вторая версия — С мимикой, а на сцене — панель Мимика. Исходная модель осталась как была. Наш воркер был уже запущен; обычно это занимает 3–6 минут.
Сгенерированный портрет бородатого мужчины, 3D-бюст по нему и тот же бюст с улыбкой после анимации лица
Слева направо: сгенерированный портрет, бюст Wandy 2 по нему и тот же бюст после анимации лица — улыбается.

Что происходит внутри: пять шагов

1. Найти лицо

Модель рисуется с семи сторон — прямо, под 25° и 45° с каждого бока, на 15° сверху и снизу, — и трекер лица находит на каждой картинке 478 точек: контуры глаз, губ, бровей, носа и челюсти. Точки, которые с какого-то ракурса не видны, отбрасываются, а остальные сводятся в 3D. Здесь же проверяется, можно ли вообще анимировать это лицо: оно человеческое, глаза открыты, губы сомкнуты.

Четыре ракурса 3D-бюста с 478 точками лица, найденными трекером на каждом
Четыре ракурса из семи и 478 точек, которые трекер нашёл на каждом.

2. Подогнать шаблон лица

Для анимации нужно лицо, которое для неё устроено: знает, где складываются веки, как размыкаются губы и как ходит челюсть. Мы берём такой шаблон лица — кожа, глазные яблоки, зубы, дёсны, язык и полость рта, а для каждого выражения ARKit — своя форма. Сначала под голову подгоняются его пропорции, потом он точка за точкой натягивается на поверхность модели. На этой голове половина его точек легла ближе 0,21 мм к поверхности, а 90 % — ближе 0,65 мм.

Шаблон лица до подгонки, после подгонки под это лицо и поверх 3D-бюста
Шаблон в исходном виде (слева), подогнанный под это лицо (в центре) и наложенный на модель (справа).

3. Перенести мимику на саму модель

Шаблон никогда не подменяет вашу модель. Каждая точка лица следует за ближайшей точкой подогнанного шаблона, поэтому у головы остаются своя сетка, текстура и сходство — она только получает способность двигаться. Губы разрезаются по линии смыкания, чтобы рот открывался, не разрывая кожу. Борода движется вместе с кожей под ней, а волосы на голове, уши, шея и одежда остаются на месте. На этом бюсте двигаются 67 176 точек из 181 262 — 37 %.

Тепловая карта на бюсте: лицо, борода и челюсть оранжево-красные, волосы, уши, шея и футболка серые
Насколько двигается каждая часть бюста во всех 51 выражении: серое не двигается никогда, оранжево-красное — больше всего.

4. Глаза и полость рта

Нарисованные глаза не умеют моргать и смотреть по сторонам, поэтому их заменяют глазные яблоки, которые умеют, — с цветом радужки, взятым с глаз самой модели. Зубы, дёсны, язык и полость рта ставятся за губами и затеняются там, куда не доходит свет, — чтобы открытый рот выглядел ртом, а не дыркой.

Добавленные глазные яблоки, зубы, дёсны и язык отдельно, и бюст с открытым ртом и взглядом в сторону
Добавленные части отдельно (слева) и на месте: открытый рот и взгляд в сторону.

5. Клипы и файл

Напоследок в файл записываются 11 клипов: Idle (дыхание и моргание по кругу), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around и Talk. Результат сохраняется новой версией: файл исходной модели, к которому добавлены формы выражений и клипы, — 45 МБ для скачивания и копия на 13 МБ, которая грузится в просмотрщик.

Бюст в одиннадцати выражениях, по одному на клип, с названиями клипов
Все 11 клипов — каждый в самый выразительный момент.

51 выражение со стандартными именами

Каждое выражение хранится как форма (blend shape, в Blender — shape key): то же лицо, но, скажем, с открытой челюстью. Значение от 0 до 1 подмешивает её, а любая смесь форм даёт новое выражение — клип это просто изменение этих значений во времени. У 51 формы — имена, которыми пользуется трекинг лица Apple ARKit, их понимают многие программы:

Часть лицаФормПримеры
Глаза14eyeBlinkLeft, eyeLookOutRight, eyeWideLeft
Брови5browInnerUp, browDownLeft
Челюсть4jawOpen, jawLeft
Рот23mouthSmileLeft, mouthPucker, mouthFunnel
Щёки и нос5cheekPuff, noseSneerLeft

В ARKit есть ещё одна — tongueOut; только её и нет. Раз имена стандартные, файл работает везде, где работают morph targets, — в Blender, Unity, Unreal, three.js, — а захват лица, который пишет имена ARKit, ложится на него один в один.

Двенадцать крупных планов лица, на каждом одна форма выражения в полную силу и её имя ARKit
Двенадцать форм из 51 — каждая в полную силу, с именем ARKit.

Живая мимика: моделью управляет ваше лицо

Везде, где на сцене версия с мимикой, — в разделе Создать, на странице модели или в библиотеке — есть Живая мимика. Нажмите Включить камеру, и дальше:

  1. Калибровка. В первый раз вас попросят расслабить лицо и секунду посмотреть на экран. Это спокойное лицо становится нулём для всех выражений.
  2. Вживую. Трекер считывает с каждого кадра камеры 52 значения, и модель сразу их показывает. По умолчанию она двигается как ваше отражение (Зеркало), а бюст или голова поворачиваются вслед за вашей головой; фигура в полный рост стоит на месте. В Ещё настройки — сглаживание и сила мимики.
  3. Запись. Записать клип сохраняет сыгранное как новую анимацию, а Скачать GLB с этим клипом отдаёт модель с вашим дублем внутри. Записать видео снимает сцену — по желанию с микрофоном и картинкой с камеры в углу.
Здесь «камера» — набор сгенерированных фото несуществующего человека, которые сменяют друг друга; голова читает каждое тем же трекером и тем же кодом, что на сайте.

Трекинг лица работает в вашем браузере на наших собственных файлах (около 10 МБ, скачиваются один раз), а картинка с камеры никуда не загружается. Одно честное ограничение: трекинг с веб-камеры не измеряет надутые щёки, сморщенный нос, челюсть вбок и опущенные уголки рта, поэтому вживую эти формы стоят на месте. Клипы и ползунки по-прежнему ими пользуются.

Пять пар: фото сгенерированного человека с веб-камеры с выражением лица и 3D-бюст с тем же выражением
Картинка с камеры и то, что модель показала вживую: улыбка, удивление, подмигивание, хмурость и поворот головы.

Телефон вместо камеры

Нет веб-камеры или хочется свободно двигаться? Нажмите Камера телефона рядом с Живой мимикой и отсканируйте QR-код. Страница откроется на телефоне — без входа и без приложений, — и трекинг лица телефон делает сам. На компьютер уходят только 52 значения мимики и поворот головы, видео — никогда: напрямую, если оба устройства в одной сети Wi-Fi, а иначе через наш сервер, который передаёт данные дальше и ничего не хранит. Код действует 10 минут, пока к нему не подключится телефон.

Что вы получаете

ВерсияНовая версия вашей модели — С мимикой. Исходная остаётся как была; открывать версию с мимикой снова — бесплатно.
Мимика51 форма с именами ARKit
Клипы11: Idle (по кругу), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, Talk
Глаза и ротГлазные яблоки, которые поворачиваются и моргают; зубы, дёсны, язык и полость рта
ФайлGLB: собственные сетка и текстура модели, формы и клипы
Живая мимикаВаши дубли как дополнительные клипы в GLB и видео сцены
Если анимировать не получитсяКредиты возвращаются сами

Чтобы получилось хорошо

  • Лучше всего — голова или бюст. Фигура в полный рост тоже подойдёт, но вживую она не поворачивается вслед за вашей головой.
  • Лицо смотрит в камеру, рот закрыт, глаза открыты. Улыбку с зубами или приоткрытые губы система не примет: чтобы чисто разрезать губы, они должны быть сомкнуты.
  • Человеческое лицо. Реалистичное или стилизованное — неважно, лишь бы пропорции были человеческими; монстра или животное система не примет.
  • Сначала правки, анимация — последней. Меняйте текстуру или делайте правку оригинала, а анимируйте результат; ремеш убрал бы мимику.
  • Лицо — свободное. Волосы на голове и одежда не двигаются, борода — двигается. Рука или телефон у рта будут ходить вместе с челюстью.

Если лицо не получается анимировать — лица не нашлось, рот открыт, глаза закрыты, пропорции слишком далеки от человеческих или лицо слишком маленькое, — работа останавливается, а кредиты возвращаются сами.

Вопросы

Сколько это занимает?

Обычно 3–6 минут вместе с ожиданием воркера; наш пример занял 43 секунды, потому что воркер уже работал. Страницу можно закрыть: работа продолжится, а новая версия появится в библиотеке.

Сколько это стоит?

Фиксированное число кредитов за модель — оно написано на кнопке Анимировать лицо до запуска и списывается один раз. Открывать версию с мимикой снова, проигрывать клипы и пользоваться Живой мимикой — бесплатно.

Камера что-то записывает или отправляет?

Нет. Трекинг лица работает на вашем устройстве, а записи хранятся во вкладке браузера, пока вы их не скачаете. С камерой телефона передаются только числа, картинка — никогда.

Можно ли взять файл в игровой движок или в Blender?

Да, скачайте версию в GLB. Blender импортирует выражения как shape keys с именами ARKit; движки, которые импортируют glTF, читают их как blend shapes (morph targets), а клипы — как анимации.

Подойдёт ли мультяшный персонаж?

Если у лица человеческие пропорции — да: стилизованная человеческая голова подойдёт. Лицо, слишком далёкое от человеческого, — монстра, животного — система не примет, и кредиты вернутся.

Можно ли анимировать лицо, которое улыбается с зубами?

Пока нет: в модели рот должен быть закрыт. Сделайте голову со спокойным лицом и закрытым ртом — улыбка появится в анимации.