Anime um rosto 3D: 51 expressões, clipes prontos e a sua própria câmera

Como o “Animar rosto” transforma uma cabeça que você criou em um personagem que pisca, sorri e fala: um exemplo real, da foto ao busto falante, o que acontece por dentro em cinco passos, o “Rosto ao vivo” com webcam ou celular, o que vem no arquivo e os limites reais.

Equipe Wandy3D8 min de leitura

Uma cabeça 3D que só encara o vazio é metade de um personagem. O Animar rosto ensina uma cabeça que você criou no Wandy3D a piscar, sorrir, franzir a testa e falar. O modelo mantém a própria malha e a própria textura e ganha olhos que se movem, dentes e o interior da boca, 51 formas de expressão com os nomes padrão do ARKit e 11 clipes prontos. Com o Rosto ao vivo, o seu próprio rosto controla o modelo pela webcam ou pelo celular. A seguir: um exemplo real, da foto à cabeça falante, o que acontece por dentro e o que você recebe.

A cabeça deste artigo reproduzindo cinco dos seus clipes: Smile, Surprise, Wink, Talk e Laugh. Renderizado a partir do mesmo arquivo que o visualizador mostra, sem nenhum retoque.

Experimente com a cabeça deste artigo

Logo abaixo está a própria versão animada, em 3D. Toque em um clipe para reproduzi-lo, abra 51 formas para mover cada expressão separadamente ou escolha Câmera e faça caretas: a cabeça imita você. A imagem da câmera é processada no seu dispositivo e nunca sai dele.

O busto 3D animado deste artigo

Carrega um modelo 3D de 13 MB. A câmera fica desligada até você ligá-la.

O exemplo: da foto à cabeça falante

Não queríamos mostrar o rosto real de ninguém, então a pessoa deste exemplo não existe: o retrato foi feito por uma IA de imagens a partir de uma descrição curta (um homem de barba e camiseta preta, em fundo branco, olhando para a câmera de boca fechada). A partir daí, tudo correu exatamente como acontece com qualquer usuário:

  1. Um modelo 3D a partir da foto. Enviamos o retrato em Criar, com a versão padrão, o Wandy 2. O busto com textura ficou pronto em cerca de dois minutos.
  2. Animar rosto. Em Criar → Animar (ou na página do modelo), clicamos em Animar rosto. A cobrança é feita uma vez só, com reembolso automático se o rosto não puder ser animado.
  3. Uma nova versão. 43 segundos depois, o busto já tinha uma segunda versão, Rosto animado, com o painel Expressões no palco. O modelo original continua como estava. Nosso servidor já estava ligado; o normal é de 3 a 6 minutos.
Um retrato gerado de um homem de barba, o busto 3D feito a partir dele e o mesmo busto sorrindo depois do “Animar rosto”
Da esquerda para a direita: o retrato gerado, o busto do Wandy 2 feito a partir dele e o mesmo busto depois do “Animar rosto”, sorrindo.

O que acontece por dentro, em cinco passos

1. Encontrar o rosto

O modelo é renderizado de sete ângulos (de frente, a 25° e 45° para cada lado e a 15° de cima e de baixo), e o rastreamento facial encontra 478 pontos em cada imagem: os contornos dos olhos, dos lábios, das sobrancelhas, do nariz e da mandíbula. Os pontos que uma vista não enxerga são descartados, e o resto é combinado em 3D. Esta mesma etapa verifica se o rosto pode mesmo ser animado: rosto humano, olhos abertos, lábios fechados.

Quatro vistas do busto 3D com os 478 pontos do rosto que o rastreamento facial encontrou em cada uma
Quatro das sete vistas, com os 478 pontos que o rastreamento facial encontrou em cada uma.

2. Ajustar um rosto-padrão

A animação precisa de um rosto feito para isso: que saiba onde as pálpebras dobram, como os lábios se separam e como a mandíbula se move. Usamos um rosto-padrão assim: pele, globos oculares, dentes, gengivas, língua e o interior da boca, com uma forma para cada expressão do ARKit. Primeiro, as proporções dele são ajustadas à cabeça; depois, ele é puxado ponto a ponto até a superfície do modelo. Nesta cabeça, metade dos pontos dele ficou a menos de 0,21 mm da superfície, e 90 %, a menos de 0,65 mm.

O rosto-padrão antes do ajuste, ajustado a este rosto e sobreposto ao busto 3D
O rosto-padrão na forma inicial (à esquerda), ajustado a este rosto (no centro) e sobreposto ao modelo (à direita).

3. Levar as expressões para o próprio modelo

O rosto-padrão nunca substitui o seu modelo. Cada ponto do rosto acompanha o ponto mais próximo do rosto-padrão ajustado, então a cabeça mantém a própria malha, a textura e a fisionomia e só ganha a capacidade de se mover. Os lábios são separados por um corte ao longo da linha onde se encontram, para que a boca possa abrir sem rasgar a pele. A barba se move junto com a pele embaixo dela, enquanto o cabelo, as orelhas, o pescoço e a roupa ficam parados. Neste busto, 67.176 dos 181.262 pontos se movem, ou seja, 37 %.

Um mapa de calor no busto: o rosto, a barba e a mandíbula em laranja e vermelho; o cabelo, as orelhas, o pescoço e a camiseta em cinza
Quanto cada parte do busto se move ao longo das 51 expressões: o cinza nunca se move, o vermelho-alaranjado é o que mais se move.

4. Os olhos e o interior da boca

Olhos pintados não conseguem piscar nem olhar para os lados, então são substituídos por globos oculares que conseguem, com a cor da íris tirada dos próprios olhos do modelo. Dentes, gengivas, língua e o interior da boca são colocados atrás dos lábios e sombreados onde a luz não chegaria, para que uma boca aberta pareça uma boca, e não um buraco.

Os globos oculares, os dentes, as gengivas e a língua adicionados, sozinhos, e o busto de boca aberta, olhando para o lado
As partes adicionadas sozinhas (à esquerda) e no lugar: boca aberta e olhar para o lado.

5. Os clipes e o arquivo

Por fim, o arquivo recebe 11 clipes: Idle (respiração e piscadas, em loop), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around e Talk. O resultado é salvo como uma nova versão: o arquivo do modelo original com as formas de expressão e os clipes adicionados. São 45 MB para baixar, mais uma cópia de 13 MB que é carregada aos poucos no visualizador.

O busto em onze expressões, uma para cada clipe, com os nomes dos clipes
Cada um dos 11 clipes no seu auge.

51 expressões com nomes padrão

Cada expressão é guardada como uma forma (um blend shape, ou shape key no Blender): o mesmo rosto com, digamos, a mandíbula aberta. Um valor de 0 a 1 aplica essa forma com mais ou menos força, e qualquer mistura de formas cria uma expressão nova; um clipe nada mais é do que esses valores mudando com o tempo. As 51 formas levam os nomes usados pelo rastreamento facial do ARKit, da Apple, que muitas ferramentas entendem:

Parte do rostoFormasExemplos
Olhos14eyeBlinkLeft, eyeLookOutRight, eyeWideLeft
Sobrancelhas5browInnerUp, browDownLeft
Mandíbula4jawOpen, jawLeft
Boca23mouthSmileLeft, mouthPucker, mouthFunnel
Bochechas e nariz5cheekPuff, noseSneerLeft

O ARKit tem mais uma, tongueOut, e ela é a única que falta. Como os nomes são padrão, o arquivo funciona em qualquer lugar que aceite morph targets (Blender, Unity, Unreal, three.js), e uma captura facial que grave nomes do ARKit se encaixa nele um para um.

Doze closes do rosto, cada um mostrando uma forma de expressão com força total e o nome dela no ARKit
Doze das 51 formas, cada uma com força total, com o nome do ARKit.

Rosto ao vivo: seu rosto controla o modelo

Onde quer que haja uma versão animada no palco (em Criar, na página do modelo ou na sua biblioteca), você encontra o Rosto ao vivo. Clique em Ligar câmera e:

  1. Calibração. Na primeira vez, o site pede que você relaxe o rosto e olhe para a tela por um instante. Esse rosto neutro vira o ponto zero de todas as expressões.
  2. Ao vivo. O rastreamento facial lê 52 valores de cada quadro da câmera, e o modelo os mostra na hora. Por padrão, ele se move como o seu reflexo (Espelhar), e um busto ou uma cabeça gira junto com a sua cabeça; uma figura de corpo inteiro fica parada. Em Mais ajustes ficam a suavização e a intensidade da expressão.
  3. Gravação. Gravar clipe salva o que você encenar como uma nova animação, e Baixar GLB com este clipe entrega o modelo com a sua gravação dentro. Gravar vídeo filma o palco, com o seu microfone e a imagem da sua câmera no canto, se você quiser.
Aqui, a “câmera” é uma sequência de fotos geradas de uma pessoa que não existe, mostradas uma após a outra; a cabeça lê cada uma com o mesmo rastreamento facial e o mesmo código do site.

O rastreamento facial roda no seu navegador a partir dos nossos próprios arquivos (cerca de 10 MB, baixados uma vez só), e a imagem da câmera nunca é enviada. Um limite, sendo sinceros: o rastreamento facial pela webcam não mede bochechas infladas, nariz franzido, mandíbula de lado nem os cantos da boca virados para baixo, então no modo ao vivo essas formas ficam paradas. Os clipes e os controles deslizantes continuam usando essas formas.

Cinco pares: uma foto de webcam de uma pessoa gerada fazendo uma expressão e o busto 3D mostrando a mesma expressão
A imagem da câmera e o que o modelo mostrou ao vivo: um sorriso, surpresa, uma piscadinha, testa franzida e um giro de cabeça.

O celular como câmera

Não tem webcam ou quer se movimentar à vontade? Clique em Câmera do celular, ao lado de Rosto ao vivo, e escaneie o QR code. A página abre no celular sem login e sem app, e o próprio celular faz o rastreamento facial. Só os 52 valores de expressão e o giro da sua cabeça vão para o computador, nunca o vídeo: direto, quando os dois estão no mesmo Wi-Fi, ou então pelo nosso servidor, que só repassa os dados e não guarda nada. O código vale por 10 minutos, até um celular se conectar.

O que você recebe

VersãoUma nova versão do seu modelo, Rosto animado. O original continua como estava; abrir a versão animada de novo é grátis.
Expressões51 formas com nomes do ARKit
Clipes11: Idle (em loop), Blink, Smile, Laugh, Surprise, Angry, Sad, Wink, Kiss, Look Around, Talk
Olhos e bocaGlobos oculares que giram e piscam; dentes, gengivas, língua e o interior da boca
ArquivoGLB: a malha e a textura do próprio modelo, as formas e os clipes
Rosto ao vivoSuas gravações como clipes extras no GLB e vídeos do palco
Se não der para animarOs créditos voltam automaticamente

Para um bom resultado

  • Uma cabeça ou um busto funciona melhor. Uma figura de corpo inteiro também funciona, mas no modo ao vivo ela não gira junto com a sua cabeça.
  • O rosto olha para a câmera, a boca está fechada, os olhos estão abertos. Sorriso mostrando os dentes ou lábios entreabertos são recusados: os lábios precisam estar fechados para serem separados com um corte limpo.
  • Um rosto humano. Realista ou estilizado, tanto faz, desde que as proporções sejam humanas; um monstro ou um animal é recusado.
  • Primeiro edite, anime por último. Mude a textura ou edite o original e depois anime o resultado; um remesh perderia as expressões.
  • Deixe o rosto livre. O cabelo e a roupa não se movem; a barba, sim. Uma mão ou um celular perto da boca se move junto com a mandíbula.

Se não for possível animar um rosto (nenhum rosto encontrado, boca aberta, olhos fechados, proporções muito distantes das humanas ou rosto pequeno demais), a tarefa para e os créditos voltam sozinhos.

Perguntas

Quanto tempo leva?

Geralmente de 3 a 6 minutos, contando a espera por um servidor; nosso exemplo levou 43 segundos porque o servidor já estava ligado. Você pode fechar a página enquanto isso: a tarefa continua, e a nova versão aparece na sua biblioteca.

Quanto custa?

Um número fixo de créditos por modelo, mostrado no botão Animar rosto antes de você começar e cobrado uma única vez. Abrir a versão animada de novo, reproduzir os clipes e usar o Rosto ao vivo não custam nada.

Minha câmera é gravada ou enviada?

Não. O rastreamento facial roda no seu dispositivo, e as gravações ficam na aba do navegador até você baixá-las. Com a câmera do celular, só números são transmitidos, nunca a imagem.

Posso usar o arquivo em uma engine de jogo ou no Blender?

Sim, baixe a versão em GLB. O Blender importa as expressões como shape keys com os nomes do ARKit; as engines que importam glTF as leem como blend shapes (morph targets), e os clipes, como animações.

Funciona com personagens de desenho animado?

Se o rosto tiver proporções humanas, sim: uma cabeça humana estilizada funciona. Um rosto muito distante do humano, como um monstro ou um animal, é recusado, e os créditos voltam.

Posso animar um rosto que sorri mostrando os dentes?

Ainda não: a boca precisa estar fechada no modelo. Crie a cabeça com o rosto tranquilo e a boca fechada; o sorriso vem da animação.