Из скетча в 3D: превращаем рисунки в модели с помощью ИИ

Концепт-художники рисуют. Геймдевам нужно 3D. Десятилетиями мостом между этими мирами был моделлер с планшетом и большим запасом терпения. ИИ начинает закрывать этот разрыв — теперь можно пройти путь от грубого скетча до пригодной 3D модели за несколько минут.

Но это сложнее, чем фото-в-3D. Карандашный рисунок несёт меньше информации, чем фотография: нет освещения, нет параллакса, часто нет чёткого силуэта за линиями. Этот гайд про рабочий процесс, который реально работает.

Почему прямой скетч-в-3D сложнее, чем фото-в-3D

Современные image-to-3D модели типа TRELLIS или Hunyuan3D обучались в основном на рендерах и фотографиях. Они ждут плотных теней, перспективных подсказок и чётких границ материалов. У линейного рисунка ничего этого нет. Засуньте плоский карандашный скетч в любую популярную image-to-3D модель и обычно получите кашеобразный, недоформированный меш — сеть просто не понимает, где на самом деле поверхность.

Решение — дать сети что-то похожее на то, на чём её учили. То есть сначала превратить скетч в отрендеренное изображение.

Двухэтапный пайплайн (рекомендуется)

Надёжный workflow состоит из двух стадий:

1. Скетч → рендер — прогоняем линейный рисунок через image-to-image модель типа Stable Diffusion с ControlNet или Imagen, чтобы получить затенённое, фотореалистичное изображение.
2. Рендер → 3D — отрендеренное изображение скармливаем обычному image-to-3D пайплайну.

Это работает потому, что каждый шаг играет на сильных сторонах своей модели. Препроцессоры ControlNet scribble и lineart буквально созданы для превращения рисунков в фотореалистичные результаты с сохранением силуэта. А 3D-модель получает картинку, которую способна понять.

Шаг 1 на практике

Загрузите скетч в любой UI для Stable Diffusion (Automatic1111, ComfyUI, Forge — что больше нравится). Включите ControlNet с препроцессором lineart или canny. Промпт под нужный стиль: «3D render, studio lighting, neutral grey background, octane». Не усложняйте — силуэт уже делает основную работу.

Шаг 2 на практике

Возьмите получившийся рендер и закиньте в генератор Wandy3D. Дальше процесс идентичен конвертации обычного фото в 3D: выберите режим, подождите несколько минут и скачайте модель в нужном формате.

Как готовить скетчи для ИИ

• Чёткий силуэт — внешний контур важнее внутренних деталей. Если человек не понимает, что это, только по силуэту — ИИ тоже не поймёт.
• Один объект, чистый фон — белая бумага, никакого мусора в кадре.
• Хороший контраст — чёрные чернила на белом лучше бледного карандаша. Сканируйте или фотографируйте при равномерном свете.
• Вид три четверти — чисто фронтальный или боковой ракурс не даёт ИИ ничего для триангуляции. Поверните камеру на 30-45 градусов от оси.
• Лёгкая тонировка помогает — даже быстрый проход мягким карандашом по тенЯм даёт модели подсказки по глубине.

Одноэтапные альтернативы

Несколько новых моделей принимают линейный арт напрямую. Они пока не так надёжны, как двухэтапный пайплайн, но стоит пробовать когда нужен быстрый результат и объект простой. Для гаджетов, предметов и других hard-surface объектов с сильным силуэтом одноэтапный sketch-to-3D часто даёт 70% результата сразу. Органика — персонажи, существа, всё с шерстью или тканью — всё равно выигрывает от промежуточного рендера.

Примеры по типам

Концепты персонажей — поза три четверти, базовая тоновая проработка, простой костюм. Двухэтапный пайплайн. Лицо, скорее всего, придётся переделать в своём DCC; тело и одежду ИИ возьмёт, а лица из скетчей пока сыроваты.

Дизайн предметов — гаджеты, мебель и реквизит получаются у ИИ-3D лучше всего. Боковая проекция плюс рендер в три четверти через двухэтапный пайплайн — и у вас есть плотная 3D-форма, с которой можно работать дальше. См. игровые 3D-модели для Unity.

Пропсы и оружие — обычно самая простая категория. Чёткий силуэт, простые материалы, часто хватает одного прохода.

Чистка геометрии, рождённой из скетча

Мешам из скетчей нужно чуть больше доводки, чем мешам из фото. Типичные проблемы:

• Асимметрия — даже «симметричный» рисунок не симметричен на самом деле. В Blender накатите Mirror modifier на более чистую половину, если симметрия важна.
• Парящие детали — мелочи, которые ИИ нагаллюцинировал из неоднозначных линий. Удалите или merge by distance.
• Швы текстур — ИИ запекает текстуры с одного ракурса, поэтому спина может выглядеть мутно. Быстрый retexture с PBR-материалами чинит большинство случаев.

Про то, как затащить GLB в инструменты, смотрите наш гайд по импорту в Blender.

Кому это нужно

Концепт-художникам, которые хотят увидеть свои дизайны в 3D без изучения Maya. Инди-разработчикам, которые проектируют на бумаге и быстро нуждаются в играбельных ассетах — есть целый гайд по инди-пайплайну на эту тему. Анимационным студиям для previs. Любому со скетчбуком, набитым идеями, и без времени моделить их руками.

Попробуйте генератор с уже существующим скетчем или загляните в галерею комьюнити посмотреть, что делают другие. Объёмные скидки — на странице тарифов, если разгребаете бэклог концептов.