Одним из популярных направлений развития нейронных сетей в настоящее время является создание 3D объекта по изображению. На простейшем примере меша Сюзанны мы можем проверить, насколько это реально работает.
.blend file with neuro-Suzanne on Patreon
Для примера мы можем взять любую нейросеть, которая создает 3D модели из картинки, все они работают по одному принципу оценки глубины изображения, и поэтому результат у всех будет плюс-минус одинаковый.
В качестве исходного объекта возьмем рендер Сюзанны. Мы знаем как выглядит меш и его топологию, соответственно мы сможем сравнить то с чего начинали, с тем, что получим при использовании нейросети.
Путем нескольких экспериментов, при участии Вячеслава Кобозева, был подобран наиболее контрастный рендер Сюзанны на белом фоне. Забегая немного вперед можно отметить, что при использовании менее контрастных изображений, результат получается менее консистентный.
Отправляем изображения в нейросеть.
Выбранная для исследования нейросеть сначала генерирует “быструю”, черновую, 3D модель. Такая генерация занимает от 5 до 30 минут.
Ее можно экспортировать обратно в Blender, используя несколько распространенных форматов, например OBJ.
Переключившись в режим редактирования для просмотра топологии, мы увидим чрезвычайно плотную сетку, состоящую из треугольников.
Исходный меш Сюзанны, состоит из 507 точек и 500 полигонов.
Созданный нейросетью меш имеет 95544 точки и 191080 полигонов.
На втором этапе работы нейросети, который занимает от нескольких часов до нескольких суток, нейросеть пытается улучшить полученную модель, сделать ее более консистентной к исходному изображению.
В итоге получается следующее:
Сохраняем полученную модель в OBJ и снова импортируем в Blender.
Переключаемся в режим редактирования для просмотра топологии.
Финальный меш Сюзанны от нейросети состоит из 25002 вертексов и 50000 полигонов.
На основании этого простого исследования не сложно сделать выводы о том, насколько хорошо и качественно сейчас работают нейросети по преобразованию изображений в 3D. И о том, скоро ли нейронные сети заменят 3D моделлеров.