3Д модель из фото: Программа для 3D моделирования по фото!

NVIDIA представила технологию создания 3D-моделей на основе фотографий / Хабр

Компания NVIDIA показала приложение GANverse3D, которое с помощью машинного обучения создаёт 3D-модель из одной фотографии. Разработчики компании продемонстрировали подробности, создав модель машины «КИТТ» из телесериала 80-х «Рыцарь дорог».

Приложение GANverse3D создали сотрудники исследовательской лаборатории NVIDIA AI в Торонто. Они рассчитывают, что данная технология поможет архитекторам, разработчикам игр и дизайнерам добавлять модели в свои сцены без опыта в моделировании и без увеличения бюджета.

Из-за того, что датасеты с изображениями объектов со всех сторон являются редкостью, большинство разработчиков тренируют свои программы на синтетических датасетах, например, ShapeNet. Но разработчики GANverse3D пошли другим путём: для создания датасета они использовали генеративно-состязательную сеть (GAN), которая генерировала изображения объекта с разных ракурсов.

На основе полученных изображений приложение GANverse3D собирало 3D-модель объекта с помощью фреймворка DIB-R для Omniverse. После прохождения обучения приложение GANverse3D научилось рендерить объёмную модель из одной-единственной фотографии с одним ракурсом.

Окончательная версия приложения прошла обучение на 55 тысячах автомобилей и превзошла другое приложение, обученное на датасете Pascal3D. Кроме этого, GANverse3D работает с текстурами создаваемой модели. Приложение анализирует освещение, модель и текстуру оригинальной картинки и на основе полученных данных строит полную 3D-модель. Далее художник может использовать Omniverse Kit и PhysX для доработки модели и добавления эффектов.

Автор проекта Джун Гао утверждает, что, так как его приложение тренировалось на реалистичных изображениях, вместо синтетических данных, то получаемые модели лучше подходят для настоящего окружения.

Исследование, которое лежит в основе GANverse3D представят на международной конференции Learning Representations в мае и на конференции Computer Vision and Pattern Recognition в июне.

Нейросеть научили воссоздавать 3D-модель человека по фотографии

Американские и японские разработчики научили нейросеть создавать цветную 3D-модель человека по одной или нескольким фотографиям. Особенность алгоритма заключается в том, что он достаточно качественно воссоздает даже вид со спины, которая не видна на исходном снимке, рассказывают авторы статьи, которая будет представлена на конференции ICCV 2019.

Как сообщается, решение, получившее название PIFu (Pixel-aligned Implicit Function), состоит из двух последовательных сверточных нейросетей, одна из которых анализирует исходный снимок (либо несколько исходных снимков), обнаруживает на нем тело человека и, используя методику под названием «Шагающие кубики», воссоздает по нему 3D-модель, а вторая придает получившейся модели цветность.

Для обучения алгоритма исследователи воспользовались датасетом RenderPeople, состоящем из высококачественных 3D-моделей людей, полученных с помощью фотограмметрических сканеров.

На опубликованном авторами ролике можно видеть, что алгоритм достаточно качественно воссоздает всю модель, в том числе и со спины. Кроме того, в ролике продемонстрировано, что даже наличие трех кадров вместо одного значительно повышает качество итоговой модели. Наконец, авторы показали, что во многих аспектах алгоритм справляется с воссозданием 3D-модели лучше, чем аналогичные алгоритмы других разработчиков.

Примеры работы нейросети. На третьей анимации показано воссоздание 3D-модели по нескольким фотографиям.

По словам исследователей, их разработка — это еще один шаг на пути к созданию методики, позволяющей извлекать 3D-сцены из обычных видео. В дальнейших работах инженеры намерены обучить нейросеть воссоздавать по фотографиям 3D-модели различных предметов.

Источник: N+1

Как сделать объёмную 3D-модель для печати на 3D-принтере из обычной картинки

Если вы хотите сделать из обычного рисунка объемную модель на 3Д принтере, данная инструкция возможно вам поможет. За пару шагов довольно просто можно переделать любую картинку из JPG в объёмную модель для печати на 3Д принтере. Конечно же речь пойдет о простых рисунках, а не портретах и т.д. Сделать логотип, объёмный текст, схемку в объёме и напечатать. Ну мало ли, иногда бывает нужно. Вот и я сегодня озадачился таким вопросом. И оказывается, что ответ не так просто найти.

Сразу скажу. Эта инструкция подойдет скорее для начинающих, только осваивающих 3Д печать и 3Д моделирование людей. Любой специалист конечно же знает всё то, что я покажу ниже. Но все мы начинали с нуля. Поэтому надеюсь, что эта информация окажется полезной для новичков.

Владея 3Д принтером, потихоньку осваиваю Fusion 360. И захотелось мне напечатать довольно симпатичный логотип клуба автомобилистов. Вот и заморочился. Но для инструкции, я возьму вариант попроще. Итак. У нас есть изображение. А нам хочется сделать из него 3д модель для печати на 3Д принтере.

Примерно вот такую:

Да, я взял логотип IXBT. Первый попавшийся, в jpg найденный в поисковике:

Закидываю файл в CorelDRAW. В нем сперва переводим JPG в растр (вкладка «Растровые изображения» выбираем «Преобразовать в растровое изображение») затем выполняем действие «Быстрая трассировка»:

На выходе получаем файл уже готовый к экспорту. Теперь выбираем «Сохранить как» и сохраняем наш файл в формате DXF (это важно):

Затем открываем программу Autodesk Fusion 360. Я делаю 3Д модели именно в этой программе, так как она достаточно проста к освоению, а еще она бесплатная для некоммерческого использования.

В Fusion открываем сохранённый ранее файл, и видим вот такое:

Ну а теперь всё просто. Зажимаем кнопку CTRL и выделяем мышкой каждый элемент. Затем нажимаем кнопку Е и выбираем на какую высоту нам нужно сделать текст в объёме:

Ну и собственно на этом всё. Объёмный текст готов. Остаётся только экспортировать модель в файл STL, скормить его в Cura (или в вашу программу для 3Д печати) и напечатать

У меня вышло вот так:

Я выбрал быструю печать, без подложки. Перед печатью не калибровал стол, поэтому точка перед com потерялась (отвалилась) но это не страшно, потому что печатал я исключительно для примера и наглядности.

Точно так же, можно перевести в STL файл для печати не только текст, но и простенький рисунок, логотип, элемент дизайна и т.д. А уж куда его потом можно применить, зависит только от вашей фантазии. Главное, что теперь у вас есть инструмент по реализации.

Надеюсь данная инструкция была полезна, и я не зря перевёл несколько граммов пластика.

3D-фото на iPhone и iPad

С тех пор как компания Apple внедрила технологию дополненной реальности (AR) в свою продукцию, для пользователей появилось еще больше возможностей для обучения, коммуникаций и развлечений. Это крупнейшая AR-платформа, в чьей основе миллионы мобильных устройств с поддержкой технологии дополненной реальности. Для пользователей доступны множество приложений в AppStore, работающих с данной технологией. Одной из популярных функций AR у владельцев устройств Apple является создание собственной 3D-модели по фото. Разберемся, как это работает.

Важно! Функция создания модели по фото работает только на тех устройствах, в которых предусмотрена разблокировка с помощью распознавания лица!

in3D: 3D-body scanning

В AppStore получила большое распространение программа in3D: 3D body scanning. Приложение бесплатное. Полученную модель можно использовать в различных целях:

1. Мода: пользователь получает точные данные о фигуре, что уменьшает риски взятия неточных мерок для создания одежды.
2. Развлечения: человек имеет возможность анимировать своего цифрового двойника и создавать забавные стикеры.
3. Фитнес: виртуальная модель позволит пользователям iPhone и iPad отслеживать свою физическую форму, что будет для них сильной мотивацией.
4. Игры: позволяет игрокам буквально «поместить» себя в игру, чтобы усилить их вовлеченность.

Как пользоваться in3D: 3D body scanning?

1. Следует скачать приложение в AppStore: https://apps.apple.com/ru/app/in3d-3d-body-scanning/id1467153183?l=en.
2. Далее нужно пройти регистрацию в приложении или войти с Apple и перейти на вкладку Scanner.
3. Встаньте в хорошо освещенное место и сделайте скан лица. При удачном сканировании поле распознавания приобретет зеленый цвет. Далее следует совершить повороты головой влево-вправо, вверх-вниз.
4. Затем идет сканирование тела. Следует установить устройство на уровне чуть ниже пояса и отойти, чтобы человек поместился в полный рост.
5. Далее нужно расположить руки под углом 45°, ладони должны быть сжаты в кулаки.
6. На следующем этапе создания модели нужно вернуться к устройству и включить запись. За 5 секунд нужно успеть принять исходное положение, а затем сделать полный оборот вокруг себя.

После всех проведенных манипуляций отснятый материал передается на сервер разработчика, где будет создана 3D-модель. Процесс создания модели может занять несколько часов.

Важно! Для сканирования требуется обязательное наличие камеры TrueDepth.

Следовательно, список доступных устройств ограничивается:

Понравилась статья? Подпишись на наш телеграм канал. Там новости выходят быстрее!

• iPhone X;
• iPhone XS;
• iPhone XR;
• iPhone XS Max;
• iPhone 11;
• iPhone 11 Pro;
• iPhone 11 Pro Max;
• iPad Pro (с Face ID).

Приложение in3D: 3D body scanning полностью бесплатное, как и создание 3D-копии себя. Однако если пользователь захочет создать свою модель для игры GTA V или Second Life, то придется раскошелиться.

Еще одно приложение для создания 3D-модели по фото. Данная программа также использует камеру с технологией TrueDepth. Приложение производит сканирование через фронтальную камеру, используя инфракрасный бластер. Задняя камера в сканировании не участвует.

Нужно нажать на кнопку записи и через несколько секунд программа начинает снимать показания с ИК-камеры, постепенно формируя модель пользователя. В это же время загружается изображение с обычной фронтальной камеры, которое затем накладывается на объект, становясь его текстурой. В конечном счете получается 3D-модель лица. Особенность Capture: 3D Scan Anything в высокой точности отображения одежды.

Роман Владимиров, эксперт по товарам Apple, менеджер компании pedant.ru. Консультант сайта appleiwatch.name, соавтор статей. Работает с продукцией Apple более 10 лет.

Nvidia разработала систему, создающую 3D-модели из фотографий

Создавать игровые 3D-миры скоро будет так же просто, как фотографировать на смартфон. Специалисты компании Nvidia разработали систему, способную спроектировать 3D-модель из любого 2D-изображения.

Используя фотографию любого 2D-объекта, к примеру, птицы, система под названием DIB-R проектирует, как изображение на фото будет выглядеть в трех измерениях. При этом в проекцию входит освещение, структура и глубина.

Аббревиатура DIB-R означает «дифференцируемый интерполяционный визуализатор», то есть система объединяет то, что она «видит» (2D-изображение), и создает версию, основанную на 3D-понимании мира. Это удивительно похоже на то, как люди преобразовывают получаемую глазами 2D-картинку в мысленный образ 3D.

По словам представителей Nvidia, новая разработка имеет очень большое значение для робототехники:

«Чтобы автономный робот мог безопасно и плодотворно взаимодействовать с окружающей средой, он должен уметь чувствовать и понимать свое окружение. В перспективе система DIB-R может улучшить такие способности к восприятию».

В процессе дальнейших разработок специалисты планируют оптимизировать DIB-R и добавить функции, которые, по сути, превратят систему в визуализатор виртуальной  реальности. Команда надеется, что в будущем такая система позволит искусственному интеллекту буквально за доли секунд создавать  из фотографий полностью погружающие в виртуальную среду 3D-миры:

«Представьте, что вы можете взять фото и получить 3D-модель, то есть теперь вы можете увидеть сфотографированное вами с разных сторон. В перспективе вы сможете попасть внутрь фотографии и рассмотреть ее с разных углов – вы сможете взять фото из старого альбома и превратить их в 3D-изображения, изучив их так, как будто сами там присутствовали».

Возможность визуализировать пространство из фотографий открывает грандиозные возможности для создателей контента. Технологии наподобие Google Maps могут стать полностью погружающими, а главная роль в некоторых компьютерных разработках перейдет от программистов и разработчиков к людям творческих профессий – фотографам и художникам.

Возможно, уже в ближайшем будущем создавать мультиплатформенные компьютерные игры с открытым миром наподобие Skyrim или Grand Theft Auto, над которыми сейчас трудятся сотни людей, сможет небольшая группа специалистов и искусственный интеллект.

Источник

Как делать 3D модели по фотографии | Столярка дома

В программе SketchUp, о которой я писал ранее, есть возможность настраивать координатные оси по реальной фотографии. А затем делать модели, которые будут вписываться в фотографию или повторять объекты на изображении.

Эта функция называется «Совместить фото» Для того, чтобы включить окно с настройками этой функции, нужно в меню «Окно -> Лоток по умолчанию» поставить галочку на пункте «Совместить фото».

Справа появится новая вкладка. Для добавления фотографии, по которой будет строиться модель нужно нажать «+» и добавить нужное вам фото.

В новой вкладке откроется, выбранное изображение и появятся ярко выделенные оси координат и направляющие для настройки.

Для начала, нажав левой кнопкой мыши на центр координат, можно переместить его в подходящее место на фотографии.

Далее красные и зеленые пунктирные направляющие размещаете в подходящих местах фотографии и настраиваете .

При этом смотрите как устанавливается синяя вертикальная ось, она также должна совпасть с вертикальными объектами на фото. После настройки нажмите кнопку «Готово» в окне справа.

Далее можно уже строить модель в натуральную величину.

При построении модели фотография возможно будет скрываться. Это нормально, при нажатии вкладки с фотографией настроенная картинка вернется.

Модель, даже построенная строго по размерам, может оказаться не в масштабе относительно фото. Это настраивается просто, нажав на любую из осей координат и двигая мышкой вдоль оси можно изменить масштаб.

После настройки нажмите на кнопку «Готово» в окне справа.

Модели можно строить также непосредственно по фото, рисуя по элементам на фото, делать плоскости, а затем выдавливанием придавать объем.

Такое моделирование помогает делать реальные изделия, так чтобы они при установке вставали без ошибок.

Кроме описания и фото предлагаю посмотреть видео.

А основы моделирования для начинающих смотрите здесь.

Спасибо что дочитали. Буду рад вашей поддержке в виде лайка и подписки на канал.

Александр.

Облачная фотограмметрия, или Делаем 3D-модель по фотографии / Мастерская

Всё же фотограмметрией данный метод можно назвать с некоторой натяжкой. В чём заключается его идея? Всё очень просто. Мы делаем некоторое количество фотографий одного и того же объекта, причём так, чтобы изображения с двух разных точек съёмки немного пересекались. На основании этих данных можно построить трёхмерную модель снимаемого объекта. Если делать это вручную, то можно получить близкий к идеальному результат. Однако времени на это уйдёт очень много. По-хорошему надо учитывать и множество других факторов: угол наклона и позицию камеры, искажения изображения из-за несовершенства оптики и так далее.

Прикинув объём ручной работы, многие сразу теряют всякий интерес к подобным затеям. Но не всё так плохо. В мире софта уже давно есть программы, которые заметно облегчают этот процесс или как минимум автоматизируют ряд действий. Но и у них есть пара заметных недостатков. Во-первых, для любительских экспериментов стоят они больно много. Во-вторых, эти программы порой требуют значительных вычислительных мощностей. Что же делать? Решение очень простое — воспользоваться специализированными сайтами или, если хотите, облачными сервисами.

Такой подход разом избавляет нас от массы трудностей. Остаётся только сделать подходящие фотографии или снять видео, залить все это на сервер, а на выходе получить приемлемый результат. Недостатки этого метода очевидны: мы не можем контролировать процесс создания 3D-модели и нам приходится ждать, пока обрабатываются исходные данные. Впрочем, для апробирования методики можно с этим смириться. Тем более что рассматриваемые нами сервисы совершенно бесплатны.

Итак, первый сервис, о котором пойдёт речь, — это разработка известной компании Autodesk под названием 123D Catch. Данная программа по сути является клиентом к облачному сервису. Через неё мы отправляем фотографии на удалённый сервер, где и происходит вся обработка. Для скачивания программы надо зарегистрироваться или авторизоваться с помощью учетной записи Facebook. Проект пока что находится на стадии бета-тестирования и не отличается стабильностью, так что с некоторыми его глюками и тормозами придётся смириться. После установки программы на ПК можно приступать к фотосъёмке нужного нам объекта. Для начала настоятельно рекомендуется ознакомиться с обучающими видео. В первом из них приведены основные советы по правильной съёмке объектов.

В принципе, их (советов или требований) не так уж много. Надо избегать прозрачных или блестящих поверхностей и бликов. Не рекомендуется попадание в кадр повторяющихся текстур. Также объект всегда должен быть неподвижным — надо самому перемещаться с камерой вокруг него. Опять-таки кадры должны хоть немного перекрываться. Ну и надо следить за освещением. Желательно чтобы оно было достаточным (без шумов в кадре) и более-менее равномерным. Использование вспышки не рекомендуется. Использовать ли зеркалку или простую мыльницу, а то и вовсе камеру в смартфоне — не так уж принципиально. Лишь бы кадры не были размытыми, а снимаемый объект оставался в фокусе. И ещё один нюанс: особого смысла делать фотографии с полным разрешением в десяток-другой мегапикселей смысла нет. Достаточно будет 3-4 мегапикселей. Важнее, чтобы объект занимал по возможности большую часть кадра. И ещё, ни в коем случае не используйте телескопические или fish-eye объективы!

В любом случае всё «приходит с опытом». Придётся отснять не один десяток фотографий, прежде чем получится достойная модель. Потренируйтесь сначала на каких-нибудь простых геометрических фигурах, расположенных на однородном фоне. Кстати, попытка воссоздать сложные поверхности вроде меха или волос практически наверняка будет провальной. А пока рассмотрим вкратце работу с программой. Тут всё очень просто. После запуска кликаем Create a new Photo Scene и выбираем фотографии, по которым будет строиться объект. Для начала стоит взять набор из 15-20 кадров, снятых с разных ракурсов, но под одним углом к поверхности, на которой стоит объект. Потом можно будет добавить к сцене и другие фото.

Нажимаем кнопку Compute Photo Scene, вводим имя и e-mail и соглашаемся с условиями использования сервиса. Обязательно вводите рабочий почтовый адрес, так как на него потом будут приходить уведомления и ссылки на готовые сцены. Впрочем, если у вас есть желание и время, то в следующем диалоге можно выбрать Wait вместо Email Me. Тогда программа свернётся и в фоне загрузит все фотографии на сервер, дождётся результата и снова активируется. В среднем загрузка файлов на сервер занимает несколько минут, а время выдачи готового результата составляет не более 10-15 минут. Если вы добавляете к сцене ещё несколько фотографий или меняете её, то все файлы заново заливаются на сервер и обсчитываются, что несколько раздражает.

Через некоторое время в 123D Catch будет загружена готовая сцена (в настройках можно задавать её качество, то есть детализацию). Эту сцену необходимо сохранить в небольшой 3dp-файл, который можно будет открыть и на другом ПК, так как фотографии и всё остальное всё равно будет загружено с серверов Autodesk. Готовую сцену можно экспортировать в некоторые популярные форматы (DWG, OBJ и другие). В идеальном случае сервис автоматически будет «сшивать» фотографии в 3D-модель. Но и ему свойственно ошибаться. Необработанные кадры помечаются иконкой с восклицательным знаком. Их можно удалить или же вручную откорректировать, кликнув правой кнопкой мыши и выбрав пункт Manual Stitch.

В открывшемся окне надо отметить одни и те же точки (желательно все четыре) на трёх выбранных фотографиях. После выбора точки на одной-двух фотографиях программа зачастую сама предлагает точку на третьей. Можно кликнуть по ней и точно спозиционировать её при большом увеличении. После корректировки модель снова отправится на обсчёт в облако. Помимо экспорта объекта можно сделать видеоролик, задав позиции камеры и задержку на каждой из них. Например, облёт вокруг модели или панораму (если вы снимали какую-нибудь площадь, находясь в её центре). Видео кодируется уже на клиентской машине, а не в облаке.

Теперь перейдём к двум другим бесплатным сервисам — Hypr3D и My3DScanner, которые отличаются от 123D Catch несколько менее детализированными 3D-моделями на выходе. Оба требуют обязательной регистрации и не предполагают какого-либо вмешательства в процесс рендеринга модели. То есть после загрузки фото или видео вам остаётся только ждать готового результата или, если не повезёт, сообщения об ошибке. Поэтому здесь гораздо важнее сразу же сделать хорошие исходные фотографии. По большому счёту рекомендации по съёмке остаются такими же, как и для 123D Catch. Но есть несколько важных нюансов. Просмотрите список наиболее частых ошибок с примерами того, как делать не надо.

Пример съёмки объекта для Hypr3D

Опять-таки не годятся прозрачные или бликующие, а также движущиеся объекты, нетекстурированный фон (или с повторяющейся структурой), объективы с сильными искажениями, очень однородный или движущийся фон, расфокусировка и смазанность в кадре, неровное и недостаточное освещение, сильный шум на фото и так далее. Съёмка также должна вестись при перемещении камеры вокруг объекта. В итоге должно получиться где-то от 30 до 60 кадров с одним и тем же углом наклона камеры. Короче говоря, здесь тоже придётся помучиться, прежде чем начнут получаться хорошие 3D-модели.

Перейдём к особенностям работы с указанными сервисами. Начнём с Hypr3D. Нажимаем кнопку Upload и переходим к загрузке исходных файлов. Выбираем нужные изображения или видео, вбиваем название и теги для нашего проекта и жмём Submit for processing. У этого сервиса один нюанс: он без проблем работает с видео, снятым на iPhone/iPod Touch (обычно хватает полуминутного ролика с «облётом» объекта), но для всех прочих требует наличия thm-файла. Впрочем, сервису удалось успешно скормить файлы MOV и 3GP, снятые смартфонами.

Обычно отрисовка модели на основе фотографий занимает не более получаса. А вот работа с видеофайлами идёт гораздо дольше, так как фактически они разбиваются на отдельные кадры, что само по себе занимает минимум 20-30 минут. Готовую модель можно просмотреть вместе с текстурами в виде полигональной сетки или облака точек. По умолчанию она выставляется на всеобщее обозрение посетителям сервиса. Сцены экспортируются в форматы DAE, PLY или STL. Последний сразу же можно отправить печататься на 3D-принтере. У Hypr3D есть также платные опции редактирования модели и подготовки её к 3D-печати, а также собственно создания модели из металла, пластика, керамики и других материалов.

My3DScanner генерирует субъективно менее качественные модели, чем Hypr3D. Тем не менее пользоваться им вполне можно. Начать создание проекта надо с выбора пункта My Studio → Create. Задаём имя и загружаем фото или видео, обязательно упакованные в архив. Время обработки зависит от загруженности сервиса. На видео, естественно, уходит больше времени. А вообще даже примерные сроки назвать очень трудно. Один из тестовых примеров обработался за 20 минут, а на другой ушло почти три часа.

Модели можно просматривать в любом браузере с поддержкой WebGL в виде нетекстурированного объекта или облака точек. Экспорт доступен только в форматы OBJ и PLY. У My3DScanner есть забавный глюк: он нередко вполне успешно создаёт неплохую модель отснятого объекта, но при этом накрывает его своеобразным «куполом», тянущимся с краёв подставки, на которой стоит сам объект. В целях экономии создатели сервиса хранят готовые модели в течение нескольких дней, а потом удаляют. Так что позаботьтесь о сохранении ваших «оцифровок» в более надёжном месте.

У всех трёх сервисов качество готовых моделей хоть и удовлетворительное, но всё равно требует ручной доработки. В основном придётся «отрезать» лишние детали или подложку. По крайней мере большую часть работы по оцифровке объекта берёт на себя автоматика. После экспериментов с «облачными» сервисами можно потренироваться работать в standalone-приложениях вроде 3DSom (Strata Foto 3D CX), iModeller, PhotoModeller и других. Возни с ними больше, но и результат гораздо более впечатляющий. Ну а потом можно и вовсе окунуться в мир настоящего 3D-моделирования. Но это уже совсем другая история. Удачи!

Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

Создание 3D-моделей с помощью захвата объектов — WWDC21 — Видео

Скачать

♪ Играет басовая музыка ♪ ♪ Майкл Патрик Джонсон: Привет! Меня зовут Майкл Патрик Джонсон, и я инженер в команде захвата объектов.

Сегодня мы с моим коллегой Дэйвом Маккинноном покажем вам, как превращать объекты реального мира в 3D-модели с помощью нашего нового API фотограмметрии в macOS.

Возможно, вы уже знакомы с созданием приложений дополненной реальности с использованием наших фреймворков ARKit и RealityKit.

Возможно, вы также использовали Reality Composer и Reality Converter для создания 3D-моделей для дополненной реальности.

А теперь, с помощью Object Capture API, вы можете легко превращать изображения реальных объектов в подробные 3D-модели.

Допустим, перед вами на кухонном столе лежит свежеиспеченная пицца.

Выглядит аппетитно, правда? Предположим, мы хотим запечатлеть пиццу на переднем плане в виде 3D-модели.

Обычно вам нужно нанять профессионального художника на много часов для моделирования формы и текстуры.

Но, подождите, вам потребовалось всего несколько минут, чтобы испечь в собственной духовке! С Object Capture вы начинаете фотографировать свой объект со всех сторон.

Затем вы копируете изображения на Mac, который поддерживает новый API захвата объектов.

С помощью технологии компьютерного зрения, называемой «фотограмметрия», стопка 2D-изображений превращается в 3D-модель всего за несколько минут.

Выходная модель включает в себя как геометрическую сетку, так и различные карты материалов, и готова для добавления прямо в ваше приложение или просмотра в AR Quick Look.

Теперь давайте рассмотрим каждый из этих шагов более подробно.

Сначала вы фотографируете свой объект со всех сторон.

Изображения можно делать на iPhone или iPad, цифровую зеркальную камеру или даже дрон.

Вам просто нужно убедиться, что вы получаете четкие фотографии со всех сторон вокруг объекта.

Мы предоставим рекомендации по захвату позже в ходе сеанса.

Если вы снимаете на iPhone или iPad, мы можем использовать данные стереофонической глубины с поддерживаемых устройств, чтобы позволить восстановить фактический размер объекта, а также вектор гравитации, чтобы ваша модель автоматически создавалась с правой стороны.

После того, как вы создали папку с изображениями, вам нужно скопировать их на свой Mac, где вы сможете использовать API захвата объектов, чтобы превратить их в 3D-модель всего за несколько минут.

API поддерживается на последних компьютерах Mac на базе процессоров Intel, но будет работать быстрее всего на всех новейших компьютерах Apple Silicon Mac, поскольку мы можем использовать Apple Neural Engine для ускорения наших алгоритмов компьютерного зрения.

Мы также предоставляем HelloPhotogrammetry — пример приложения командной строки, которое поможет вам начать работу.

Вы также можете использовать его непосредственно в папке с изображениями, чтобы попытаться построить модель для себя, прежде чем писать какой-либо код.

Наконец, вы можете просмотреть выходные модели USDZ прямо на своем Mac.

Мы можем предоставить модели с четырьмя уровнями детализации, оптимизированными для различных вариантов использования, которые мы подробнее обсудим позже.

Уменьшенные, средние и полные детали готовы к использованию прямо из коробки, как пицца, показанная здесь.

Raw предназначен для пользовательских рабочих процессов.

Выбрав вывод USDZ на среднем уровне детализации, вы сможете просмотреть новую модель в AR Quick Look прямо на своем iPhone или iPad.

И это все, что нужно для создания реалистичных объектов, оптимизированных для дополненной реальности! О, подождите, помните пиццу раньше? Мы должны признаться.

Это изображение на самом деле не было фотографией, оно было создано с помощью захвата объектов на нескольких пиццах.

Затем эти модели были объединены в эту сцену в инструменте постобработки и визуализированы с использованием трассировки лучей с расширенными картами материалов.

Как видите, Object Capture может поддерживать различные целевые варианты использования, от приложений дополненной реальности на iPhone или iPad до готовых к съемкам производственных ресурсов.

В оставшейся части этого занятия мы покажем вам, как начать работу с API захвата объектов, а затем предложим наши передовые методы для достижения результатов высочайшего качества.

В разделе «Начало работы» мы более подробно рассмотрим API захвата объектов и представим основные концепции кода для создания приложения.

Далее мы обсудим передовые методы захвата изображений, выбора объектов и выбора уровня детализации.

Начнем с основных этапов использования API в macOS.

В этом разделе вы узнаете об основных компонентах API захвата объектов и о том, как их объединить.

Допустим, у нас есть новые крутые кроссовки, которые мы хотим превратить в 3D-модель для просмотра в дополненной реальности.

Здесь мы видим графическую схему основного рабочего процесса, который мы рассмотрим в этом разделе.

В этом процессе есть два основных шага: Настройка, когда мы указываем на наш набор изображений объекта; а затем процесс, где мы запрашиваем создание моделей, которые мы хотим построить.

Сначала мы сосредоточимся на блоке Setup, который состоит из двух подшагов: создание сеанса и последующее подключение связанного с ним выходного потока.

Как только у нас будет действительный сеанс, мы можем использовать его для создания наших моделей.

Первое, что нам нужно сделать, это создать PhotogrammetrySession.

Для создания сеанса предположим, что у вас уже есть папка с изображениями объекта.

Мы предоставили несколько примеров папок захвата изображений в документации по API, чтобы вы могли быстро приступить к работе.

PhotogrammetrySession — это основной класс верхнего уровня в API и главная точка управления.

Сеанс можно рассматривать как контейнер для фиксированного набора изображений, к которым будут применяться алгоритмы фотограмметрии для создания итоговой 3D-модели.

Здесь у нас есть 123 изображения кроссовок HEIC, сделанные с помощью iPhone 12 Pro Max.

В настоящее время существует несколько способов указать набор используемых изображений.

Самый простой — это просто URL-адрес файла в каталоге изображений.

Сеанс будет принимать их один за другим и сообщать обо всех возникших проблемах.

Если в изображения HEIC встроены данные о глубине, они будут автоматически использоваться для восстановления фактического масштаба объекта.

Хотя мы ожидаем, что большинство людей предпочтут входные данные из папок, мы также предлагаем интерфейс для расширенных рабочих процессов, обеспечивающий последовательность пользовательских образцов.

PhotogrammetrySample включает изображение и другие необязательные данные, такие как карта глубины, вектор силы тяжести или пользовательская маска сегментации.

После того, как вы создали сессию из источника ввода, вы будете делать запросы на реконструкцию модели.

Сеанс будет выводить результирующие модели, а также сообщения о состоянии в своем потоке выходных сообщений.

Теперь, когда мы узнали, что такое сеанс, давайте посмотрим, как его создать с помощью API.

Здесь мы видим код для выполнения первоначальной настройки сеанса из папки изображений.

Сеанс PhotogrammetrySession находится в среде RealityKit.

Сначала мы указываем входную папку как URL-адрес файла.

Здесь мы предполагаем, что у нас уже есть папка на локальном диске, содержащая изображения наших кроссовок.

Наконец, мы создаем сеанс, передавая URL-адрес в качестве источника ввода.

Инициализатор выдаст ошибку, если путь не существует или не может быть прочитан.

При желании вы можете указать дополнительные параметры конфигурации, но здесь мы просто будем использовать значения по умолчанию.

Это все, что нужно для создания сеанса! Теперь, когда мы успешно создали объект сеанса, нам нужно подключить выходной поток сеанса, чтобы мы могли обрабатывать сообщения по мере их поступления.

После подключения потока сообщений мы увидим, как запрашивать модели, которые затем поступят в этот поток.

Мы используем AsyncSequence — новую функцию Swift в этом году — для обеспечения потока выходных данных.

Выходные сообщения включают результаты запросов, а также сообщения о состоянии, такие как обновления хода выполнения.

Как только мы выполним первый вызов процесса, сообщения начнут поступать в выходной поток сообщений.

Последовательность выходных сообщений не завершится, пока сессия активна.

Он будет продолжать выдавать сообщения до тех пор, пока сессия не будет деинициализирована или в случае фатальной ошибки.

Теперь давайте подробнее рассмотрим типы сообщений, которые мы будем получать.

После выполнения запроса мы ожидаем периодического получения сообщений requestProgress с оценкой доли выполненных запросов для каждого запроса.

Если вы создаете приложение, которое вызывает API захвата объектов, вы можете использовать их для управления индикатором выполнения для каждого запроса, чтобы указать статус.

После обработки запроса мы получаем сообщение requestComplete, содержащее результирующую полезную нагрузку, например модель или ограничивающую рамку.

Если во время обработки что-то пошло не так, вместо этого для этого запроса будет выведена ошибка requestError.

Для удобства после завершения обработки всех запросов в очереди выводится сообщение processingComplete.

Теперь, когда мы познакомились с концепцией потока вывода сеанса и увидели основные выходные сообщения, давайте взглянем на пример кода, обрабатывающего поток сообщений.

Как только мы это получим, мы посмотрим, как запросить модель.

Вот код, создающий асинхронную задачу, которая обрабатывает сообщения по мере их поступления.

Может показаться, что кода много, но, как мы увидим, большая его часть представляет собой просто диспетчеризацию сообщений.

Мы используем цикл «for try await» для асинхронного перебора сообщений в session.outputs по мере их поступления.

Основная часть кода — это диспетчер сообщений, который включает вывод сообщения.

Вывод представляет собой перечисление с различными типами сообщений и полезной нагрузкой.

Каждый оператор case будет обрабатывать отдельное сообщение.

Давайте пройдемся по ним.

Во-первых, если мы получим сообщение о ходе выполнения, мы просто распечатаем значение.

Обратите внимание, что мы получаем сообщения о ходе выполнения каждого запроса.

В нашем примере, когда запрос завершен, мы ожидаем, что полезной нагрузкой результата будет файл модели с URL-адресом, по которому была сохранена модель.

Сейчас мы увидим, как сделать такой запрос.

Если запрос не выполнен из-за ошибки фотограмметрии, вместо этого мы получим сообщение об ошибке.

После завершения всего набора запросов от вызова процесса создается сообщение processingComplete.

Для приложения командной строки здесь можно выйти из приложения.

Наконец, есть и другие сообщения о состоянии, о которых вы можете прочитать в документации, например, предупреждения об изображениях в папке, которые не удалось загрузить.

Вот и все для обработки сообщений! Эта задача обработки сообщений будет продолжать повторять и обрабатывать сообщения асинхронно до тех пор, пока существует сеанс.

Хорошо, давайте посмотрим, где мы находимся в нашем рабочем процессе.

Мы полностью завершили этап установки и готовы к работе.

Теперь мы готовы делать запросы на обработку моделей.

Прежде чем мы перейдем к коду, давайте подробнее рассмотрим различные типы запросов, которые мы можем делать.

Существует три различных типа данных, которые вы можете получить из сеанса: ModelFile, ModelEntity и BoundingBox.

Эти типы имеют связанный регистр в перечислении Request: modelFile, modelEntity и bounds; каждый с разными параметрами.

Запрос modelFile является наиболее распространенным, и именно его мы будем использовать в нашем основном рабочем процессе.

Вы просто создаете запрос modelFile, указав URL-адрес файла с расширением USDZ, а также уровень детализации.

Существует необязательный параметр геометрии для использования в интерактивном рабочем процессе, но здесь мы его использовать не будем.

Для более сложных конвейеров постобработки, где могут потребоваться выходные форматы USDA или OBJ, вместо этого можно указать URL выходного каталога вместе с уровнем детализации.

Затем сеанс запишет файлы USDA и OBJ в эту папку вместе со всеми упомянутыми активами, такими как текстуры и материалы.

Приложение с графическим интерфейсом также может запрашивать RealityKit ModelEntity и BoundingBox для интерактивного предварительного просмотра и уточнения.

Запрос modelEntity также принимает уровень детализации и необязательную геометрию.

Запрос границ вернет расчетный объем захвата BoundingBox для объекта.

Это поле можно настроить в пользовательском интерфейсе, а затем передать в аргументе геометрии последующего запроса на настройку объема реконструкции.

Чуть позже мы увидим, как это работает.

Большинство запросов также имеют уровень детализации.

Уровень предварительного просмотра предназначен только для интерактивных рабочих процессов.

Очень низкое визуальное качество, но создается быстрее всего.

Основные уровни детализации в порядке возрастания качества и размера: «Уменьшенный», «Средний» и «Полный».

Все эти уровни готовы к использованию прямо из коробки.

Кроме того, уровень Raw предназначен для профессионального использования, и для его правильного использования потребуется рабочий процесс постобработки.

Мы обсудим их более подробно в разделе передового опыта.

Хорошо, теперь, когда мы увидели, какие типы запросов мы можем делать, давайте посмотрим, как это сделать в коде.

Теперь мы увидим, как одновременно сгенерировать две модели за один вызов, каждая с другим именем выходного файла и уровнем детализации.

Здесь мы видим первый вызов процесса в сеансе.

Обратите внимание, что он принимает массив запросов.

Так мы можем запросить сразу две модели.

Мы запросим одну модель с пониженным уровнем детализации и одну со средним уровнем детализации, каждая из которых будет сохранена в отдельный файл USDZ.

Одновременный запрос всех желаемых уровней детализации для захвата объекта в одном вызове позволяет движку совместно выполнять вычисления и создавать все модели быстрее, чем их последовательный запрос.

Вы даже можете запросить все уровни детализации одновременно.

Процесс может немедленно выдать ошибку, если запрос недействителен, например, если невозможно записать местоположение вывода.

Этот вызов возвращается немедленно, и вскоре в выходном потоке начнут появляться сообщения.

И это конец основного рабочего процесса! Вы создаете сеанс с вашими изображениями, подключаете поток вывода, а затем запрашиваете модели.

Время обработки каждой из ваших моделей будет зависеть от количества изображений и уровня качества.

После завершения обработки вы получите выходное сообщение о том, что модель доступна.

Вы можете открыть полученный файл USDZ кроссовок, которые вы создали, прямо на вашем Mac и просмотреть результаты в 3D под любым углом, включая низ.

Позже в этом уроке мы покажем вам, как добиться охвата всех сторон вашего объекта за один сеанс захвата, избегая необходимости объединять несколько захватов вместе.

Отлично выглядит! Теперь, когда вы ознакомились с основным рабочим процессом, мы дадим общий обзор более сложного интерактивного рабочего процесса, который также поддерживает API захвата объектов.

Интерактивный рабочий процесс позволяет внести несколько корректировок в предварительную модель перед окончательной реконструкцией, что может устранить необходимость редактирования модели после производства и оптимизировать использование памяти.

Во-первых, обратите внимание, что этап настройки и этап обработки на обоих концах этого рабочего процесса такие же, как и раньше.

Вы все равно создадите сеанс и подключите выходной поток.

Вы также будете запрашивать окончательные модели, как и раньше.

Однако обратите внимание, что мы добавили блок в середине, где представлен трехмерный пользовательский интерфейс для интерактивного редактирования модели предварительного просмотра.

Этот процесс повторяется до тех пор, пока вы не будете удовлетворены предварительным просмотром.

Затем вы можете продолжить делать окончательные запросы модели, как и раньше.

Сначала вы запрашиваете модель предварительного просмотра, указав запрос модели с уровнем детализации предварительного просмотра.

Модель для предварительного просмотра имеет низкое визуальное качество и создается максимально быстро.

Вы можете запросить файл модели и загрузить его самостоятельно или напрямую запросить объект RealityKit ModelEntity для отображения.

Как правило, одновременно выполняется запрос границ для предварительного просмотра и редактирования тома захвата.

Вы можете настроить объем захвата, чтобы удалить любую нежелательную геометрию в захвате, например пьедестал, необходимый для вертикального удержания объекта во время захвата.

Вы также можете настроить корневое преобразование для масштабирования, перемещения и поворота модели.

Свойство геометрии запроса, которое мы видели ранее, позволяет предоставить объем захвата и относительное корневое преобразование до создания модели.

Выводит 3D-модель, готовую к использованию.

Давайте посмотрим на этот процесс в действии.

Здесь мы видим пример интерактивного приложения захвата объектов, которое мы создали с помощью API для демонстрации этого интерактивного рабочего процесса.

Сначала выбираем папку Images, содержащую изображения декоративного камня, а также выходную папку, куда будет записан итоговый USDZ.

Затем мы нажимаем «Предварительный просмотр», чтобы запросить предварительную модель и предполагаемый объем захвата.

По прошествии некоторого времени появляется предварительная модель нашей скалы и ее объем захвата.

Но предположим, что нам нужна только верхняя часть скалы на выходе, как если бы нижняя часть находилась под землей.

Мы можем настроить ограничивающую рамку, чтобы избежать реконструкции нижней части модели.

Когда мы довольны, мы нажимаем Refine Model, чтобы создать новый предварительный просмотр, ограниченный этим измененным томом захвата.

Это также оптимизирует выходную модель только для этой части.

Когда уточненная модель будет готова, появится новый предварительный просмотр.

Вы можете видеть, что геометрия новой модели была обрезана, чтобы оставаться внутри коробки.

Это полезно для удаления ненужных элементов в кадре, таких как пьедестал, удерживающий объект.

Когда нас устроит обрезанный предварительный просмотр, мы можем выбрать окончательную визуализацию с полной детализацией, которая запускает процесс создания.

Через некоторое время полная детальная модель будет завершена и заменит предварительную модель.

Теперь мы можем видеть полную детализацию реальной модели, которая выглядит великолепно.

Модель сохраняется в выходном каталоге и готова к использованию без необходимости какой-либо дополнительной постобработки.

Вот и все, что нужно для начала работы с новым API захвата объектов.

Мы видели, как создать сеанс из источника ввода, такого как папка с изображениями.

Мы увидели, как подключить асинхронный поток вывода для отправки сообщений.

Затем мы увидели, как одновременно запрашивать две модели с разным уровнем детализации.

Наконец, мы описали интерактивный рабочий процесс на примере приложения RealityKit GUI для ObjectCapture.

Теперь я передам слово моему коллеге Дэйву Маккиннону, который расскажет о лучших методах захвата объектов.

Дэйв Маккиннон: Спасибо, Майкл.

Привет, меня зовут Дэйв Маккиннон, я инженер, работающий в группе захвата объектов.

В следующем разделе мы расскажем о передовых методах, которые помогут вам достичь результатов высочайшего качества.

Сначала мы рассмотрим советы и рекомендации по выбору объекта с нужными характеристиками.

Затем последовало обсуждение того, как контролировать условия окружающей среды и камеру, чтобы получить наилучшие результаты.

Далее мы рассмотрим, как использовать приложение CaptureSample.

Это приложение позволяет делать снимки в дополнение к данным о глубине и гравитации, чтобы восстановить истинный масштаб и ориентацию вашего объекта.

Мы иллюстрируем использование этого приложения как для захвата с руки, так и для захвата с поворотного стола.

Наконец, мы обсудим, как выбрать правильный уровень детализации вывода для вашего варианта использования, а также предоставим несколько ссылок для дальнейшего чтения.

Первое, что нужно учитывать при сканировании, — это выбрать объект с нужными характеристиками.

Для достижения наилучших результатов выберите объект с достаточной детализацией текстуры.

Если объект содержит бестекстурные или прозрачные области, на результирующем скане может отсутствовать детализация.

Кроме того, старайтесь избегать объектов с сильно отражающими областями.

Если объект отражающий, вы получите наилучшие результаты, рассеивая свет при сканировании.

Если вы планируете переворачивать объект во время захвата, убедитесь, что он жёсткий и не меняет форму.

Наконец, если вы хотите отсканировать объект с мелкими деталями поверхности, вам понадобится камера высокого разрешения в дополнение к большому количеству фотографий поверхности крупным планом, чтобы восстановить детали.

Сейчас мы продемонстрируем типичный процесс сканирования.

Во-первых, для достижения наилучших результатов поместите объект на незагроможденный фон, чтобы объект четко выделялся.

Базовый процесс включает в себя медленное перемещение вокруг объекта с однородным захватом его со всех сторон.

Если вы хотите реконструировать нижнюю часть объекта, переверните его и продолжайте снимать изображения.

При съемке старайтесь максимально увеличить часть поля зрения, захватывающую объект.

Это помогает API восстанавливать как можно больше деталей.

Один из способов сделать это — использовать портретный или ландшафтный режим в зависимости от размеров и ориентации объекта.

Также старайтесь поддерживать высокую степень перекрытия между изображениями.

В зависимости от объекта от 20 до 200 изображений крупным планом должно быть достаточно для получения хороших результатов.

Чтобы помочь вам начать снимать высококачественные фотографии с глубиной и гравитацией на iOS, мы предоставляем приложение CaptureSample.

Это можно использовать в качестве отправной точки для ваших собственных приложений.

Написан на SwiftUI и является частью документации для разработчиков.

Это приложение демонстрирует, как делать высококачественные фотографии для захвата объектов.

Имеет ручной режим и режим затвора по времени.

Вы также можете изменить приложение для синхронизации с проигрывателем.

В нем показано, как использовать iPhone и iPad с двойной камерой для сбора данных о глубине и встраивания их прямо в выходные файлы HEIC.

Приложение также показывает, как сохранять данные гравитации.

Вы можете просмотреть свою галерею, чтобы быстро убедиться, что у вас есть все фотографии хорошего качества с глубиной и гравитацией, и удалить неудачные снимки.

Папки Capture сохраняются в папке «Документы» приложения, откуда их легко скопировать на Mac с помощью iCloud или AirDrop.

Существуют также экраны справки, в которых обобщаются некоторые рекомендации по получению хорошего изображения, которые мы обсуждаем в этом разделе.

Вы также можете найти эту информацию в документации для разработчиков.

Для достижения наилучших результатов мы рекомендуем захват поворотного стола.

Чтобы начать работу, вам понадобится установка, как у нас.

Содержит устройство iOS для захвата, но вы также можете использовать цифровую зеркальную фотокамеру; механический поворотный стол для вращения объекта; несколько осветительных панелей в дополнение к легкой палатке.

Цель состоит в том, чтобы обеспечить равномерное освещение и избежать резких теней.

Для этого подойдет легкая палатка.

В этом случае приложение CaptureSample захватывает изображения, используя режим синхронизированного затвора, синхронизированный с движением поворотного стола.

Мы также можем перевернуть объект и сделать несколько проходов поворотным столом, чтобы захватить объект со всех сторон.

Вот результирующий файл USDZ из захвата поворотного стола, показанного в предварительном просмотре на macOS.

Теперь, когда мы рассмотрели советы и рекомендации по захвату изображений, давайте перейдем к нашему последнему разделу о том, как выбрать правильный выход.

Для сканирования доступно множество различных настроек детализации вывода.

Давайте посмотрим.

Вот таблица уровней детализации.

Поддерживаемые уровни показаны слева.

Уменьшенный и Средний оптимизированы для использования в Интернете и на мобильных устройствах, таких как просмотр 3D-контента в AR Quick Look.

Они имеют меньше треугольников и материальных каналов и, следовательно, потребляют меньше памяти.

Модели Full и Raw предназначены для высокопроизводительного интерактивного использования, такого как компьютерные игры или рабочие процессы постпродакшна.

Они имеют высочайшую геометрическую детализацию и позволяют выбирать между обожженными и необожженными материалами.

Пониженный и средний уровни детализации лучше всего подходят для контента, который вы хотите отображать в Интернете или на мобильных устройствах.

В этом случае Object Capture сожмет геометрическую информацию и информацию о материалах из необработанного результата до уровня, подходящего для отображения в приложениях дополненной реальности или с помощью функции быстрого просмотра дополненной реальности.

Оба уровня детализации, «Пониженный» и «Средний», содержат каналы материала PBR диффузного, нормального и окружающего затенения.

Если вы хотите отобразить один скан с высокой детализацией, Medium максимизирует качество по отношению к размеру файла, чтобы дать вам больше геометрических и материальных деталей.

Однако, если вы хотите отобразить несколько сканов в одной и той же сцене, вам следует использовать настройку «Пониженная детализация».

Если вы хотите узнать больше о том, как использовать Object Capture для создания мобильных или веб-приложений дополненной реальности, см. сеанс «AR Quick Look, знакомство с Object Capture».

Экспорт с полным выходным уровнем — отличный выбор для профессиональных рабочих процессов.

В этом случае вы получаете максимально подробную информацию о вашем сканировании.

Full оптимизирует геометрию скана и запекает детали в материал PBR, содержащий информацию о Diffuse, Normal, Ambient Occlusion, Roughness и Displacement.

Мы думаем, что этот выходной уровень даст вам все необходимое для самых сложных рендеров.

Наконец, если вам не нужно запекать материал или у вас есть собственный конвейер для этого, уровень Raw вернет максимальное количество полигонов вместе с максимальной детализацией диффузной текстуры для дальнейшей обработки.

Если вы хотите узнать больше о том, как использовать Object Capture для профессиональных рабочих процессов в macOS, см. раздел «Создание рабочих 3D-процессов с помощью USD».

И наконец, что наиболее важно, если вы планируете использовать сканирование как на iOS, так и на macOS, вы можете выбрать несколько уровней детализации, чтобы убедиться, что у вас есть все правильные результаты для текущих и будущих вариантов использования.

Вот и все.

Давайте вспомним, что мы узнали.

Сначала мы рассмотрели на примере основные концепции API захвата объектов.

Мы показали вам, как создать сеанс захвата объектов и использовать этот сеанс для обработки вашей коллекции изображений для создания 3D-модели.

Мы показали вам пример того, как API может поддерживать приложение интерактивного предварительного просмотра, чтобы вы могли настроить объем захвата и преобразование модели.

Далее мы рассмотрели рекомендации по сканированию.

Мы обсудили, какие типы объектов использовать, а также среду, освещение и настройки камеры, которые дают наилучшие результаты.

Наконец, мы обсудили, как выбрать правильные параметры детализации вывода для вашего приложения.

Если вы хотите узнать, как добавить Object Capture в свое собственное приложение, ознакомьтесь с приложениями для захвата iOS и CLI для обработки macOS, чтобы начать работу.

Наряду с этими приложениями поставляется множество примеров данных, которые воплощают передовой опыт и могут помочь при планировании того, как делать собственные сканы.

Кроме того, ознакомьтесь с подробной документацией по передовым методам онлайн на сайте developer.apple.com, а также с соответствующими сеансами WWDC.

Единственное, что вам остается, это выйти и использовать Object Capture для собственных сканирований.

Мы рады видеть, какие объекты вы будете сканировать и делиться ими.

♪

Преобразование 2D-изображений PNG, JPG в файл модели 3D-сетки STL Бесплатный онлайн-инструмент

Воспользуйтесь нашим бесплатным и быстрым онлайн-инструментом для преобразования файлов .2D-карты высот в форматах PNG и .JPG или логотип в файлы 3D-сетки/модели .STL (стереолитография), подходящие для печати на 3D-принтере или для загрузки в ваш любимый пакет для 3D-редактирования.

Процесс прост: после преобразования вашего изображения в оттенки серого в стандартном режиме наш инструмент исследует ваше 2D-изображение PNG и JPG (карта высот) и на основе яркости каждого пикселя создаст соответствующий «3D» пиксель, где высота пикселя определяется яркостью пикселя.Черный пиксель будет иметь высоту 0 мм и не будет включен в окончательную 3D-модель, однако белый пиксель будет иметь высоту, которую вы укажете после загрузки изображения.

В режиме Extrude наш инструмент обводит края вашего изображения и создает простые, но четкие 3D-модели из изображения, отлично подходящие для простых изображений. Режим Extrude Color также создает чистые 3D-модели, однако вместо изменения высоты модели в зависимости от яркости пикселя цвет пикселя используется непосредственно в окончательной модели для обеспечения цвета.

Файл 3D STL, созданный нашим инструментом, можно распечатать на 3D-принтере или, если вы хотите дополнительно обработать модель, его можно загрузить в большинство пакетов редактирования 3D-сетки, таких как Blender и т. д. Для разработчиков 3D-видеоигр/приложений это — это полезный инструмент для создания файлов 3D-сетки из изображений карт высот для использования в играх и других 3D-приложениях.

Нажмите кнопку » Загрузить файл » выше, чтобы начать. Ваше изображение/карта высот в формате PNG/JPG должно умещаться в пределах 600 x 600 пикселей, если оно больше этого размера, размер изображения будет соответствующим образом изменен.Как только вы отправите свое изображение, оно будет обработано как можно быстрее. Более сложные изображения могут занять больше времени, чем другие, поэтому наберитесь терпения.

Как превратить 2D-фотографии в 3D-модель с помощью Nvidia Kaolin и PyTorch — Учебное пособие по глубокому обучению 3D

Если вы читали мою последнюю статью о GANverse3D, то вы, вероятно, слышали о документе DIB-R, о котором я упоминал несколько раз. Это ключевой документ для 3D Deep Learning 2019 года.

В документе DIB-R представлен улучшенный дифференциальный рендерер как инструмент для решения одной из самых модных сейчас проблем глубокого обучения.

Для создания 3D-объектов из одного 2D-изображения.

Когда документ DIB-R был выпущен еще в 2019 году, он также включал исходный код. Но, к сожалению, отсутствовала модель машинного обучения, необходимая для запуска этого кода.

 $ conda create --name kaolin python=3.7 
 $ conda активировать каолин 

 git clone --recursive https://github.com/NVIDIAGameWorks/kaolin 
 cd kaolin 

  conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 -c pytorch  

 num_views = len(glob.glob(os.path.join(rendered_path,'*_rgb.png'))) 
 train_data = [] 
  для  i  в диапазоне  (num_views): 
 данных =  кал. io.render.import_synthetic_view  (
 rendered_path, i, rgb=  True , semantic=  True ) 
 train_data.append(data) 
 dataloader =  torch.utils.data.DataLoader  (train_data, batch_size=batch_size,shuffle=  True ,  pin_memory=True ) 
 

 потеря = (
 потеря_изображения * вес_изображения + 
 потеря_маски * вес_маски + 
 потеря_лапласиана * вес_лапласиана + 
 плоская_потеря * плоская_весность 
) 

 optim =  torch.optim.Adam  (params=[vertices, texture_map, vertice_shift],lr=lr) 
 scheduler = torch.optim.lr_scheduler.StepLR(optim, step_size=scheduler_step_size,=scheduler_gamma) 

  def  Recenter_vertices(vertices, vertice_shift): 
  """Перецентрировать вершины на vertice_shift для лучшей оптимизации"""  
 vertices_min = вершины.min(dim=1, keepdim=  True  )[0] 
 vertices_max = vertices.max(dim=1, keepdim=  True  )[0] 
 vertices_mid = (vertices_min + vertices_max) / 2 
 вершин = вершины - vertices_mid +  vertice_shift  
  возврат  вершин 

 потеря = (
 потеря_изображения * вес_изображения + 
 потеря_маски * вес_маски + 
 потеря_лапласиана * вес_лапласиана + 
 плоская_потеря * плоская_весность 
) 

  ### Обновление сетки ### 
  потеря.назад() 
 оптим.шаг() 

  импортный фундамент 
  импорт RealityKit 
  импортный комбайн 
 
  сессия последнего класса { 
  
  пусть inputFolder = URL (fileURLWithPath: "/Users/myUser/myPictures", isDirectory: true) 
  let outputFile = URL(fileURLWithPath: "/Users/myUser/result.долларов США") 
  var подписчик: AnyCancellable? 
 
  func run() выдает {
  } 
  } 
 

  пусть конфигурация = PhotogrammetrySession.Конфигурация() 
  let session = try PhotogrammetrySession( 
  ввод: inputFolder, 
 Конфигурация : конфигурация 
  ) 
 

  пусть запрос = PhotogrammetrySession.Request.modelFile(url: outputFile) 
 

  пусть семафор = DispatchSemaphore (значение: 0) 
 
  подписчик = session.output.sink(receiveCompletion: { завершение в 
  печать(завершение) 
  выход(0) 
  }, receiveValue: { вывод в 
  релейный выход { 
  кейс.обработкаПолная: 
  print("Обработка завершена") 
  семафор.сигнал() 
  случай .requestComplete (пусть запрос, пусть результат): 
  print("Запрос выполнен") 
  печать(запрос) 
  печать(результат) 
  семафор.сигнал() 
  случай .requestProgress (пусть запрос, пусть фракция будет завершена): 
  print("Выполняется запрос: \(fractionComplete)") 
  по умолчанию: 
  печать (вывод) 
  } 
  }) 
 
  попытка сеанса.процесс (запросы: [запрос]) 
 
  семафор.wait() 
 

  попробуй! Сессия().Выполнить() 
 

  пусть запрос = PhotogrammetrySession.Request.modelFile( 
  URL: outputFile, 
 Деталь : .preview 
  ) 
 

  переменная конфигурация = PhotogrammetrySession.Configuration() 
  конфигурация.sampleOverlap = .low 
  конфигурация.sampleOrdering = .unordered 
  конфигурация.featureSensitivity = .high