Онлайн-сервис на базе открытых моделей SAM 3D от Meta: укажите объект или человека на фотографии, получите текстурированный меш за секунды и выгрузите его в GLB или PLY без локальной видеокарты.
Пользовались этим инструментом? Оцените его
Пользовались этим инструментом? Оцените его
SAM 3D — это работающий в браузере сервис по адресу sam3d.org, который превращает одну обычную фотографию в текстурированный трёхмерный меш, доступный для скачивания и открытия в привычных программах для работы с 3D. Вы загружаете одно изображение, указываете на нужный объект или человека и получаете геометрию, текстуру и позу — включая правдоподобные поверхности с той стороны, которую камера никогда не видела. Ни поворотного стола, ни съёмки с множества ракурсов, ни фотограмметрического конвейера, за которым нужно следить.
Первое, что стоит прояснить, — это принадлежность сервиса, потому что название легко вводит в заблуждение. Этот сайт не принадлежит Meta. В разделе часто задаваемых вопросов на самом сайте прямо указано, что проект является независимым и не связан с Meta. Что здесь на самом деле происходит: независимый оператор размещает у себя открыто опубликованные Meta веса моделей SAM 3D и продаёт доступ к ним через собственный веб-интерфейс, собственную систему оплаты и собственный просмотрщик. Формулировка на главной странице подкупает прямотой: превратить любое фото в детализированные реалистичные 3D-объекты на основе открытых моделей SAM 3D от Meta, без установки и без видеокарты. Эта фраза честно описывает всё ценностное предложение: интеллект берётся из исследований вышестоящей стороны, а продаётся удобный доступ к ним.
Понимание этого разделения на два слоя влияет практически на каждое практическое решение, которое вы примете с этим инструментом. Качество реконструкции, характер ошибок и лицензионные условия на уровне модели восходят к исходным моделям и их задокументированному поведению. Цена, учёт кредитов, ограничения на загрузку, хранение данных и поддержка целиком остаются на стороне оператора. Оценивайте эти слои раздельно: модель решает, годится ли ваш меш, а оператор решает, сколько вы платите и что происходит с вашими загрузками.
Две самостоятельные линии реконструкции. SAM 3D Objects отвечает за реконструкцию объектов с учётом сцены: вы выбираете любой предмет на фотографии и получаете меш с информацией о позе, даже если кадр перегружен. SAM 3D Body — отдельная линия для людей, восстанавливающая позу и форму тела по одному снимку. Точки входа разделены потому, что задачи действительно разные: одна предсказывает геометрию произвольного объекта, другая подгоняет параметризованное представление человеческого тела.
Выбор через подсказку вместо ручной маски. Указать цель можно тремя способами: текстовым описанием, кликом или рамкой. Написать «деревянный табурет» — вполне законный способ выделить объект, ровно как и один клик по нему. Это прямое наследие линейки Segment Anything, чьим ключевым вкладом как раз и была интерактивная сегментация с открытым словарём.
Скрытая и обратная геометрия достраивается, а не остаётся пустой. Одна фотография не содержит никаких сведений об обратной стороне предмета, поэтому модель придумывает правдоподобную изнанку вместо плоской карточки или открытой оболочки. На выходе получается замкнутый объект, который можно смотреть с любого ракурса. Это выдумка, а не измерение, — именно такую сделку вы заключаете, выбирая реконструкцию по одному кадру.
Скелет и мягкие ткани разнесены в риге тела. Линия для людей опирается на Meta Momentum Human Rig — представление, в котором скелетная структура и форма мягких тканей остаются разделяемыми составляющими. Тому, кто собирается анимировать результат, это гораздо полезнее нерасчленённого набора вершин, поскольку позу и телосложение можно править независимо друг от друга.
Стандартные форматы экспорта, готовые для движков. Объекты выгружаются в GLB для игр и веб-приложений, в облака точек PLY для технических процессов либо целым архивом ZIP со всеми форматами сразу. Выгруженные файлы описываются как готовые к немедленному использованию в Unity, Unreal, Blender и других стандартных 3D-программах, поэтому GLB — разумный выбор по умолчанию, если только следующий инструмент в цепочке не требует именно точечных данных.
Просмотрщик в браузере до того, как потрачена загрузка. Полученные меши можно вращать, приближать и рассматривать в интерактивном просмотрщике прямо на странице. Это важнее, чем кажется: ошибки реконструкции по одному кадру бросаются в глаза в трёхчетвертном развороте и совершенно незаметны с исходного ракурса съёмки, так что осмотр до подтверждения экономит реальное время.
Вспомогательные просмотрщики форматов. Помимо генерации на сайте размещены отдельные онлайн-просмотрщики для распространённых обменных 3D-файлов: GLB, PLY, OBJ, FBX, GLTF, STL и DAE. Это периферийные утилиты, а не основной продукт, но они выручают, когда нужно быстро проверить файл, не запуская тяжёлое приложение.
Визуализация товаров в электронной торговле. У небольшого продавца каталожная фотография зачастую единственный имеющийся материал, а заказывать 3D-сканирование на каждую позицию непозволительно дорого. Реконструкция вращаемой модели из уже имеющегося снимка открывает размещение товара в интерьере покупателя и обзор на 360 градусов. Относитесь к результату как к материалу для показа, а не как к размерно точной копии: он начнёт выглядеть правильно намного раньше, чем станет правильно измеряться.
Быстрая расстановка блоков в играх и прототипах. Дизайнерам уровней постоянно нужен стул, ящик, самокат или столбик, у которого достаточно узнаваемого силуэта, пока настоящая графика ещё в работе. Сгенерировать GLB по референсному фото и положить его в Unity или Unreal — вопрос минут. Многие такие заглушки позже заменяются, поэтому скорость генерации ценится выше качества топологии.
Референс персонажа и базовые меши. Линия для тела превращает референсную фотографию в полный рост в позированный меш, который художник по персонажам использует как каркас пропорций. Она заменяет черновой блокинг перед скульптингом, а не готового персонажа, но начинать с примерно верного человеческого силуэта всё же лучше, чем со сферы.
Наполнение сцен AR и VR. Иммерсивные сцены вечно голодны до реквизита, а GLB — полноправный гражданин большинства конвейеров WebXR и мобильной дополненной реальности. Если сфотографировать предметы того самого реального помещения, которое вы воссоздаёте, и реконструировать их поштучно, набор получится узнаваемо привязанным к месту, а не отдающим универсальной библиотекой ассетов.
Образование, архивирование и научная визуализация. У музеев, преподавателей и полевых исследователей часто есть только фотографии образцов, артефактов или оборудования, которые уже нельзя отсканировать физически. Грубая трёхмерная модель, построенная по архивному снимку, вполне поддерживает интерактивный учебный материал и разговор о пространстве — при условии, что приближённый характер геометрии честно проговаривается аудитории.
Эксперименты в компьютерном зрении без своей инфраструктуры. Исследователям и инженерам, желающим увидеть поведение этих моделей на собственных изображениях до решения о самостоятельном развёртывании, достаточно прогнать несколько показательных кадров. Самостоятельный запуск тех же открытых весов задокументированно требует 64-разрядной среды Linux и видеокарты NVIDIA не менее чем с 32 ГБ видеопамяти, так что размещённый сервис — самый дешёвый способ ответить на вопрос, стоит ли под это покупать оборудование.
Выберите линию, подходящую вашему объекту. Неодушевлённые предметы, мебель, товары и реквизит сцены отправляйте во вход Objects, а фотографии людей — во вход Body. Человек, поданный в объектную линию, обычно превращается в скованный статуарный меш, полностью лишённый той структуры рига, которая и делает модель тела полезной.
Подготовьте вход, который модель действительно сможет прочитать. Загрузка принимает файлы JPEG, PNG и WebP объёмом до 10 МБ. Выберите кадр, где объект не перекрыт, разумно освещён и достаточно крупен. Поскольку обратная сторона выводится, а не наблюдается, трёхчетвертной ракурс, открывающий сразу две грани предмета, даёт модели заметно больше материала, чем плоский снимок в лоб.
Выделите объект. Задокументированный объектный процесс — это цикл из четырёх шагов: загрузить изображение, выбрать объект, сгенерировать 3D-модель, затем скачать её. На шаге выбора опишите предмет словами, кликните по нему или обведите рамкой, а затем убедитесь, что полученная маска плотно облегает настоящий силуэт. Маска, вытекающая на фон или захватывающая соседний предмет, перенесёт эту ошибку прямо в геометрию, поэтому переспросить здесь выгоднее, чем чинить потом.
Сгенерируйте и осмотрите с непривычных ракурсов. Запустите реконструкцию и сразу же покрутите результат в просмотрщике. Смотрите прицельно на поверхность, которую камера не видела, на тонкие структуры вроде ручек и ножек и на любую область, перекрытую в исходном кадре. Именно там реконструкция по одному изображению собирает свои ошибки.
Экспортируйте в том формате, который ждёт получатель. GLB — для игровых движков, рендереров реального времени и веб-просмотрщиков; PLY — когда технический конвейер ожидает точечные данные; архив ZIP — когда хочется сохранить свободу манёвра. Для реконструкций человека практической целью экспорта служит GLB.
Приведите модель в порядок до боевого применения. Импортируйте в Blender или привычный пакет и закладывайте ретопологию, работу с развёрткой либо упрощение сетки в зависимости от того, куда пойдёт объект. Считайте скачанный файл хорошей заготовкой, а не готовым к сдаче результатом.
Снимайте ради реконструкции, а не ради красоты. Если камера в ваших руках, берите объект целиком с трёхчетвертного ракурса на фоне, который с ним контрастирует. Рассеянный ровный свет лучше драматичного: жёсткие тени прочитываются как геометрия и запекаются в текстуру.
Плохую маску чините на этапе маски. Почти каждый разочаровывающий меш восходит к слегка неверному выделению. Переформулируйте точнее, добавьте клик, сузьте рамку. Тридцать секунд, потраченные на маску, надёжно экономят одну впустую сожжённую генерацию.
Выделяйте по одному, а не реконструируйте сцены целиком. Кадрирование до единственного хорошо отделённого предмета обычно выигрывает у попытки скормить плотную композицию в надежде, что модель разберётся. Нужна сцена — реконструируйте предметы по отдельности и соберите их в своей 3D-программе, где расстановка полностью под вашим контролем.
Планируйте не только деньги, но и число генераций. Поскольку кредиты и запросы сегментации учитываются раздельно, привычка сегментировать несколько вариантов выделения и генерировать только из лучшего расходует квоту заметно эффективнее. Сегментация — дешёвый шаг, генерация — дорогой.
Проверяйте масштаб вручную. Реконструкция по одному изображению не несёт никакой абсолютной масштабной привязки. После импорта задайте размер хотя бы одного объекта по известной реальной величине, прежде чем строить что-то вокруг него.
Не используйте меш как измерительный прибор. Везде, где размеры имеют последствия — изготовление, подгонка, медицинские или связанные с безопасностью работы, — берите настоящий измерительный инструмент. Эти модели визуально правдоподобны, а это не то же самое, что метрически верны.
Проверьте цепочку прав до коммерческого выпуска. Права распадаются на два слоя: ваше право использовать результат сервиса и ваше право на то, что изображено на исходной фотографии. Свободная лицензия вышестоящей модели не даёт вам прав на чужой промышленный дизайн, чужое произведение искусства или чужое изображение.
Независимые разработчики игр и технические художники, которым реквизит и болванки нужны быстрее, чем их способен поставлять конвейер моделирования, и кто готов дочищать меши потом.
Команды электронной торговли и продуктового маркетинга, сидящие на больших каталогах плоской предметной съёмки и желающие получить интерактивные вращаемые витрины, не заказывая 3D-съёмку под каждую позицию.
Создатели AR/VR и WebXR, которым нужен реквизит в GLB для наполнения иммерсивных сцен и для кого скорость оборота важнее полигональной вылизанности.
Универсалы и любители 3D, исследующие, что сегодняшняя реконструкция по одному кадру умеет, а чего не умеет, и предпочитающие небольшую подписку сборке рабочей станции.
Инженеры и исследователи компьютерного зрения, оценивающие семейство SAM 3D на собственных изображениях до решения о развёртывании открытых весов у себя.
Преподаватели и авторы контента, которым нужны интерактивные трёхмерные иллюстрации из уже имеющихся снимков для занятий, объяснительных материалов или видео.
Художники по персонажам, которым нужен пропорционально осмысленный базовый меш человека по референсному фото — как отправная точка для скульптинга, а не готовый персонаж.
Прототипировщики и дизайнеры, которым на этапе концепции и компоновки нужен быстрый пространственный дублёр предмета, где приближения вполне достаточно.
Веб-браузер и есть весь продукт. Сервис работает в браузере, вычисления выполняются на стороне сервера. Ни настольного приложения, ни мобильного, ни расширения браузера не заявлено, и это осознанная конструкция: смысл размещённого сервиса как раз в том, что тяжёлые вычисления происходят не на вашей машине.
Результат, попадающий в стандартные 3D-программы. Выгруженные файлы описываются как готовые к немедленному использованию в Unity, Unreal, Blender и других стандартных 3D-программах. GLB в особенности поддерживается очень широко — движками, веб-просмотрщиками и современными пакетами для создания контента.
Просмотрщики форматов на том же сайте. Онлайн-просмотрщики доступны для файлов GLB, PLY, OBJ, FBX, GLTF, STL и DAE — удобно для быстрой проверки без запуска тяжёлого софта.
Самостоятельное развёртывание как альтернативный путь. Поскольку базовые модели опубликованы открыто, запустить их у себя — вполне реальный вариант. Самостоятельный запуск тех же открытых весов задокументированно требует 64-разрядной среды Linux и видеокарты NVIDIA не менее чем с 32 ГБ видеопамяти. Именно это требование к железу яснее всего объясняет, зачем вообще существует размещённая витрина.
Публичного тарифа с API не заявлено. Сайт не рекламирует в составе тарифов ни документированный интерфейс для разработчиков, ни комплект разработки. Командам, которым нужна программная пакетная реконструкция, стоит рассмотреть самостоятельное развёртывание либо платформу вывода, публикующую эти модели в виде конечной точки. (требует проверки)
Доступ построен на подписке с тремя опубликованными уровнями — Basic, Pro и Max, — причём годовая оплата заявлена вдвое дешевле помесячной. Уровни различаются объёмом, а не возможностями: во всех трёх перечислен один и тот же набор функций, и вверх меняется лишь то, сколько можно обработать за месяц. Каждый уровень отмеряет два раздельных бюджета: запас ежемесячных кредитов на генерацию и отдельную ежемесячную квоту на запросы сегментации изображений. Эту двойную бухгалтерию стоит осмыслить до оформления подписки, потому что рабочий процесс с перебором множества вариантов выделения быстро съедает квоту сегментации, почти не трогая кредиты генерации, а пакетная конвертация ведёт себя ровно наоборот. В опубликованных уровнях указана и эффективная стоимость кредита, снижающаяся с ростом уровня, — обычная форма объёмной скидки.
Платные уровни заявляют снятие водяного знака, приоритетную скорость обработки и права на коммерческое использование как привилегии уровня тарифа. То, что снятие водяного знака вынесено в платные возможности, косвенно указывает на водяной знак в бесплатном или пробном результате, что для этой категории продуктов обычная практика. На странице тарифов сайт не публикует ни подробную бесплатную квоту, ни политику возврата средств, ни корпоративный договорной трек, а цены любого подписного сервиса со временем меняются. До принятия обязательств сверьте текущие ставки, точную стоимость одной генерации в кредитах и формулировки об условиях коммерческого использования прямо на странице тарифов — особенно если ваша работа зависит от этих коммерческих прав. (требует проверки)
Если вам нужна именно реконструкция по одному изображению, путей несколько, и различаются они прежде всего тем, кто их обслуживает. Самая прямая альтернатива — подняться к первоисточнику: веса SAM 3D опубликованы Meta открыто, поэтому самостоятельный запуск полностью убирает промежуточный слой ценой приобретения серьёзной видеокарты. У Meta есть и собственная размещённая площадка для знакомства с этими моделями — естественная первая остановка, если вы просто хотите посмотреть на результат исследования без подписки.
За пределами этого семейства моделей более широкая область генерации 3D по изображению и по тексту включает специализированные продукты, ориентированные на готовые для игр ассеты, и универсальные платформы вывода, публикующие множество открытых моделей — в том числе эту — за API с оплатой за вызов, что для автоматизированной пакетной работы подходит лучше подписки по числу мест. А там, где точность действительно важна, честной альтернативой оказывается вовсе не другой генератор: классическая фотограмметрия по грамотной многоракурсной съёмке или настоящий 3D-сканер по-прежнему дают измеримо корректную геометрию, недостижимую ни для одного одиночного кадра. Выбирайте по задаче: скорость и удобство указывают на размещённую генерацию, достоверность и доверие к размерам — на настоящую съёмку.
Разрешение и детализация ограничены сверху. Документация исходной модели прямо признаёт, что умеренное разрешение вывода ограничивает детализацию и что объектная модель не способна рассуждать о физических взаимодействиях вроде касания или взаимного проникновения. Тонкая фактура поверхности, острые механические рёбра и мелкие элементы будут сглажены или потеряны. Объекты, реконструированные по отдельности, могут проникать друг в друга при сборке, потому что ничто в конвейере не обеспечивает физическую состоятельность между ними.
Невидимая сторона придумана. Всё, что отвёрнуто от камеры, порождается из выученных априорных представлений, а не наблюдается. Для привычных симметричных предметов догадка нередко убедительна. Для асимметричных предметов и для всего, у чего на скрытой грани есть характерная деталь, изнанка окажется уверенно неверной. Всегда осматривайте объект сзади, прежде чем ему доверять.
У реконструкции человека есть задокументированные границы. Модель тела обрабатывает каждого человека по отдельности, не учитывая взаимодействия между несколькими людьми или между человеком и предметом. Групповая фотография не даст связно взаимодействующей группы, а тонкая артикуляция кистей остаётся известной слабостью универсальных моделей тела.
Меши не готовы к производству. Независимый практический обзор, ориентированный на аддитивное производство, заключил, что эти меши непригодны для прямой обработки в слайсере, сославшись на поверхности, которые не являются ни гладкими, ни герметичными. Тому, кто планирует печатать результат на 3D-принтере, следует заложить проход починки и перестроения сетки и не считать печатопригодность данностью.
Топология порождена, а не выстроена. Ожидайте плотные нерегулярные сетки без продуманного художником потока рёбер и без аккуратной развёртки. Для анимации, деформации или жёсткого бюджета полигонов ретопология перестаёт быть опцией.
Ограничения на вход вполне реальны. Загрузка ограничена форматами JPEG, PNG и WebP объёмом до 10 МБ, а реконструкция тела лучше всего работает по снимкам в полный рост. Низкое разрешение, сильное сжатие, смаз от движения или крайне косой ракурс ухудшают результат ещё до того, как модель приступит к работе.
Права многослойны, а маркетинговый язык это сплющивает. Исходный код распространяется по свободной лицензии, близкой к Apache 2.0, и бесплатен для коммерческого использования — именно это делает независимое размещение данных весов законным. Но эта лицензия управляет моделью, а не вашим входным изображением. Реконструкция защищённого авторским правом промышленного дизайна, произведения искусства или узнаваемого человека порождает обязательства, которых не снимает никакая лицензия на модель.
Приватность требует осознанного решения. Загрузить фотографию в любой размещённый сервис — значит передать её стороннему оператору. Снимки узнаваемых людей во многих юрисдикциях относятся к персональным данным, а реконструкция тела по своей сути является обработкой изображений людей. Сайт не публикует на видном месте срок хранения данных, поэтому уточните действующие условия, прежде чем загружать что-либо чувствительное, конфиденциальное или ещё не обнародованное. (требует проверки)
Долговечность оператора неизвестна. Это независимый сервис, построенный на чужих открытых моделях, а такая категория обновляется быстро. Скачивайте и архивируйте объекты, от которых зависите, вместо того чтобы считать сервис надёжным хранилищем.
Нет. Это независимый коммерческий сервис, размещающий открыто опубликованные Meta модели SAM 3D за собственным интерфейсом и собственной оплатой. В разделе часто задаваемых вопросов на самом сайте прямо указано, что проект является независимым и не связан с Meta. Если вам нужна именно собственная демонстрация от Meta или исходные исследовательские материалы, обращайтесь к официальным ресурсам Meta. Это различие существенно для поддержки, оплаты, условий приватности и любых коммерческих обязательств.
Одно изображение. Загрузка принимает файлы JPEG, PNG и WebP объёмом до 10 МБ. В отличие от фотограмметрии, набор снимков с разных ракурсов не требуется — в этом и весь смысл метода, и одновременно источник большинства его ограничений, ведь всё, чего нет в этом единственном кадре, приходится домысливать.
Объекты выгружаются в GLB для игр и веб-приложений, в облака точек PLY для технических процессов либо целым архивом ZIP со всеми форматами сразу. Реконструкции тела выгружаются в GLB. GLB — верное значение по умолчанию для всего, что идёт в игровой движок или веб-просмотрщик; PLY подходит техническим конвейерам, ожидающим точечные данные.
Платные уровни заявляют снятие водяного знака, приоритетную скорость обработки и права на коммерческое использование как привилегии уровня тарифа, и лицензия исходной модели разрешает коммерческое применение. Но это покрывает только инструмент и модель и не даёт вам прав на то, что изображено на вашей исходной фотографии: защищённый дизайн, произведение, логотип или узнаваемый человек несут собственные обязательства. Прочитайте действующие условия обслуживания и отдельно урегулируйте права на исходные снимки.
Достаточно хороши для визуализации, прототипирования, реквизита и референса; недостаточно, чтобы считаться измерением или финальной производственной геометрией. Документация исходной модели прямо признаёт, что умеренное разрешение вывода ограничивает детализацию и что объектная модель не способна рассуждать о физических взаимодействиях вроде касания или взаимного проникновения. Закладывайте проход доработки.
Надёжно — нет, без работы по починке. Независимый практический обзор, ориентированный на аддитивное производство, заключил, что эти меши непригодны для прямой обработки в слайсере, сославшись на поверхности, которые не являются ни гладкими, ни герметичными. Понадобится прогнать меш через инструменты починки и перестроения сетки и убедиться в герметичности, прежде чем нарезать его на слои.
Потому что барьер — это железо. Самостоятельный запуск тех же открытых весов задокументированно требует 64-разрядной среды Linux и видеокарты NVIDIA не менее чем с 32 ГБ видеопамяти. Если такое оборудование и готовность его обслуживать у вас уже есть, самостоятельное развёртывание при объёмах обходится дешевле и оставляет изображения в вашем контуре. Если нет, подписка превращает капитальные вложения и эксплуатационные хлопоты в ежемесячный платёж.
Это два независимых счётчика. Каждый уровень отмеряет два раздельных бюджета: запас ежемесячных кредитов на генерацию и отдельную ежемесячную квоту на запросы сегментации изображений. Выбор и уточнение маски расходуют квоту сегментации, а собственно построение трёхмерного меша расходует кредиты генерации. На практике это поощряет подход, при котором вы свободно сегментируете, пока не найдёте верное выделение, и только затем генерируете один раз.
Каждый человек обрабатывается независимо. Модель тела обрабатывает каждого человека по отдельности, не учитывая взаимодействия между несколькими людьми или между человеком и предметом. Вы можете реконструировать несколько фигур с одного снимка, но их взаимное расположение, касания и взаимодействие не будут смоделированы связно — расставлять их придётся самостоятельно в 3D-программе.
Сервис построен вокруг реконструкции по одному изображению, поэтому практический подход — извлечь из видео показательный кадр и использовать его как вход. Выбирайте кадр с минимальным смазом от движения, где объект не перекрыт и достаточно крупен. (на основе публичных данных)
