Interecon может воссоздать функции взаимодействия в физическом мире, таких как движения головы вашего любимого бейблхеда, музыка на вашем старом iPod и то, как движется ваша кукла. Кредит: Алекс Шиппс/MIT CSAIL, с элементами исследователей.
Подумайте о своих самых ценных вещах. Во всем виртуальном мире разве не было бы здорово сохранить копию этого драгоценного предмета и всех воспоминаний, которые он содержит?
В настройках смешанной реальности вы можете создать цифровой близнец физического предмета, такой как старая кукла. Но трудно воспроизвести интерактивные элементы, например, как он движется, или звуки, которые он издает, — виды уникальных интерактивных функций, которые в первую очередь отличали игрушку.
Исследователи из лаборатории компьютерного и искусственного интеллекта MIT (CSAIL) стремились изменить это, и они имеют потенциальное решение. Их программа «Interecon» позволяет пользователям восстанавливать реальные объекты в мобильном приложении, а затем оживлять их в средах смешанной реальности.
Этот прототип может воссоздать функции взаимодействия в физическом мире, таких как головы вашего любимого Bobblehead, или воспроизведение классического видео на цифровой версии вашего винтажного телевизора. Это создает более жизнь и личное цифровое окружение при сохранении памяти.
Способность Interecon реконструировать интерактивный опыт различных предметов может сделать его полезным инструментом для учителей, объясняющих важные понятия, например, демонстрировать, как гравитация снимает объект. Это также может добавить новый визуальный компонент в музейные экспонаты, такие как анимирование картины или воплощение в жизнь исторический манекен (без страха персонажей из «Ночи в музее»).
В конце концов, Interecon может быть в состоянии преподавать операцию ученика врача или косметическую процедуру, визуализируя каждое движение, необходимое для выполнения задачи.
По словам исследователя CSAIL Zisu Li, ведущего автора статьи, опубликованного на инструменте, опубликованном на CSAIL. arxiv Сервер препринта.
«В то время как сфотографировать или видео — отличный способ сохранить память, эти цифровые копии статичны», — говорит Ли, который также является доктором философии. Студент в Гонконгском университете науки и техники.
«Мы обнаружили, что пользователи хотят реконструировать личные предметы, сохраняя при этом их интерактивность, чтобы обогатить свои воспоминания. С помощью силы смешанной реальности Interecon может сделать эти воспоминания дольше в виртуальных условиях в качестве интерактивных цифровых элементов».
Ли и ее коллеги представит Interecon на конференции ACM CHI 2025 года по человеческим факторам в вычислительных системах.
Сделать виртуальный мир более реалистичным
Чтобы сделать возможным цифровой интерактивность, команда впервые разработала приложение для iPhone. Используя камеру, вы сканируете элемент полностью трижды, чтобы убедиться, что он полностью захвачен.
Трехмерная модель может затем быть импортирована в интерфейс Interecon Mixed Reality, где вы можете отметить («сегмент») отдельные области, чтобы выбрать, какие части модели будут интерактивными (например, руки куклы, голова, торс и ноги). В качестве альтернативы вы можете использовать функцию, предоставленную Interecon для автоматической сегментации.
Интерфейс Interecon можно получить через гарнитуру смешанной реальности (например, Hololens 2 и Quest). Это позволяет вам выбрать программируемое движение для части предмета, который вы хотите анимировать после сегментировки вашей модели.
Варианты движения представлены в виде демонстраций движения, позволяющих вам поиграть с ними, прежде чем принять решение о том, что он, скажем, промельчающее движение, которое эмулирует, как движутся уши кролика. Вы даже можете ущипнуть определенную часть и исследовать различные способы анимировать ее, например, скольжение, свисание и маятниковые повороты.
Ваш старый iPod, оцифрованный
Команда показала, что Interecon также может вернуть себе интерфейс физических электронных устройств, таких как винтажный телевизор. После создания цифровой копии элемента вы можете настроить 3D -модель с различными интерфейсами.
Пользователи могут играть с примерами виджетов из разных интерфейсов перед выбором движения: экран (либо телевизионный дисплей, либо камеру Viewfinder), вращающаяся ручка (для, скажем, настройка громкости), кнопкой «Вкл/выключение» и ползунок (для изменения настройки на что-то вроде диджейского стенда).
Ли и его коллеги представили приложение, которое воссоздает интерактивность винтажного телевизора, включив виртуальные виджеты, такие как кнопка «Вкл/выключение», экран и переключатель канала на телевизионной модели, а также внедряет в нее старые видео. Это заставляет телевизионную модель ожидать. Вы также можете загрузить файлы MP3 и добавить «кнопку воспроизведения» в 3D -модель iPod, чтобы прослушать ваши любимые песни в смешанной реальности.
Исследователи считают, что Interecon открывает интригующие новые возможности в проектировании жизненных виртуальных сред. Пользовательский исследование подтвердило, что люди из разных областей делятся этим энтузиазмом, рассматривая его как простой для изучения и разнообразных в своей способности выражать богатство воспоминаний пользователей.
«Одна вещь, которую я действительно ценю, это то, что элементы, которые помнят пользователи, несовершенны», — говорит Фарам Фаруки С.М., еще один автор в статье, который также является филиалом CSAIL и Ph.D. Студент по электротехнике и информатике.
«Interecon привносит эти недостатки в смешанную реальность, точно воссоздавая то, что сделало личный предмет, как плюшевый мишка, пропущенный несколько кнопок такими особенными».
В связанном исследовании пользователи представили, как эта технология может быть применена к профессиональным сценариям, от обучения студентов -медиков, как выполнять операции по оказанию помощи путешественникам и исследователям ввести свои поездки и даже помогают дизайнерам моделей в экспериментировании с материалами.
Однако, прежде чем Interecon используется в более продвинутых настройках, команда хотела бы обновить свой физический двигатель моделирования до чего -то более точного. Это позволило бы применениям, таким как помогать ученику врача изучить точность точков, необходимую для выполнения определенных хирургических маневров.
Ли и Фаруки также могут включать в себя большие языковые модели и генеративные модели, которые могут воссоздать потерянные личные предметы в 3D -модели посредством описаний языка, а также объяснить особенности интерфейса.
Что касается следующих этапов исследователей, LI работает над более автоматическим и мощным трубопроводом, который может создать цифровые близнецы с более крупными физическими средами в смешанной реальности для конечных пользователей, таких как виртуальное офисное пространство. Фаруки стремится создать подход, который может физически воссоздать потерянные предметы через 3D -принтеры.
«Interecon представляет собой захватывающую новую границу в области смешанной реальности, выходя за рамки простой визуальной репликации, чтобы захватить уникальную интерактивность физических объектов», — говорит Ханванг Чжан, доцент в исследовании Ханванг Чжан.
«Эта технология может революционизировать образование, здравоохранение и культурные выставки, обеспечивая новый уровень погружения и личной связи с виртуальной средой».
Больше информации:
Zisu Li и др. arxiv (2025). Doi: 10.48550/arxiv.2502.09973
Информация журнала:
Arxiv предоставлен Массачусетским технологическим институтом
Эта история переиздана любезно предоставлена MIT News (web.mit.edu/newsoffice/), популярный сайт, который охватывает новости о исследованиях, инновациях и преподавании MIT.
Цитирование: Новый способ донести личные вещи в смешанную реальность (2025, 8 апреля), полученный 9 апреля 2025 года из этого документа, подлежит авторским правам. Помимо каких -либо справедливых сделок с целью частного исследования или исследования, никакая часть не может быть воспроизведена без письменного разрешения. Контент предоставляется только для информационных целей.
