Трещина в камне становится неповрежденной поверхностью. Кредит: ICV — Tu Graz
Исследователи из Института визуальных вычислений позволили удалять объекты из живых записей трехмерных сред без задержки по времени, пока камера остается в движении.
Размещение цифровых объектов в реальную сцену теперь знакомо многим как дополненная реальность (AR). Его аналог, уменьшенная реальность (DR), менее хорошо известен: DR позволяет удалять объекты со сцены и заполнять результирующую пустоту правдоподобным образом.
Чтобы достичь этого в трехмерном пространстве, предыдущие методы потребовали много вычислительной мощности и могли генерировать адаптированную сцену только с задержкой времени, а иногда и неверными представлениями.
Команда во главе с Дитером Шмальстьегом, Шохей Мори и Денисом Калкофеном из Института визуальных вычислений в Технологическом университете Грац (TU Graz) вместе с командой Хидео Сайто в Университете Кейо в Японии преуспели в том, чтобы 3D -объекты исчезали в реальном времени, используя пониженную реальность, комбинируя различные технологии. Это позволяет просматривать комнату в прямом эфире через камеру в его измененной форме.
Кредит: Грац Университет технологии Photoshop для перемещения 3D -изображений
«Проще говоря, вы можете думать о уменьшенной реальности как о своего рода Photoshop для трехмерных сцен», — говорит Мори. «Некоторые люди могут сначала подумать о том, как они могут использовать его, чтобы удалить неприятные вещи из праздничных видео. Это сложно, но было бы возможно. Есть некоторые другие области, где приложения DR чрезвычайно полезны».
Это открывает новые перспективы в промышленности для моделирования неисправностей в учебных наборах данных для автономных транспортных средств или для эффективной предварительной визуализации (предварительной) сцен фильма в реальных местах фильма, которые выглядят совершенно иначе, от того, что желательно во время разведки местоположения.
DR также может внести вклад в медицинскую область, например, удалив отвлекающие элементы из области зрения камер записи во время хирургических процедур, чтобы обеспечить невозмутимый учебный материал для студентов.
Новая технология, называемая inpaintfusion, использует 2D Inpainting в качестве отправной точки, а затем объекты в конечном итоге удаляются со 3D -сцены. Пользовательские входы на 2D -экране проецируются в трехмерную сцену, чтобы сделать возможным определение снятых областей. Ключевой кадр служит отправной точкой, а правдоподобный фон создается путем сбора и слияния подходящих пикселей из окружающей среды объекта, который будет удален.
Чтобы достичь этого в 3D, информация о цвете и глубину данных отсканированной сцены оптимизирована одновременно, так что результат выглядит убедительным, даже если перспектива камеры изменяется. Проект удалось применять 3D-инпинтинг на объемные данные трехмерного изображения (многослойные изображения), что приводит к более высокому качеству восприятия расстояния объекта.
Отмеченный лист удаляется со сцены и заменяется реалистичным содержанием изображения. Кредит: ICV — Tu Graz Toolkits для более широкой аудитории
Самая большая проблема заключалась в том, чтобы сделать шаги обработки возможными в режиме реального времени. Исследователи использовали две разные технологии для этого: быстрое сопоставление патчей и многопоточное. При сопоставлении патчей, наиболее визуально очевидных окружающих пикселей для заполнения области, искали случайным образом для сбора и объединения соответствующих пикселей. Они не всегда должны быть самыми лучшими, но в целом, они предоставляют заслуживающий доверия материал наполнителя без необходимости рассчитать миллионы пикселей.
Многопользовательская программа использует способность компьютерных процессоров выполнять несколько процессов одновременно на каждом ядре процессора. В решении исследовательской группы по уменьшению реальности вычислительно интенсивный расчет 3D в области 3D проходит в фоновом режиме, в то время как основной поток контролирует визуализацию. Это позволяет пользователям видеть конечный результат без промедления и перемещаться по комнате без повторного появления объекта на изображении.
«Визуализация уменьшенной реальности в реальном времени является важным шагом для этой технологии»,-говорит Мори. «Теперь задача состоит в том, чтобы разработать соответствующие наборы инструментов, чтобы эти возможности могли быть доступны для более широкой аудитории. Другая цель — быстрая и эффективная генерация 3D -моделей из небольшого числа отдельных изображений. Это дало бы уменьшенную реальность дополнительное размер».
Предоставлено Грацем Технологическим Университетом
Цитирование: Уменьшенная реальность: изготовление объектов исчезает в режиме реального времени в живых записях (2025, 10 апреля), полученные 10 апреля 2025 года из этого документа, подлежит авторским правам. Помимо каких -либо справедливых сделок с целью частного исследования или исследования, никакая часть не может быть воспроизведена без письменного разрешения. Контент предоставляется только для информационных целей.
