Предлагаемая установка достигает почти идеального выравнивания при низкой задержке для DFPM. Кредит: Наука Токио
Дополненная реальность (AR) стала горячей темой в отрасли развлечений, моды и макияжа. Хотя в этих областях существует несколько различных технологий, динамическое проекционное картирование лица (DFPM) является одним из самых сложных и визуально потрясающих. Вкратце, DFPM состоит из проецирования динамических визуальных эффектов на лицо человека в режиме реального времени, используя расширенное отслеживание лица, чтобы обеспечить беспрепятственную адаптацию к движениям и выражениям.
В то время как воображение в идеале должно быть единственным, что ограничивает то, что возможно с DFPM в AR, этот подход сдерживается техническими проблемами. Проецируя визуальные эффекты на движущуюся лицо подразумевает, что система DFPM может обнаружить особенности лица пользователя, такие как глаза, нос и рот, менее чем за миллисекунду.
Даже небольшие задержки в обработке или незначительных смещениях между координатами изображений камеры и проектора могут привести к ошибкам проекции — или «артефактам смещения» — которые зрители могут заметить, разрушив погружение.
На этом фоне исследовательская группа из Института науки Токио, Япония, намеревалась найти решения для существующих проблем в DFPM. Во главе с доцентом Йошихиро Ватанабе, в том числе аспирант г-ном Хао-Лун Пенг, команда представила ряд инновационных стратегий и методов и объединила их в современную высокоскоростную систему DFPM. Их выводы были опубликованы в IEEE транзакции на визуализацию и компьютерную графику 17 января 2025 года.
Во-первых, исследователи разработали гибридную технику, называемую «высокоскоростной метод отслеживания лица», который сочетает в себе два разных подхода параллельно для обнаружения достопримечательностей лица в режиме реального времени. Они использовали метод, называемый ансамблем деревьев регрессии (ERT) для реализации быстрого обнаружения.
Они также внедрили способ эффективного обрезка входящих изображений до лица пользователя, чтобы быстрее обнаружить достопримечательности; Они достигли этого, использовав временную информацию из предыдущих кадров, чтобы ограничить «область поиска». Чтобы помочь обнаружению на основе ERT восстановиться после ошибок или сложных ситуаций, они объединили его с более медленным вспомогательным методом, который обеспечивает высокую точность с более низкой скоростью.
Используя эту гениальную стратегию, исследователи достигли беспрецедентной скорости в DFPM. «Интегрируя результаты высокого разрешения, но медленное обнаружение и низкое определение, но методы быстрого обнаружения параллельно и компенсируя временные расхождения, мы достигли высокоскоростного исполнения всего за 0,107 миллисекунды, сохраняя при этом высокую точность»,-говорит Ватанабе.
Команда также решила насущную проблему: ограниченная доступность видео -данных для лицевых движений для обучения моделей. Они создали инновационный метод для имитации видео аннотаций с высокой точки зрения с использованием существующих наборов данных с изображением лиц. Это позволило их алгоритмам должным образом изучать информацию о движении с высокой частотой кадров.
Наконец, исследователи предложили настройку коэффициента сдвига линза с переключением линз, чтобы помочь минимизировать артефакты выравнивания. «Механизм сдвига линз, включенный в оптическую систему камеры, выравнивает ее с восходящей проекцией оптической системы проектора, что приводит к более точному выравниванию координат»,-объясняет Ватанабе. Таким образом, команда достигла высокого оптического выравнивания с ошибкой 1,274 пикселя для пользователей, расположенных между глубиной 1 м и 2 м.
В целом, различные методы, разработанные в этом исследовании, помогут продвинуть поле DFPM вперед, что приведет к более убедительным и гиперреалистичным эффектам, которые будут трансформировать представления, показы мод и художественные презентации.
Больше информации:
Hao-Lun Peng et al., Выравниваемое восприятием динамическое проекционное картирование лица с помощью высокоскоростного метода отслеживания лица и совместной настройки сдвига линзы, IEEE транзакции на визуализацию и компьютерную графику (2025). Doi: 10.1109/tvcg.2025.3527203
Предоставлено Институтом науки Токио
Цитирование: Высокоскоростное отслеживание лиц Увеличение опыта дополненной реальности (2025, 20 февраля), извлеченного 20 февраля 2025 года из этого документа, подлежит авторским правам. Помимо каких -либо справедливых сделок с целью частного исследования или исследования, никакая часть не может быть воспроизведена без письменного разрешения. Контент предоставляется только для информационных целей.
