Примеры оценочных трехмерных позов в наборе данных H2O: для отдельного примера в каждой строке рисунок представляет (а) входное изображение RGB, (b) наши запросы с ручным объектом, (c) карта контакта с территорией земли, (d) прогнозируемая карта контакта и (e) окончательные результаты оценки трехмерной позы соответственно. Кредит: Ульсанский национальный институт науки и техники
Была разработана новая структура с AI, предлагающая новые возможности для анализа в реальном времени двух рук, занимающихся манипулированием объектом.
Исследовательская команда, возглавляемая профессором Сынгриулом Бэком из аспирантуры Unist Artificial Intelligence, представила рамку, оптимизированную в реальном времени трансформатор в реальном времени (Qort-Former), которая точно оценивает 3D-позы двух рук и объект в режиме реального времени.
Работа была опубликована на arxiv Предварительный сервер и был представлен на ежегодной конференции AAAI по искусственному интеллекту (AAAI), Пенсильвания, сша.
В отличие от предыдущих методов, которые требуют существенных вычислительных ресурсов, Qort-Former достигает исключительной эффективности, сохраняя при этом современную точность.
Чтобы оптимизировать производительность, команда предложила новую стратегию подразделения запросов, которая улучшает функции запросов, используя контактную информацию между руками и объектом в сочетании с трехэтапным обновлением функций в декодере трансформатора. С только 108 запросами и одним декодером, Qort-Former достигает 53,5 кадров в секунду (FPS) на графическом процессоре RTX 3090 TI, что делает его самой быстро известной моделью для оценки позы с ручного объекта.
Профессор Сеунгриул Бэк заявил: «Qort-Former представляет собой значительное продвижение в понимании взаимодействия с ручным объектом. Он не только позволяет применениям в реальном времени в дополненной реальности (AR), виртуальной реальности (VR) и робототехнике, но также раздвигает границы моделей ИИ в реальном времени».
«Наша работа демонстрирует, что эффективность и точность могут быть оптимизированы одновременно»,-отметил автор сопоставленного автора Халекццамана Сайема. «Мы ожидаем более широкого внедрения нашего метода в областях, которые требуют анализа взаимодействия с ручным объектом в реальном времени».
Больше информации:
Elkhan Ismayilzada et al. arxiv (2025). Doi: 10.48550/arxiv.2502.19769
Информация журнала:
Arxiv предоставлен Ульсанским Национальным институтом науки и техники
Цитирование: Исследование открывает AI-управляемая, в режиме реального времени, ручной объект, основа для оценки оценки (2025, 27 марта), извлеченная 27 марта 2025 года из этого документа подлежит авторским правам. Помимо каких -либо справедливых сделок с целью частного исследования или исследования, никакая часть не может быть воспроизведена без письменного разрешения. Контент предоставляется только для информационных целей.
