Хинтул Лим носит написание. Кредит: Louis Dipietro/предоставлен
Исследовательская группа под руководством Корнелла разработала кольцо с искусственным интеллектом, оснащенное технологией микро-сонара, которое может постоянно-и в режиме реального времени-трюка на американском языке жестов (ASL).
В своей текущей форме Spelling может использоваться для ввода текста в компьютеры или смартфоны с помощью пальцев, которые используются в ASL для обозначения слов без соответствующих знаков, таких как правильные существительные, имена и технические термины. С дальнейшей разработкой устройство, которое, как и первое в своем роде, может революционизировать перевод ASL, постоянно отслеживая целые подписанные слова и предложения.
Исследование опубликовано на arxiv Сервер препринта.
«Многие другие технологии, которые распознают пальцы в ASL, не были приняты глухим и тяжелым сообществом, потому что оборудование является громоздким и нецелесообразным»,-сказал Хинтул Лим, докторант в области информационной науки. «Мы стремились разработать одно кольцо, чтобы захватить все тонкое и сложное движение пальцев в ASL».
Кредит: Корнелльский университет
Лим является ведущим автором «Переписки: распознавание непрерывного пальцев на языке американских жестов с использованием кольца», которое будет представлено на конференции Ассоциации компьютерных машин по человеческим факторам в вычислительных системах (CHI), 26 апреля — 1 мая в Йокогаме, Япония.
Разработанный LIM и исследователями в лаборатории интеллектуальных компьютерных интерфейсов для будущих взаимодействий (SCIFI), в колледже компьютерных и информационных наук Корнелла Энн С. Боуэрса, на большом пальце носится на большем и оснащено микрофоном и динамиком. Вместе они посылают и получают неразборчивые звуковые волны, которые отслеживают движения руки и пальцев, в то время как мини -гироскоп отслеживает движение руки. Эти компоненты размещены в 3D-печатном кольце и корпуса не больше, чем стандартный квартал сша.
Собственное алгоритм глубокого обучения обрабатывает изображения сонара и предсказывает буквы с пальцами ASL в режиме реального времени и с такой же точностью, как многие существующие системы, которые требуют большего оборудования.
Разработчики оценили Spelling с 20 опытными и начинающими подписавшими ASL, имея их естественным и постоянным пальцами в общей сложности более 20 000 слов различной длины. Уровень точности Spelling составлял от 82% до 92%, в зависимости от сложности слов.
«Всегда существует разрыв между техническим сообществом, которые разрабатывают инструменты, и целевым сообществом, которые используют их»,-сказал Ченг Чжан, доцент информационных наук (Cornell Bowers CIS) и соавтор бумаги. «Мы преодолели часть этого разрыва. Мы разработали Shipring для целевых пользователей, которые оценили его».
По словам исследователей, обучение системы ИИ для распознавания 26 ручной работы, связанной с каждой буквой алфавита, особенно не так, поскольку подписчики естественным образом настраивают форму конкретной буквы для эффективности, скорости и потока — было далеко не просто.
«Различие между буквами может быть значительным», — сказал Чжан, который руководит Scifi Lab. «Трудно запечатлеть это».
Spelling создает предыдущую итерацию из лаборатории Scifi под названием Ring-A-Pose и представляет собой последнюю в постоянной линии интеллектуальных устройств, оснащенных сонар, из лаборатории. Исследователи ранее разработали гаджеты, чтобы интерпретировать позы рук в виртуальной реальности, верхнюю часть тела в 3D, тихое распознавание речи, а также выражения взгляда и лица, среди некоторых других.
«Хотя крупные языковые модели находятся в новостях и в центре, машинное обучение позволяет почувствовать мир новыми и неожиданными способами, как демонстрируют этот проект и другие в лаборатории»,-сказал соавтор Франсуа Гимбреера, профессор информационной науки (Cornell Bowers CIS). «Это прокладывает путь к более разнообразному и инклюзивному доступу к вычислительным ресурсам».
«Я хотел помочь нам принять все возможные меры, чтобы сделать правильное сообщество ASL»,-сказала соавтор Джейн Лу, докторант в области лингвистики в области лингвистики, которые сосредоточены на ASL. «Пальцы, хотя и нюансированы и сложны отслеживать с технической точки зрения, содержит только часть ASL и не является репрезентативным для ASL как языка. У нас все еще есть долгий путь в разработке сопоставимых устройств для полного распознавания ASL, но это захватывающий шаг в правильном направлении».
Будущая работа Лим будет включать в себя интеграцию системы микро-сонара в очки, чтобы захватить движения верхней части тела и выражения лица, для более полной системы перевода ASL.
«Глухие и тяжелые люди используют больше, чем свои руки для ASL. Они используют выражения лица, движения верхней части тела и жесты головы»,-сказал Лим, который завершил базовые и промежуточные курсы ASL в Корнелле в рамках своего исследования Shipring. «ASL — очень сложный, сложный визуальный язык».
Больше информации:
Hyunchul Lim et al., Spelling: распознавание непрерывной пальцы на американском языке жестов с использованием кольца, arxiv (2025). Doi: 10.48550/arxiv.2502.10830
Информация журнала:
Arxiv предоставлен Корнелльским университетом
Цитирование: Кольцевые треки AI писали слова на американском языке жестов (2025, 17 марта), полученные 18 марта 2025 года из этого документа, подлежит авторским правам. Помимо каких -либо справедливых сделок с целью частного исследования или исследования, никакая часть не может быть воспроизведена без письменного разрешения. Контент предоставляется только для информационных целей.
