Основатель и генеральный директор фигуры Бретт Адкок в четверг показал новую модель машинного обучения для гуманоидных роботов. Новости, которая прибывает через две недели после того, как Adcock объявила о решении компании-робототехники о робототехнике в области залива о том, чтобы отойти от сотрудничества Openai, сосредоточена вокруг Helix, модели «генералистской» зрительного языка (VLA).
VLA являются новым явлением для робототехники, используя видение и языковые команды для обработки информации. В настоящее время наиболее известным примером категории является Google DeepMind RT-2, который обучает роботов через комбинацию видео и больших языковых моделей (LLMS).
Helix работает аналогичным образом, объединяя визуальные данные и языковые подсказки для управления роботом в режиме реального времени. Фигура пишет: «Helix отображает сильное обобщение объектов, способность подбирать тысячи новых предметов домашнего обихода с различными формами, размерами, цветами и свойствами материала, которые никогда не сталкивались ранее в тренировках, просто прося на естественном языке».
Кредиты изображения:Фигура
В идеальном мире вы можете просто сказать роботу что -то сделать, и это просто сделает это. Вот где входит Helix, согласно рисунке. Платформа предназначена для преодоления разрыва между видением и языковой обработкой. Получив приглашение голоса естественного языка, робот визуально оценивает свою среду, а затем выполняет задачу.
Фигура предлагает примеры, например: «Рука пакет печенья на робот справа от вас» или «Получите мешок печенья от робота слева от вас и поместите его в открытый ящик». Оба эти примера включают пару роботов, работающих вместе. Это связано с тем, что Helix предназначена для контроля двух роботов одновременно, причем один помогает другим выполнять различные домашние задачи.
Рисунок демонстрирует VLM, подчеркивая работу, которую компания выполняла со своим роботом 02 в домашней среде. Дома, как известно, сложны для роботов, учитывая, что им не хватает структуры и последовательности складов и фабрик.
Сложность с обучением и контролем — это основные препятствия, стоящие между сложными роботистыми системами и домом. Эти проблемы, наряду с ценами из пяти-шестизначных значений, являются тем, почему домашний робот не имел приоритета для большинства компаний по гуманоидной робототехнике. Вообще говоря, этот подход заключается в создании роботов для промышленных клиентов, как повышение надежности, так и снижение затрат до борьбы с жилищами. Работа по дому — это разговор в течение нескольких лет.
Когда в 2024 году TechCrunch гастролировал в офисах Pigure’s Bay Area, Adcock продемонстрировал некоторые из шагов, которые компания ставила свой гуманоид в домашних условиях. В то время появилось, что работа не была приоритетной, так как фигура фокусируется на пилотах на рабочем месте с такими корпорациями, как BMW.
Кредиты изображения:Фигура
С объявлением Helix в четверг, фигура дает понять, что дом должен быть приоритетом сами по себе. Это сложная и сложная настройка для тестирования подобных тренировочных моделей. Например, обучение роботов выполнять сложные задачи на кухне — открывает их на широкий спектр действий в разных условиях.
«Чтобы роботы были полезны в домохозяйствах, они должны быть способны создавать интеллектуальное новое поведение по требованию, особенно для объектов, которых они никогда не видели»,-говорит фигура. «Преподавание роботов даже одно новое поведение в настоящее время требует существенных человеческих усилий: либо часы экспертного программирования на уровне доктора наук, либо тысячи демонстраций».
Ручное программирование не масштабируется для дома. Просто слишком много неизвестных. Кухни, гостиные и ванные комнаты резко различаются от одного к другому. То же самое можно сказать и о инструментах, используемых для приготовления и очистки. Кроме того, люди оставляют беспорядки, перестраивают мебель и предпочитают ряд различных освещений окружающей среды. Этот метод занимает слишком много времени и денег — хотя у фигуры, безусловно, есть много последних.
Другой вариант — тренировка — и многое из этого. Роботизированные руки, обученные выбирать и размещать объекты в лабораториях, часто используют этот метод. То, что вы не видите, — это сотни часов повторения, чтобы сделать демонстрацию, достаточно надежную, чтобы выполнить очень переменные задачи. Чтобы что -то поднять правильно в первый раз, робот должен сделать это сотни раз в прошлом.
Как и так много окружающей гуманоидной робототехники в данный момент, работа на Helix все еще находится на очень ранней стадии. Зрителям следует посоветовать, что за кулисами происходит много работы, чтобы создать виды коротких, хорошо продуманных видео, которые можно увидеть в этом посте. Сегодняшнее объявление — это, по сути, инструмент для рекрутинга, предназначенный для того, чтобы привлечь больше инженеров на борт, чтобы помочь расширить проект.
