ИИ не будет ограничиваться изменением того, как мы используем Интернет и создаем код — он также изменит функционирование приложений, что позволит им взаимодействовать с физическим миром по -новому. Ученый -исследователь Стефания Druga of Google Deep Mind показала разработчикам, как это может выглядеть, включая демонстрации четырех приложений, на прошлой неделе Infobip Shift Miami и Infobip CX Conferences.
Мультимодальный ИИ получает входные данные от датчиков, камер, роботизированных оружия и других интерактивных технологий, сказала она аудитории.
«У нас может быть ИИ, который может воспринимать мир так же, как мы воспринимаем мир», — сказал Druga, который имеет докторскую степень в области грамотности и применений искусственного интеллекта. «Как только у нас будет видео ввод, аудио ввод и изображения, приложения ИИ будут иметь гораздо более богатый контекст и понимание задач для различных сред, в которых мы их используем».
Мультимодальные приложения также перемещают наше взаимодействие с ИИ за пределами простого текста, обеспечивая взаимодействие в реальном времени и речевой интерфейс для ИИ, добавила она. Они также позволяют лучше заземлить, что является процессом подключения абстрактных знаний модели ИИ с конкретной, реальной информацией и контекстом.
«Аспект в реальном времени очень важен»,-сказала она. «Допустим, мне нужно заменить [a] шина на моей машине. Я хочу иметь возможность иметь API, который может увидеть задачу в режиме реального времени и дать мне отзывы ».
Уроки разработчика в искусственном интеллекте от Cognimates
Раньше, Druga была частью команды MIT по царапинам. Scratch — это язык визуального программирования, используемый детьми по всему миру.
Она разработала платформу на основе царапин под названием Cognimates, которая позволяет детям учиться и строить с ИИ. Cognimates бесплатный, с открытым исходным кодом и в настоящее время находится в раннем предварительном просмотре.
«Если вы чувствуете себя пуганным, перегруженным или чувствуете, что все движется слишком быстро и слишком страшным, я хочу, чтобы вы были вдохновлены и поощряют, что даже самые молодые члены нашего общества фактически узнают об этой технологии и строится с ней», — сказала она аудитории.
Существует более 18 расширений, которые похожи на библиотеки, доступные на платформе Cognimates. Он может включить программу анализа настроений, голосовой помощник, похожий на Alexa или Siri, и Smart Lights.
Одна девушка обучила ИИ играть в прятки. Приложение подключено к камере, которая может вращаться и просматривать всю комнату.
«Она хотела иметь возможность бегать по комнате и прятаться, и робот сканировал и — если бы количество людей, которые он мог видеть, было больше, чем ноль, — скажем,« я вижу », — сказала она. «Мне нравится этот пример, потому что только в семи блоках она смогла создать это богатое взаимодействие».
Другая игра дала ценный урок непреднамеренного предвзятости в ИИ и как его исправить. Два ученика создали приложение для рок, бумаги и ножницы, используя изображения своих рук для обучения модели. Вскоре они обнаружили, что их друзья не могут играть, потому что у них были разные тона кожи. Таким образом, бесстрашные кодировщики обработали модель с более широким диапазоном моделей рук.
Скриншот от презентации конференции Stefania Druga Infobip.
«Это другой способ говорить об этике ИИ таким образом, который не парализует», — сказала она. «Как мы это исправляем? Как мы вводем более разнообразные данные в смысл обучения?»
Druga также изучила, как дети воспринимали ИИ после шести недель использования платформы. Прежде чем дети начали использовать платформу, они измерили свое понимание ИИ, спросив, умнее ли ИИ, чем дети. Все они сказали да. Но после шести недель использования инструмента их ответы сдвинулись, возможно, иногда и нет.
«Они понимали, что есть люди, которые создают эти наборы данных, и они понимают, когда эти наборы данных полезны, когда они не являются, а какие задачи мы можем делегировать с ИИ и какие задачи мы не можем делегировать в ИИ», — сказала она.
Между тем, мы, взрослые, все еще боремся с этим.
Интерфейс естественного языка с расширением Google Home Gemini
Одним из проектов, над которым она работала для Google в течение прошлого года, является использование Близнецов и интеллектуальных устройств для управления предметами дома, таких как жара, кондиционер или жалюзи. Расширение Google Home Gemini, доступное в публичном предварительном просмотре, устанавливает на вашем телефоне и использует голосовой интерфейс.
Идея этого мультимодального приложения состоит в том, чтобы проверить нечеткие запросы, которые используют естественный язык. Вместо того, чтобы просить его включить кондиционер, он отвечает на такой комментарий, как «здесь очень жарко», чтобы включить воздух.
Она не была уверена, как это отреагирует, когда она поразит вживую демонстрацию, сказав помощнику, что хочет практиковать йогу наверху. Он ответил, включив кондиционер. В другом сценарии он закрыл жалюзи и включил точечное освещение.
Мультимодальный помощник по химии искусственного интеллекта
По словам Druga, есть много шума вокруг идеи соучредителя ИИ. Например, Google имеет AI Co-Secentist, который использует ИИ для оказания помощи в научных исследованиях, помогая профессиональным ученым. Он может определить новые направления исследования и генерировать новые гипотезы, в дополнение к помощи в итеративном тестировании и уточнении.
Но это все еще очень на основе текста, отметил Druga. Chembuddy фактически приносит ИИ в лабораторную работу, наблюдая за экспериментами в реальной жизни.
Прямо сейчас он предназначен для учебных настройки, но нетрудно понять, как это может развиваться для профессиональных лабораторий. Система может подключаться к камерам, микроскопам, датчикам или даже роботизированной руке. У этого также есть веб -речь API для поддержки аудио. Он использует Imagen для генерации изображений и может создавать визуализации реакций эксперимента.
Скриншот через слайды Стефании.
Из чата она может задать вопросы. Chembuddy записывает все, что студент делает, и создает документацию с датчика, что приводит к реальному времени.
Это также может обнаружить заблуждение. Если студент задает вопросы, которые показывают, что он или она не понимает разницы между эндотермической и экзотермической реакцией, это будет отслеживать это и поможет студенту учиться.
Математика и оценка моделей
Mathmind — это приложение, которое определяет заблуждения по математике, анализируя работу студентов через веб -камеру и предоставляя целевые упражнения и обратную связь. Он нацелен на 55 заблуждений алгебры.
«Там [are] Так много способов, которыми мы можем ошибаться по математике, но очень полезно иметь возможность понять, какая понятная концепция и какая концепция не ясна », — сказала она, добавив, что учителя могут использовать этот инструмент, чтобы увидеть, где студенты нуждаются в перечислении. Это также может создавать пользовательские упражнения с визуализацией и создавать отчеты для учителей, учеников и родителей.
Для Mathmind она сделала что -то, что будет иметь решающее значение для разработки мультимодальных приложений ИИ: она создала его с API Gemini 2.5, но проверила его на различных моделях, включая опции с открытым исходным кодом, чтобы оценить, насколько хорошо работают модели в контексте приложения. Она оценила его по параметрам, помимо точности, в том числе о том, давали ли модели, соответствующие возрасту ответы, имели правильный тон и являются последовательными и ясными.
«Я настоятельно рекомендую, когда вы думаете об оценке мультимодальных систем ИИ или систем ИИ в целом, подумайте о том, что вы не преуспевают», — сказала она. «Имейте все эти другие измерения, которые больше ориентированы на пользовательский опыт».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Loraine Lawson — ветеран -репортер, который в течение 25 лет освещал технологические проблемы от интеграции данных до безопасности. Прежде чем присоединиться к новому стеку, она работала редактором Banking Technology Site Bank Automation News. Она … читайте больше от Лорейн Лоусон
