Рабочий процесс сбора данных. Кредит: Интеллект природы (2025). Doi: 10.1038/s42256-024-00964-x
Любой, кто разрабатывает решение ИИ, иногда отправляется в путешествие в неизвестное. По крайней мере, в начале, исследователи и дизайнеры не всегда знают, будут ли их алгоритмы и модели искусственного интеллекта работать так, как ожидалось, или в конечном итоге будет совершать ошибки.
Иногда приложения ИИ, которые хорошо работают в теории, плохо работают в реальных условиях. Однако, чтобы получить доверие пользователей, ИИ должен работать надежно и правильно. Это относится столько же к популярным чат -ботам, сколько и к инструментам искусственного интеллекта в исследованиях.
Любой новый инструмент ИИ должен быть тщательно протестирован, прежде чем он будет развернут в реальном мире. Тем не менее, тестирование в реальном мире может быть дорогим или даже рискованным попыткой. По этой причине исследователи часто проверяют свои алгоритмы в компьютерном моделировании реальности. Однако, поскольку симуляции являются приближением реальности, тестирование решений искусственного интеллекта таким образом может привести исследователей к переоценке результатов искусственного интеллекта.
Написание в Интеллект природыMathemician Eth Juan Gamella представляет новый подход, который исследователи могут использовать, чтобы проверить, как надежно и правильно работают их алгоритмы и модели искусственного искусства.
Модель ИИ основана на определенных предположениях и обучается учиться на данных и разумно выполнять задачи. Алгоритм содержит математические правила, которыми следует модель ИИ для обработки задачи.
Кредит: Eth Zurich Testing AI вместо переоценки
Gamella построила специальные миниатюрные лаборатории («мини-лабочки»), которые можно использовать в качестве тестовых слоев для новых алгоритмов ИИ.
«Mini-Labs предоставляют гибкую тестовую среду, которая обеспечивает реальные данные о измерении. Они немного похожи на детскую площадку для алгоритмов, где исследователи могут проверить свой ИИ за пределами моделируемых данных в контролируемой и безопасной среде»,-говорит Гамелла.
Мини-лабы построены вокруг хорошо понимаемой физики, так что исследователи могут использовать эти знания, чтобы проверить, достигают ли их алгоритмы правильное решение для различных проблем. Если AI не проходит тест, исследователи могут внести целевые улучшения в основных математических предположениях и алгоритмах на ранних этапах процесса разработки.
Первые мини-лабочки Gamella основаны на двух физических системах, которые обладают важными свойствами, с которыми многие инструменты ИИ имеют дело в реальных условиях. То, как используются мини-лабы, зависит от изучения вопроса и того, что предназначен для алгоритма. Например, его первая мини-лаб содержит динамическую систему, такую как ветер, которая постоянно меняется и реагирует на внешние влияния.
Его можно использовать для тестирования инструментов искусственного интеллекта для контрольных задач. Его второй мини-лаб, который подчиняется хорошо понятым законам физики для света, может быть использована для тестирования искусственного интеллекта, который направлен на автоматическое изучение таких законов из данных и, таким образом, помогает ученым сделать новые открытия.
Мини-лабочки представляют собой осязаемые устройства размером с настольного компьютера, которым можно управлять пультом дистанционного управления. Они напоминают исторические демонстрационные эксперименты, проведенные исследователями с 16 -го века, чтобы представить, обсудить и улучшать их теории и результаты в научных обществах.
Gamella сравнивает роль мини-лаборов в проектировании алгоритмов ИИ с роли ветряной туннели в строительстве самолетов: когда разрабатывается новый самолет, большая часть проектных работ первоначально выполняется с использованием компьютерного моделирования, поскольку он более эффективен и экономична.
Как только инженеры согласились с своими конструкциями, они создают миниатюрные модели и проверяют их в аэродинамической трубе. Только тогда они строят полноразмерный самолет и проверяют его на реальных рейсах.
Примеры данных, полученных камерами. Кредит: Интеллект природы (2025). Doi: 10.1038/s42256-024-00964-x Промежуточный этап между симуляцией и реальностью
«Как и ветряная туннель для самолетов, мини-лабочки служат проверкой здравомыслия, чтобы убедиться, что все работает на раннем этапе, когда мы переходим от симуляции к реальности»,-говорит Гамелла.
Он рассматривает тестирование алгоритмов ИИ в контролируемой среде как важнейший, промежуточный шаг, чтобы обеспечить работу ИИ в сложных сценариях реального мира. Мини-лабы предоставляют это для определенных типов ИИ, особенно тех, которые предназначены для непосредственного взаимодействия с физическим миром.
Мини-лабочки помогают исследователям изучить проблему перехода от моделирования к реальности, предоставляя испытательный стенд, где они могут провести столько экспериментов, сколько им нужно. Эта переходная проблема также актуальна на пересечении между робототехникой и ИИ, где алгоритмы ИИ часто обучаются сначала для решения задач в моделируемой среде, и только тогда в реальном мире. Это повышает надежность.
Сам Гамелла начала со степень бакалавра по математике, прежде чем получить степень магистра в области робототехники в ETH. Будучи докторантом, он вернулся к математике и исследованиям ИИ.
Он сохранил свой талант к физике и технологиям. «Я хочу разработать инструменты, которые помогают ученым решать вопросы исследования».
Заявление на его мини-лабочки не ограничивается инженерией. Вместе с коллегой из Университетской больницы Харито в Берлине он попытался разработать мини-лаб для тестирования алгоритмов ИИ в области клеточной биологии и синтетической биологии. Тем не менее, затраты были слишком высокими.
Напротив, его второй мини-лаб, легкий туннель, уже используется в качестве испытательной среды в промышленном производстве-для оптической проблемы. Мини-лабочки также помогли проверить различные новые методы того, как крупные языковые модели (LLMS) могут сделать внешние Pagemore точные прогнозы в реальном мире.
Причинный ИИ — серебряная пуля для правильного ИИ
Гамелла принял подход серебряной пули к доказыванию пригодности своих мини-лаборов-и в конечном итоге демонстрирует, что они полезны даже для вопросов причинного ИИ. Исследования причинности и причинно -следственная информация являются ключевой областью статистики и теоретической информатики, которая имеет основополагающее значение для моделей ИИ: для моделей ИИ функционируют надежно и правильно, они должны понимать причинно -следственные связи.
Однако модели ИИ часто не отражают причинно -следственные связи мира, а вместо этого делают прогнозы на основе статистических корреляций. С научной точки зрения, причинность — это фундаментальная концепция, которая описывает отношения между причиной и следствием.
Причинный ИИ относится к моделям ИИ, которые распознают причинно-следственные отношения. Результаты причинного ИИ более точные и прозрачные. Вот почему причинный ИИ важен для таких областей, как медицина, экономика и исследования климата.
Для разработки причинно -следственных ИИ необходимы новые статистические методы, поскольку причинно -следственные связи иногда влияют особые обстоятельства и совпадения. Кроме того, их нельзя легко отделить друг от друга в сложных контекстах.
Gamella работала над исследованиями в партнерстве с профессорами Mathematics Eth Peter Bühlmann и Джонасом Петерсом. Оба разработали важные подходы для выявления причинно -следственных связей в изменяющихся условиях и отличив их от смешанных влияний или случайного шума.
«Однако эти методы, как правило, трудно проверить в реальном мире», — говорит Гамелла. «Для этого нам нужны данные из систем, в которых уже известно, что отношения причинно-следственных эффектов проверяют, могут ли наши алгоритмы точно изучить их. Эти данные трудно найти».
Для публикации три исследователя ETH проверили алгоритмы причинно-следственных связей в мини-лабочках, построенных Gamella. Сам он также называет свои мини-лабочки как «причинные камеры».
Во-первых, они проверили, узнали ли алгоритмы правильную причинную модель для каждой мини-лаб, то есть для ветра и света. Они также наблюдали, насколько хорошо алгоритмы определили, какие факторы влияют друг на друга и как они работают в необычных условиях или когда происходят внезапные изменения.
Питер Бюльманн, докторант Гамелла, полон похвалы, говоря: «Причинные камеры являются ценным дополнением к исследованию причинно -следственной связи. Новые алгоритмы могут быть подтверждены беспрецедентным образом».
Гамелла доволен неожиданными преимуществами, которые причинно -следственные камеры обеспечивают для обучения. «Поскольку мини-лабы обеспечивают безопасную игровую площадку для алгоритмов, они также являются отличной игровой площадкой для студентов»,-говорит он.
Преподаватели в области искусственного интеллекта, статистики и других инженерных областей могут использовать их, чтобы позволить своим студентам напрямую применять то, что они узнали в практической среде. Преподаватели со всего мира уже выразили свой интерес, и Гамелла теперь создает пилотные исследования в Эт Цюрих и в Университете Льеж.
Больше информации:
Хуан Л. Гамелла и др., Причинные камеры в качестве реального физического испытания для методологии ИИ, Интеллект природы (2025). Doi: 10.1038/s42256-024-00964-x
Информация журнала:
Интеллект природной машины, предоставленный Zurich Eth
Цитирование: Новые миниатюрные лаборатории гарантируют, что ИИ не совершает ошибок (2025, 28 марта), полученные 30 марта 2025 года из этого документа, подвергается авторским праву. Помимо каких -либо справедливых сделок с целью частного исследования или исследования, никакая часть не может быть воспроизведена без письменного разрешения. Контент предоставляется только для информационных целей.
