Во время недавнего появления в прессе генеральный директор Openai Сэм Альтман сказал, что за последние несколько лет он наблюдал «IQ» ИИ быстро улучшенного.
«Очень грубо, мне кажется — это не точнее, это просто атмосфера или духовный ответ — каждый год мы перемещаем одно стандартное отклонение IQ», — сказал Альтман.
Альтман не первый, кто использует IQ, оценку интеллекта человека, в качестве эталона для AI прогресса. Влияние ИИ в социальных сетях дало модели тесты IQ и оценили результаты.
Но многие эксперты говорят, что IQ является плохой мерой возможностей модели — и вводящей в заблуждение.
«Может быть очень заманчиво использовать те же меры, которые мы используем для людей для описания возможностей или прогресса, но это все равно, что сравнивать яблоки с апельсинами», — сказала TechCrunch Сандра Вахтер, исследователь, изучающий технологии и регулирование в Оксфорде.
В своих комментариях в прессе Альтман приравнивал IQ с интеллектом. Все же тесты IQ являются относительными — не объективными — показателями определенный виды интеллекта. Существует некоторый консенсус, что IQ является разумным испытанием логики и абстрактных рассуждений. Но это не измеряется практичный Интеллект — зная, как заставить вещи работать — и в лучшем случае это снимок.
«IQ — это инструмент для измерения человеческих возможностей — оспариваемый не меньше — основываясь на том, как ученые считают, что человеческий интеллект выглядит», — отметил Вахтер. «Но вы не можете использовать ту же меру для описания возможностей ИИ. Автомобиль быстрее, чем люди, а подводная лодка лучше в дайвингах. Но это не означает, что автомобили или подводные лодки превосходят человеческий интеллект. Вы имеете в курсе одного аспекта производительности с человеческим интеллектом, что гораздо сложнее ».
Чтобы преуспеть в тесте IQ, происхождение которого некоторые историки отслеживают евгенику, широко дискредитированную научную теорию о том, что люди могут быть улучшены благодаря селективному размножению, у игрока тестирования должны быть сильная рабочая память и знание западных культурных норм. Конечно, это предлагает возможность для предвзятости, поэтому один психолог назвал IQ -тесты «идеологически коррупционными механическими моделями» интеллекта.
То, что модель может преуспеть в тесте IQ, указывает больше на недостатки теста, чем производительность модели, по словам OS Keyes, кандидата в докторскую степень в Вашингтонском университете, изучающем этический ИИ.
«[These] Тесты довольно просты в игре, если у вас практически бесконечное количество памяти и терпения », — сказал Киз. «Тесты IQ — это очень ограниченный способ измерения познания, чувства и интеллекта, что мы знали до того, как до изобретения самого цифрового компьютера».
У AI, вероятно, также есть несправедливое преимущество в тестах IQ, учитывая, что в их распоряжении модели имеют огромное количество памяти и интернализованных знаний. Часто модели обучаются общедоступным веб -данным, а Интернет полон примеров вопросов, взятых из тестов IQ.
«Тесты, как правило, повторяют очень похожие шаблоны — довольно надежный способ повышения IQ — это попрактиковаться в тестировании IQ, что по сути является тем, что каждый [model] сделал », — сказал Майк Кук, научный сотрудник King’s College London, специализирующийся на ИИ. «Когда я чему -то узнаю, я не попадаю в свой мозг с идеальной ясностью 1 миллион раз, в отличие от ИИ, и я не могу обработать его без шума или потери сигнала».
В конечном счете, IQ-тесты-предвзятыми, какими бы они ни были, были разработаны для людей, добавил Кук-предназначенные как способ оценки общих способностей решения проблем. Они неуместны для технологии, которая подходит к решению проблем, совершенно иначе, чем люди.
«Ворона может использовать инструмент для восстановления лакомства из коробки, но это не значит, что она может поступить в Гарвард», — сказал Кук. «Когда я решаю проблему математики, мой мозг также борется со своей способностью правильно читать слова на странице, чтобы не думать о покупках, которые мне нужно делать по дороге домой, или если сейчас слишком холодно в комнате Полем Другими словами, человеческие мозги боролись с гораздо большим количеством вещей, когда они решают проблему — любая проблема вообще, IQ -тесты или иное — и они делают это с гораздо меньшей помощи [than AI.]”
Все это указывает на необходимость лучших тестов искусственного интеллекта, рассказала Heidy Khlaaf, руководитель AI Institute Institute, рассказала TechCrunch.
«В истории вычислений мы не сравнивали вычислительные способности с людьми людей именно потому, что природа вычислений означает, что системы всегда могли выполнять задачи, уже за пределами человеческих способностей», — сказал Хлааф. «Эта идея о том, что мы напрямую сравниваем эффективность систем с человеческими способностями, является недавним явлением, которое сильно оспаривается, и то, что окружает противоречие постоянно расширяющихся-и движущихся критериев, создаваемых для оценки систем ИИ».
