Навин Рао вспомнил, что это было около пятого или шестого класса, когда он построил зуммерную систему для школьной викторины. Он любил строить вещи. Он вытащил бы цепи на компьютере и определит, будет ли это работать.
Сегодня Рао является вице-президентом искусственного интеллекта в DataBricks, где, хотя он строит программное обеспечение, он любит говорить о истории нашего времени: постоянно развивающее развитие систем ИИ, нейронных сетей, корреляции для вычислительной нейробиологии, 20-ваттного мозга и потенциальной глупости построения гигаватт или даже в течение нескольких лет, цифр данных Terawatt.
Он размышляет о манифесте Марка Цукерберга о Super Intelligence, о потерянной возможности в Intel опираться на его ранний импульс в глубоком обучении и о том, как мы думаем о пользовательских интерфейсах, о потенциальном коллапсе крупных языковых моделей (LLMS) и разработке программного обеспечения.
Рао затронул все эти темы в последнем эпизоде новых агентов стека, организованного Фредериком Лардиноисом, старшим редактором ИИ в новом стеке вместе со мной, в качестве частых соавтора.
«Жизнь — это учебная машина»
Будучи студентом в Университете Дьюка, Рао узнал, что мозг работает на 20 Вт энергии. В этом эпизоде агентов TNS он размышлял о том, как это повлияло на его мышление о вычислительной биологии. Далее он получил докторскую степень по нейробиологии в Университете Брауна.
По словам Рао, это просто удивительно, что мы видим, что эти вычисления происходят в биологически развитых системах. Но в то же время мы ограничены энергией. Все в биологии всегда ограничено энергией.
«Вы можете есть только так много, верно?» Рао сказал.
И вы должны использовать эту энергию, чтобы мыслить и найти пищу для выживания. Наш мозг сложный и может вычислить, но также эффективно работать.
И теперь мы сталкиваемся с проблемой. Мы потребляем как можно больше энергии, чтобы развить эволюцию интеллекта. И это не правильный путь.
«Нам нужно построить что -то, что принципиально более эффективно, в основном более хорошо соответствует тому, что такое ИИ», — сказал Рао. «Как ИИ представляет информацию, как будто здесь чего -то не хватает с точки зрения вычислительных элементов. На мой взгляд, я не могу сказать, что это такое».
Но, как спросил Лардиноис, насколько близко мы приближаемся к настоящему интеллекту с подходом, который у нас сейчас есть? Или Рао утверждает, что мы уже почти там?
«Я имею в виду, близко, я думаю, вы знаете, что я бы сказал, что у мыши есть настоящий интеллект», — сказал Рао. «Итак, можем ли мы добраться до интеллекта мыши? Может быть? Я думаю, мы сможем скорбить силу — или заставить наш путь, концептуально — сделать довольно далеко. Что происходит, хотя мы используем такой подход, просто бросайте больше, и это не будет экономически жизнеспособным. Это точно.
«Но я думаю, что другая часть этого заключается в том, что это будет очень ограничено в том, что может испытать этот ИИ. Аспекты биологии с низким энергопотреблением позволили интеллекту испытать больше. Это как параллелизация, когда у меня больше существ с мозгами, испытывающим мир с разных точек зрения».
Он добавил: «Жизнь — это учебная машина с множеством различных наблюдений. Я не думаю, что собирание данных с одного набора датчиков или в Интернете, а затем, внедрение их в центр обработки данных, на самом деле является правильным способом сделать это».
Рао обеспокоен обрушением модели. По его словам, основываясь на реальности, имеет важное значение.
«Мы уже вступаем в режим сейчас, где я думаю, что больше контента в Интернете будет производиться на машине, а не на человеке»,-сказал он. «Это уже происходит. Я бы, наверное, сказал, что мы пересекаем эту точку более 50%, производится на машине.
«Таким образом, плохой сценарий этого — это то, что мы называем коллапсом модели», — добавил он. Обрушение модели — это «в основном то, что LLM продолжают продолжать царомировать этот материал, тренироваться на нем, а затем изучать глупые вещи, которые выплевывают другие LLM, а не настоящую основную истину мира. Это настоящий, правильный сценарий, который произойдет очень, очень скоро произойдет очень, очень скоро».
Он не уверен, какими могут быть результаты обрушения модели, но возможности включают ухудшающуюся проблему с галлюцинациями. Неточности и неправда, он предположил, что «может становиться все более и сложнее обнаружить, потому что, возможно, даже ваши наборы данных оценки имеют некоторые из этих неземных фактов».
Посмотрите полный эпизод для остальной части истории Рао об эволюции глубокого обучения и многого другого.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Алекс Уильямс является основателем и издателем нового стека. Он давний технологический журналист, который занимался TechCrunch, Siliconangle и тем, что сейчас известно как ReadWrite. Алекс был журналистом с конца 1980 -х годов, начиная с … Подробнее от Алекса Уильямса
