Если нам интересно, как поставщики моделей большого языка (LLM) попытаются улучшить свои услуги в ближайшие несколько лет, мы можем начать с попытки предугадать, как будут устранены текущие ограничения. Хотя LLM довольно успешны в формате чата, они дороги с точки зрения энергопотребления и вызывают бесконечные проблемы с галлюцинациями. Разработчики программного обеспечения борются с увеличением использования токенов для достижения более целенаправленных результатов.
Еще предстоит немного поработать над тем, чтобы выяснить, как размер и тренировка действительно влияют на производительность, но проблемы с энергией и галлюцинациями ограничивают расширение. Итак, в этом посте рассматриваются возможные направления, в которых могут двигаться поставщики LLM.
Но сначала нам нужно проверить обоснованность предсказания Янна Лекуна о том, что степень магистра права – это тупик. Хотя в конечном итоге это может быть правдой в отношении «общего искусственного интеллекта», огромные деньги и импульс, вложенные в компании, занимающиеся искусственным интеллектом, гарантируют, что мы еще какое-то время будем использовать LLM. Сам ЛеКун запустил стартап, чтобы «продолжить исследовательскую программу Advanced Machine Intelligence (AMI), которую я реализовал на протяжении последних нескольких лет»; но это не принесет плодов какое-то время.
Онтологии
Многие старые подходы к ИИ были отброшены успехами LLM, но я до сих пор помню времена, когда предполагалось, что искусственный интеллект будет состоять из больших онтологий — думайте о них как о концептуальных картах, очень похожих на хэштеги, для объединения идей в некий тип формальной структуры. Поскольку LLM обучаются на огромных объемах информации, они усваивают концепции несколько случайным образом, но, похоже, понимают, как все взаимосвязано. Но мы знаем, что программы LLM могут помочь в создании графиков знаний; и Поисково-дополненная генерация (RAG) — это один из жизненно важных методов, используемых для обеспечения честности ответов LLM, путем наполнения их форматированными экспертными знаниями.
Одним из возможных подходов к борьбе с галлюцинациями может быть сосредоточение внимания на поддержании множества больших графов знаний по определенным предметам и совместном использовании их с другими поставщиками услуг.
Давление с целью сделать это может быть нормативным. Например, недавно мы видели, как Австралия ввела возрастные ограничения для социальных сетей из-за различных негативных последствий экранной зависимости для детей. Поэтому, возможно, необходимо создать аналог «Детской Британники» — большой массив информации, не раскрывающий фактов из проблемных областей. Более регламентированная информация, поддерживаемая третьими сторонами, может убедить национальные правительства в том, что LLM не будет распространять предвзятые факты.
Ступица и спица
Формальный обмен большими объемами информации может противоречить бизнес-моделям конкурирующих поставщиков, но совместная работа все равно может привести к экономии эффективности.
У нас уже есть надежда: раннее и немного удивительное всеобщее признание протокола модельного контекста Anthropic (MCP) в качестве «USB LLM» может сказать нам, что, если идея достаточно хороша, конкурирующие поставщики (такие как OpenAI в данном случае) подхватят ее.
OpenAI уже подчеркнула возможную модель распространения своего Apps SDK и то, как она может работать с браузером Atlas. Идея здесь состоит в том, чтобы буквально относиться к местным знаниям как к своего рода серверу MCP, к которому может обращаться LLM. Таким образом, OpenAI пытается заменить Интернет, отвечая на общие запросы с помощью своей модели ChatGPT, но вызывая серверы пользовательских приложений для получения локальной экспертной информации. Точно так же, как OpenAI использует инструменты MCP, например, для доступа к вашему жесткому диску.
Местные LLM
Многие люди уже управляют степенью магистра права на местном уровне, и за последние несколько лет мы показали читателям, как это сделать. Хотя самые передовые модели останутся в облаке, существует множество меньших предварительно взвешенных моделей с открытым исходным кодом, которые пользователи могут запускать на своих ноутбуках. Локальный запуск по-прежнему является сложной технической задачей, но такие приложения, как Ollama, делают ее намного проще. Конечно, идеальной локальной машиной вполне может быть ваш телефон.
Мы уже видели, как системы Agentic CLI могут выбирать быструю дешевую модель для некоторых запросов, оставляя более дорогие модели для «глубокого обдумывания» или «планирования». Это приводит к идее использования локальной модели для небольших запросов и отправки более сложных запросов более крупным моделям, работающим в облаке.
Жизненный поток
Другая причина искать локально — это уловить личный контекст пользователя. Это приобретает большой смысл, когда мы видим, насколько хорошо Google исторически отвечал на запросы пользователей, поскольку он знает о них достаточно, чтобы исключить нерелевантные результаты.
Разумно предположить, что Amazon обучает LLM информации от миллионов говорящих на Alexa, а также изолирует личность отдельных говорящих в семье. Но местный LLM может просто прослушать и прочитать всю вашу речь и контент, чтобы полностью понять не только ваше географическое положение, но и то, что вас интересует в деталях.
Хотя возможные оруэлловские последствия «приложений жизненного потока» действительно тревожили нас в 2010-х годах, мы по-прежнему заполняли их нашими постоянными отчетами о состоянии. Агентские интерфейсы командной строки используют файлы уценки настройки, чтобы давать LLM подсказки о проекте, поэтому анализ поведения пользователя с течением времени, безусловно, может быть более эффективным. Предполагается, что Сократ сказал: «Неисследованная жизнь не стоит того, чтобы ее прожить», и хотя я сомневаюсь, что он одобрил бы ИИ, умеренное количество записей, безусловно, могло бы дать богатую (хотя и личную) диаграмму, с которой LLM мог бы начать работать.
Заключение
Возможно, потребуется небольшая «коррекция» (т. е. обвал) рынка, прежде чем крупные поставщики начнут работать над повышением эффективности, или инвесторы отойдут от погони за «искусственным общим интеллектом». Возможно, крупные компании вместе перейдут в другую сферу ажиотажа, чтобы продолжить развитие ИИ и поддерживать высокие цены на свои акции. Но есть хорошие шансы, что инженерное дело перейдет в улучшение существующих инвестиций.
Если вы используете степень магистра права для разработки программного обеспечения, у вас будет место в первом ряду на ринге для любых предстоящих изменений.
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Дэвид работал профессиональным разработчиком программного обеспечения в Лондоне в компаниях Oracle Corp. и British Telecom, а также консультантом, помогающим командам работать более гибко. Он написал книгу о дизайне пользовательского интерфейса и с тех пор пишет технические статьи. Подробнее Дэвид Истман
