Когда дело доходит до выбора моделей, разработчики часто начинают с пограничной модели, которая является еще одним названием для передовой, большой языковой модели, такой как GPT-4 Openai, Google Gemini Ultra и серия Anpropic Claude 3.
Но пограничные модели могут быстро стать стоимостью. Именно тогда разработчики, как правило, находят меньшие модели, которые могут обменять некоторую точность за затраты, согласно аналитику основного принципа Forrester Роуэн Курран, чьи исследования фокусируются на ИИ, машинном обучении и науке о данных.
Увидев, что может быть достигнуто с помощью большой пограничной модели, разработчики понимают проблему больше и их собственный уровень аппетита к риску, объяснил он. Именно тогда они переключатся на одну или несколько меньших, открытых моделей. Модели с открытым весом-это то, где обученные параметры (он же, вес) становятся общедоступными, обычно для загрузки.
Однако это не обязательно картирование один к одному. Например, Курран сказал, что эти модели могут иметь 85% от точности, но они могут стоить на 20% от стоимости.
«Мы также начали видеть этот сдвиг, где люди начинают разбивать проблему: от как мы просто используем одну модель [to] Вроде решайте все это, как мы действительно оптимизируем вокруг относительно более дешевых моделей, — сказал он. — Вы не можете сделать это, пока не достигнете V2 своего приложения, и не поймете, как на самом деле выглядит результаты V1 ».
Это одна из причин, по которой вы часто увидите приложения ИИ с вариантом «Большой палец вверх»/«Палец вниз», чтобы предоставить обратную связь для результатов, добавил он: это помогает компаниям понять, что работает, чтобы лучше настроить свои предложения.
Evals и другие соображения для приложений ИИ
Когда вы пытаетесь решить, какую модель использовать для вашего приложения, ваш первый шаг, вероятно, вообще не должен быть моделью. Вместо этого вы должны сосредоточиться больше на создании базовой оценки, чем на выбор модели, посоветовал генеральный директор TheSys Раби Шанкер Гуха.
Thesys-это генеративная компания пользовательского интерфейса (Genui), которая специализируется на интерфейсах, управляемых AI. Когда начались Гуха и его соучредитель (дизайнер Парикшит Дешмух), они начали с оценки-или оценки, поскольку его часто сокращаются в ИИ.
«… Люди начинают разрушать проблему от того, как мы просто используем одну модель, решаем все это, как мы действительно оптимизируем относительно более дешевую модель».
— Роуэн Курран, Форрестерский принцип Аналитик
«Первое, что мы сделали, это придумали базовую оценку для оценки этих моделей», — сказал Гуха.
Для их оценки они отслеживали эталон Web Dev Arena LLM и эталон под названием τ-benc (тау-банд).
«В идеале нам нужна модель, которая набирает достаточно высоко в обеих этих вещах, и, основываясь на этом, тогда у нас были эти эвалы», — объяснил Гуха. «Таким образом, мы на самом деле не проверили сотни моделей, но мы проверили пять лучших моделей на основе [the] Существующие два теста, плюс наш эталон ».
Используя их, а также человеческий взгляд для измерения фактического производства пользовательского интерфейса, они смогли сузить свой выбор до двух или трех моделей, а затем они начали экспериментировать.
Разработчики должны подумать о не только о модель, предупредившей Абхишек Сенгупта, директор практики ИТ -консалтинга Everest Group.
«Набор данных, используемый для обучения модели, стоимость вывода, производительность против соответствующих тестовых случаев и функции безопасности, являются некоторыми критериями, которые следует иметь в виду», — сообщил Сенгупта.
Не женитесь на модели ИИ
По словам Ли Робинсона, с новой моделью, казалось бы, каждую неделю, и цены продолжают снижаться, разработчики не слишком быстро прикрепляются к одной модели или компании.
«Не прикрепляйтесь к одной конкретной модели. Сделайте это легко, чтобы вы могли перемещаться между моделями, а затем проверить и проверять, когда вы пробуете разные модели», — посоветовал Робинсон. «Вы хотите иметь слой абстракции между этим, чтобы вы могли легко перемещаться, потому что почти гарантировано, что за очень короткое время будет более новая, лучшая модель».
Это означает, что вы правильно создаете свой код, чтобы вы могли торговать моделями по мере необходимости, продолжил он.
Все чаще компании, которые обслуживают работу по разработке искусственного интеллекта, предлагают разработчикам возможность легко переключить модели и экспериментировать с тем, что работает. Например, Робинсон отметил, что Vercel предлагает AI SDK, который позволяет изменить модели ИИ с одной строкой кода. И только на прошлой неделе Vercel выпустил AI Gateway, который отвлекает хлопот моделей переключения, предоставляя разработчикам доступ к приблизительно 100 моделям, не беспокоясь о ключах API, учетных записях поставщиков или ограничениях.
Точно так же SAP упростила в этом году для своих разработчиков предприятия использовать различные модели, добавив уровень абстракции, чтобы гарантировать, что безопасность, этика, конфиденциальность данных и защита обеспечиваются моделями ИИ.
«С Openai, Mistral, Antropric, вы называете его, мы имеем гибкость, чтобы использовать эти крупные языковые модели на основе потребностей приложения, потому что все они различают затраты, точно, в производительности и, конечно же, какие варианты использования являются лучшими», — сказал Майкл Амелинг, президент платформы The SAP Business Technology, в новом стеке. «Мы можем использовать различные модели в зависимости от использования в нашем приложении».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Loraine Lawson — ветеран -репортер, который в течение 25 лет освещал технологические проблемы от интеграции данных до безопасности. Прежде чем присоединиться к новому стеку, она работала редактором Banking Technology Site Bank Automation News. Она … читайте больше от Лорейн Лоусон
