Новое предложение Vercel позволяет разработчикам экспериментировать с различными моделями ИИ через один интерфейс, не управляя несколькими клавишами API, учетными записями поставщиков или ограничениями ставок.
Платформа веб -хостинга frontend представила Vercel AI Gateway в публичной бета -версии в среду на своей ежегодной конференции пользователей Vercel Ship, состоявшейся в Нью -Йорке в этом году.
Груба дает разработчикам доступ к приблизительно 100 моделям, абстрагируя сложность работы с несколькими поставщиками моделей искусственного интеллекта, сообщил в новом стеке.
«Если вы когда -либо строили какие -либо приложения, так утомительно ходить ко всем этим поставщикам, получить ключи API», — сказал он.
Он объяснил, что новое предложение имитирует, как разработчики использовали базы данных в течение последних 25 лет. Он работает с AI SDK компании, выпущенным в 2023 году.
«Вместо того, чтобы говорить, что я собираюсь использовать Oracle SQL, и я собираюсь использовать PostgreSQL, я действительно использую эти системы доступа, которые абстрагируют базовую базу данных», — сказал он. «Вы можете думать об AI SDK как о том, как в основном одно и то же, где у вас есть один API, и говорите ли вы с Gemini или разговариваете с Openai, не имеет значения».
Это также решает основную головную боль для разработчиков: он упрощает процесс переключения моделей во время разработки. С помощью AI Gateway разработчики могут использовать свою учетную запись Vercel, чтобы получить доступ приблизительно 100 моделей без дополнительной работы, добавил он.
Разработчики обычно начинают с пограничной или большой, генеративной модели ИИ, которая легко сделать работу, но дорого, а затем найти меньшую модель, которая более точно соответствует потребностям приложения для меньших затрат, сказал он. AI Gateway дает разработчикам простой способ экспериментировать с различными моделями, чтобы найти правильное соответствие для их приложений.
«Это полностью лишает трения пробовать разные модели во время разработки», — сказал он. «Вы в основном просто измените название модели, а затем она работает».
По его словам, после того, как приложение развернется на производство, разработчики могут просто приобрести выбранную модель или модели через Vercel.
Ворота ИИ также помогает управлять использованием, поэтому, если один источник не работает, он получит тот же сервис от другого поставщика облаков, добавил он.
«Все эти поставщики ужасны с точки зрения стабильности по сравнению с тем, к чему вы можете использовать из традиционных вычислений», — сказал он. «Итак, вы определенно, вы определенно не говорите на 99,9% — вы говорите о доступности 99%».
По сути, он выступает в качестве прокси -сервера Balancer Balancer Model Model Model для производства. Разработчики также могут принести свои собственные ключи API, а Vercel может просто выставить вам счет через AI Gateway.
Это также прозрачно в отношении стоимости, и Vercel продает все по рыночной ставке — наценка нет, добавил он.
Песочница Vercel для развертывания ИИ
В другом AI-игре компания frontend Web Hosting также запустила Sandbox Vercel, которая позволяет пользователям безопасно запускать нерецептивный код, например, созданный ИИ на инфраструктуре Vercel. Это в бета -версии.
В основном это «инфраструктура как услуга» Верселя, позволяющая разработчикам запускать неверный код, созданный ИИ безопасным способом.
Это не для ситуаций, когда разработчик совершает код для проверки кода, а в ситуациях, когда есть приложение, которое генерирует код в производстве, объяснил он.
По его словам, Vercel взял свою собственную инфраструктуру песочницы и сделал ее доступной в качестве услуги.
«Вы создаете это приложение для своих клиентов, а ваши подсказки клиента генерируют код — вы хотите запустить его», — сказал он. «В основном он превращает нашу застроенную инфраструктуру в платформу. Мы делаем более 1 миллиона сборки в день, поэтому это Ultra Rock Solid, инфраструктура, готовая к производству, упакованную, чтобы их можно было легко использовать в этом контексте искусственного интеллекта».
По сути, разработчики получают безопасную виртуальную машину, которая оптимизирована для запуска кода, который может быть небезопасным. Он не оптимизирован для масштаба, а для работы один раз, чтобы убедиться, что код безопасен, или определить, где проблема, если есть ошибка. Песочница имеет, по сути, привилегии с нулевым доступом, за исключением того, что дает разработчик, добавил он.
В других новостях на корабле на этой неделе Vercel объявил Прокатные релизыновая функция платформы, которая постепенно выпускает новые развертывания в подмножество пользователей. В отличие от пользовательской логики развертывания, она интегрирована в платформу и контролирует развертывание здоровья в режиме реального времени, сообщила компания.
Развертывания начинаются с 20% трафика по умолчанию, а затем это с течением времени сдвигается, либо автоматически, либо вручную.
Это также снижает риск плохих развертываний, достигающих 100% пользователей, и дает командам окно для улавливания регрессий — таких как нарушенные проверки, ошибки бэкэнд или деградация производительности — до того, как они повлияют на весь трафик.
Это также объявило Активные цены на процессор для вычисления жидкости, который больше не будет взиматься с тарифами на простоя, сказал он.
Fluid Compute — это вычислительная модель Vercel, предназначенная для обработки современных, динамических рабочих нагрузок, таких как ИИ и потоковая передача, путем объединения серверных и традиционных серверных архитектур.
«Каждый запрос будет использовать определенную сумму процессора, и вы платите за него, но есть определенные экстремальные случаи, которые на самом деле становятся важными», — пояснил UBL.
Например, если у разработчика есть приложение, которое не может даже заполнить процессор, потому что пользователей недостаточно. Он объяснил, что вместо того, чтобы заряжать весь процессор, разработчик взимается только для трех пользователей.
«Вот почему наш активный процессор так хорош, потому что вы платите только за процессор, и если у вас есть только три пользователя, то вы платите за трех пользователей», — сказал он. «Вы не платите за всю коробку».
Наконец, Vercel объявил Первоклассная поддержка микроформленияПолем По словам UBL, Vercel разрешил микроплантингы ранее, но это требовало много жесткой поддержки от организаций, которые хотели развернуть архитектуру. Теперь Vercel создал функции, которые позволяют разработчикам развернуть микроработники с меньшей пользовательской работой.
UBL отметил, что они движутся лучше в поддержку Agentic AI.
«В целом цель состоит в том, чтобы превратить Vercel в Premier Platform для размещения приложений для искусственного интеллекта, в конкретных агентских приложениях», — сказал UBL.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Loraine Lawson — ветеран -репортер, который в течение 25 лет освещал технологические проблемы от интеграции данных до безопасности. Прежде чем присоединиться к новому стеку, она работала редактором Banking Technology Site Bank Automation News. Она … читайте больше от Лорейн Лоусон
