Конг спонсировал этот пост.
Все пытаются создать приложения на основе искусственного интеллекта. Но мы быстро переезжаем из эпохи Чатбота и в что -то гораздо более сложное — и, возможно, преобразующе — по словам Марко Палладино.
«То, что мы видим сейчас, это последнее поколение приложений, которые, откровенно говоря, являются немного более интересными, и это агенты искусственного интеллекта, которые, по сути, могут принципиально повысить эффективность организации»,-сказал Палладино, технический директор и соучредитель Kong, в этом эпизоде новых производителей стека.
Агент ИИ, по сути, позволяет организациям создавать собственных «виртуальных сотрудников», отметил он. Он предложил пример, который может дать менеджерам по продукту человека.
«Например, агент ИИ может быть менеджером по продукту для API», — сказал Палладино. «Мы бы нанимали менеджеров по продуктам для работы с разработчиками, убедитесь, что создание, которые они создают, они являются правильными.… Ну, у нас может быть агент искусственного интеллекта, который это делает, который может анализировать документацию, поиск точности, может даже исправить документацию для нас».
Но с этой новой зависимостью от агентов искусственного интеллекта рискует. «Организация хочет знать, что никаких конфиденциальных данных или данных о клиентах, например, протекает в модели», — сказал он. «Что существует правильный уровень наблюдаемости управления при доступе к моделям.
«И разработчики, с другой стороны, они не хотят идти и строить некоторые из этих требований», — добавил он.
По его словам, принятие генеративного ИИ (Геная) достигает нового уровня зрелости, который является «убедительным, как разработчиками, так и платформы, чтобы выяснить: есть ли способ, которым мы можем ускорить все это, вместо того, чтобы перестроить его каждый раз?»
В этом эпизоде создателей Палладино рассказал о том, что означает здание агентов ИИ для команд разработчиков, и о AI Gateway, новый плагин с открытым исходным кодом для Gateway Kong API, который нацелен на то, чтобы упростить создание разработчиков с ИИ.
Выбор правильной модели для работы
Конг, который фокусируется на управлении соединениями (API, сервисная сетка), ввел AI Gateway в качестве бета -предложения в феврале 2024 года и развернул усовершенствования в сентябре прошлого года на своем саммите API. Самая последняя версия, AI Gateway 3.10, входит в общую доступность во вторник.
Среди функций AI Gateway: автоматические конвейеры по извлечению-августа (RAG), направленные на то, чтобы помочь уменьшить галлюцинации путем постоянного обеспечения нового контекста. «ИИ очень хорош в лжи, иногда уверенно», — отметил Палладино.
AI Gateway «находится между приложениями, агентами, которые мы создаем, которые используют ИИ, и модели, которые мы хотим потреблять», — сказал Палладино. «Мы поддерживаем все модели от всех поставщиков», в том числе модели Amazon Bedrock, Microsoft, Google, а также множество, доступные для обнимающего лица.
«Мы предоставляем возможность иметь универсальный API, где разработчики могут построить один раз и потреблять столько моделей, сколько они хотят, от стольких поставщиков, сколько они хотят», — сказал Палладино. «И это повышает эффективность разработчика, но также позволяет нам использовать лучшую модель для работы. И затем, помимо этого, мы предоставляем возможность защитить ее, ускорить ее, семантически направлять его».
Он добавил: «Будет разрастание моделей. И поэтому в масштабе очень сложно выбирать правильную модель для работы, наблюдения, управления, всех этих возможностей».
ИИ инфраструктура, отметил ИИ, появляется, чтобы решить проблемы, с которыми сталкиваются разработчики, с которыми сталкиваются разработчики. Например, «есть некоторые требования безопасности, которые мы не хотим перестраивать с течением времени, потому что риск его восстановления со временем состоит в том, что мы собираемся восстановить его непоследовательным образом», — сказал он. «И в безопасности нет ничего хуже, чем несовместимая безопасность, которая работает по -разному в зависимости от моделей, которые мы используем, или разработчиков, которые ее реализуют.
«Мы не хотим, чтобы они все время создавали эти функции безопасности. Мы хотим, чтобы они использовали эти функции безопасности, и как они используют их? Благодаря инфраструктуре, которую мы даем, чтобы они были продуктивными».
Посмотрите на полный эпизод, чтобы узнать больше о AI Gateway, будущем агентов ИИ и того, что находится на дорожной карте Конга.
Kong Inc. является ведущим разработчиком Cloud API Technologies и выполняет миссию, позволяющая компаниям по всему миру стать «Pi-Pirst». Конг помогает организациям во всем мире — от стартапов до предприятий из списка Fortune 500 — выпустить производительность разработчиков, надежно строить и ускорить время на рынке. Узнайте больше новейших из Cong Trending Stories youtube.com/thenewstack Tech Moving быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Хизер Джослин является главным редактором нового стека, с особым интересом к вопросам управления и карьеры, которые имеют отношение к разработчикам и инженерам программного обеспечения. Ранее она работала главным редактором контейнерных решений, облачного консалтинга … Подробнее от Хизер Жослин
