Новый стек ранее поделился тематическим исследованием из рабочих рабочих мест Fractional AI, создав AI -помощник AI, для автоматизации создания разъемов API для двигателя интеграции данных с открытым исходным кодом Airbyte. Сегодня мы делимся шестью уроками развития искусственного интеллекта.
1. Прототип с ИИ
ИИ особенно полезен для таких задач, как быстрое прототипирование, где быстрая итерация ценна, сказал Крис Тейлор, генеральный директор Fractional AI, сказал The New Stack. Он советует разработчикам поиграть с моделями ИИ, чтобы увидеть, чего они могут достичь, просто возится.
У Airbyte была талантливая команда разработчиков, способная создавать сложные вещи, хотя у организации не было много опыта ИИ. Во время хакерской недели команда разработчиков играла с ИИ, включая проведение некоторых грубых тестов, чтобы определить, что произойдет, если документация по API будет добавлена в Chatgpt для создания соединителя.
«То, что они получили в качестве вывода, было обнадеживающим, но неполным», — сказал Эдди Зигель, технический директор Fractional AI, Эдди Сигел. «Это придумало, это галлюцинировано».
Но это также создало что -то, что было похоже на разъем. Разработчики просто не были уверены, куда оттуда идти.
2. Разработайте проблему, а не только AI
При построении агента ИИ ИИ следует рассматривать как инструмент для увеличения и улучшения рабочего процесса, а не как конечный или решение само по себе.
«Наш подход включает в себя тонну маленьких методов« под капотом », но это похоже на любую другую инженерную проблему», — сказал Сигель. «Вы выполняете эту большую задачу и делите ее на гораздо меньшие, более управляемые, более настраиваемые куски».
Задача не состоит в том, чтобы построить разъем; Это цель. Вместо этого, разработайте проблему, чтобы придумать все шаги или задачи, которые требуют цели, рекомендовал Зигель.
«Распространение вашей проблемы на более мелкие, более настраиваемые кусочки — это ключевая техника», — сказал он. «Кроме того, сопротивляясь желанию сделать демонстрации, которые на самом деле не находятся на критическом пути к полной производственной системе. Важно строить рано [proof of concepts] и демо, но делайте это таким образом, что это первый шаг.
Создайте демонстрацию, но затем выбросьте его и создайте реальное решение, предложил он.
«Распространение вашей проблемы на более мелкие, более настраиваемые части — ключевая техника».
— Эдди Сигел, технический директор, дробный ай
Иногда с ИИ разработчикам, возможно, придется переключать модели искусственного интеллекта или Tinker с быстрым проектированием, чтобы придумать правильную комбинацию, которая дает желаемые результаты.
«Некоторые из них под капотом — это просто детерминированное программирование», — сказал Сигель. «Это не все только побуждает ИИ. Это большая, сложная инженерная система. Там много кода. Он делает гораздо больше, чем просто призыв к ИИ. И поэтому результат похож на довольно сложный рабочий процесс, который выполняет эту общую задачу».
Возможный разъем, который создан, «сшит вместе с нашим кодом», сказал он.
«Он использует кучу ответов на подвески, которые мы получили от ИИ, а затем наш код пишет разъем. Он не просит ИИ составить разъем с нуля. Так что это довольно сложно».
Это, по его словам, это то, на что действительно выглядят агенты искусственного интеллекта под капотом — с точки зрения пользователя, ИИ, похоже, принимает решения, и это так. Но это не все, что происходит.
«Под капотом этого не совсем неограниченное, просто спросите [large language model] Делать все, что хочет, — сказал Сигель. — Это более сложная система, где вы добавляете ограждения вокруг определенных вещей, чтобы получить более предсказуемость, получить лучшие результаты, и вы делите его на более мелкие куски, чтобы вы могли получить то виды поведения ».
3. Создайте Evals
Evals — это автоматизированные тесты, созданные для определения того, насколько хорошо работает агент ИИ. Эванс был довольно сложным для проекта Airbyte, признал Зигель. Идея состояла в том, чтобы выбрать API, который уже имел разъем с Airbyte, а затем попросить помощника искусственного интеллекта построить один и тот же разъем из документации и сравнить их.
«Это служит хорошей основной правдой, которую вы можете использовать, чтобы проверить свою систему и сказать, насколько хорошо у вас дела», — сказал Сигель. «Есть много трудных нюансов вокруг того, как вы это делаете, и на практике это очень, очень сложно».
План состоял в том, чтобы построить кучу разъемов, чтобы они могли установить эталон для измерения конечного продукта в разных измерениях. Так, например, для аутентификации, дробный ИИ может сказать, что они были правильными примерно в 70 процентах случаев, что позволяет инженерам расслабиться на том, почему система терпит неудачу остальных 30%, пояснил Зигель. По его словам, потребовался долгий итеративный цикл развития, чтобы получить эти цифры с течением времени.
«Evals критически важны для этих проектов искусственного интеллекта», — сказал Сигель. «Выяснить, как измерить себя, очень сложно. Инженеры -программисты привыкли к написанию тестов в детерминированном коде. Эти Evals являются тестами мира ИИ, но они гораздо более хитрые и нюансы».
Но даже с Evals, ИИ может быть сложнее обычного программного обеспечения. Это потому, что в какой -то момент ИИ начинает обогнать человека с точки зрения точности.
«Теперь эта система более точна, чем люди, и люди судят об этом», — сказал Тейлор. «Это вводит много проблем с точки зрения измерения».
4. Ожидайте странного поведения
Все знают о проблеме галлюцинации. Но разработчики могут не оценить, так это то, что иногда ИИ ведет себя странно.
«Одна из вещей, которые мы пытаемся сделать в этих проектах, — это бюджет для неизвестных неизвестных», — сказал Тейлор. «Мы будем разрабатывать эти проекты, и вы просто получите какое -то странное поведение, которое вы не могли бы ожидать. И тогда вы должны выяснить, как мне решить для этого? Как я могу ограничить ИИ, чтобы он не сделал это странное поведение?»
«Одна из вещей, которые мы пытаемся сделать в этих проектах, — это бюджет для неизвестных неизвестных».
— Крис Тейлор, генеральный директор, дробный AI
Иногда проблемы связаны с ИИ напрямую. Например, Тейлор поделился проектом, который требовал транскриптов разговора. Когда дается белый шум или кашель, ИИ иногда просто пишет что -то из своих тренировочных данных в транскрипт, где произошел белый шум или кашель.
«Вы получите странные вещи, такие как« нравится и подписаться », потому что это было здорово на видео на YouTube», — сказал Тейлор. «Затем вы должны выяснить, как мы убедитесь, что транскрипт фактически отражает разговор и решает эти случайные, странные вещи, которые вставляются ИИ из учебных данных».
По словам Зигеля, в проекте Airbyte, что удивило команду Фракционирования Фракционирования мало общего с ИИ, а скорее с помощью веб -соскабливания документации API.
«То, что завоевало нас действительно врасплох, было на самом деле, насколько сложной была часть, которая ползает часть этого», — сказал он.
Другая неожиданная проблема: не вся документация API будет соответствовать окну контекста ИИ, и в этом случае команда имеет документацию, подвергающуюся процессу поиска-аугментированного поколения (RAG), чтобы сделать его более условным AI.
5. выходить за рамки чат -ботов
Иногда простой пользовательский интерфейс — это чат -бот. Но для пользователей это часто может поднять проблемы, связанные с давлением правильной подсказкой. Например, проект Airbyte потребовал гораздо больше, чем просто хорошо составленная подсказка.
«Люди испытывают сильное искушение в мире ИИ или сильную связь между ИИ и чат -ботами», — сказал Сигель. «Когда вы ищете места для применения ИИ, это естественный искушение, чтобы бросить на него чат -бот. И на самом деле мы видим смешанные результаты».
Иногда это работает — но иногда это проваливается, добавил он.
«Много такого рода разных чатов с моим документом« варианты использования или бросить чат -бот на старый пользовательский интерфейс разочаровывает пользователей », — сказал Сигель.
Он посоветовал: «Продумываясь через UX:« Является ли рабочий процесс, который этот пользователь естественным образом делает болтливый опыт? » Это мощный новый инженерный примитив, который мы все нашли здесь, но принципы инженерного инженера и принципы пользователя, первостепенные, все еще применяются ».
Тейлор повторил чувства Зигеля: «Чатбот — это просто трудно взаимодействовать с пользователем, потому что вам нужно понять, как я должен побуждать эту вещь? На что она способна? Кривая обучения крутая, и так что кривая принятия не может быть крутой».
Вместо этого, предложил Зигель, рассмотрим естественный рабочий процесс конечного пользователя и сосредоточьтесь на создании вдумчивого пользовательского опыта и интерфейса.
6. Обработка галлюцинаций как босс
ИИ делает галлюцинацию. Любой, кто возился с этим в течение любого количества времени, видел, как это произошло. Таким образом, Зигель посоветовал разработчикам просто осознавать его потенциал для галлюцинации, генерируя неправильную или бессмысленную информацию — даже в коде.
«Они галлюцинируют больше, когда им дают большие, сложные, открытые задачи без соответствующей информации для ответа»,-сказал он.
По словам Зигеля, чтобы бороться с этой тенденцией, сузите окно ответа, попросив очень конкретный ответ или выбрать ИИ среди вариантов может помочь уменьшить галлюцинации.
«Галлюцинация — это не просто, она полностью придумывает вещи без причины», — сказал он. «Это придумывает вещи, потому что он пытается сделать то, что вы просите его сделать, и ему не дают соответствующую способность делать это».
Разработчики могут разработать вокруг него так, чтобы уровень галлюцинации снизился. Но это вопрос поиска галлюцинаций на практике и изучения того, почему это галлюцинировано, добавил он. Дробный ИИ даже написал белую статью о строительстве надежных агентов ИИ.
«Создайте свою оценку таким образом, чтобы вы могли обнаружить, что это происходит», — сказал он.
Siegel и Taylor рекомендовали использовать комбинацию быстрой инженерии, детерминированных проверок и систем вторичной проверки для смягчения галлюцинаций. Они также предложили много тестирования. Например, вы можете попросить вторичную систему ИИ проверить результаты вашей основной системы, чтобы увидеть, есть ли галлюцинации, сказал Зигель.
Он посоветовал ограждения. Реализуйте ограждения и гарантии для обеспечения ответственного развития ИИ и решения проблем по поводу галлюцинаций и непредсказуемого поведения.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Loraine Lawson — ветеран -репортер, который в течение 25 лет освещал технологические проблемы от интеграции данных до безопасности. Прежде чем присоединиться к новому стеку, она работала редактором Banking Technology Site Bank Automation News. Она … читайте больше от Лорейн Лоусон
