Я провел большую часть своей карьеры, полагая, что техническая изощренность была ключом к решению сложных проблем. Будучи основателем ИИ, ставшим лидером продукта ИИ, я был убежден, что самая передовая модель, самая сложная архитектура, всегда выиграет. Но мой опыт масштабирования решений искусственного интеллекта на Apollo.io преподавал мне радикально другого урока: наиболее важным фактором в успехе ИИ не является технологии — это глубокое понимание человеческого рабочего процесса, который вы хотите дополнить с помощью ИИ.
Мой карьерный путь начался в окопах выездных продаж, наблюдая, как команды борются с часами ручных исследований и задач по вопросам работы. Специалисты по продажам тонули в данных, но не имели значимых связей. Традиционные инструменты автоматизации казались тупыми инструментами: быстрыми, но принципиально отключенными от нюансированного искусства человеческого общения.
После выращивания функциональности ИИ Аи -Айри до 54 000 еженедельных активных пользователей (увеличение в 5 раз в 2024 году), наша команда сделала удивительное открытие. Успех нашей реализации ИИ имел мало общего, с какими моделями, которые мы выбрали, или изысканности нашей архитектуры. Вместо этого определяющими факторами были наша организационная структура, методологии оценки и интеграция экспертизы домена со стороны специалистов по продажам.
Разрыв в инфраструктуре качества
Самая удивительная реальность, которую мы обнаружили во время нашего путешествия по ИИ? Создание успешных приложений для ИИ требует инфраструктуры оценки, которую большинство команд полностью упускают из виду.
Как и многие команды, мы начали с доставки на вибрации: если это хорошо выглядело в тестировании, мы отправили его. Этот подход неизбежно терпит неудачу, как только вы масштабируетесь за пределами внутренних пользователей или ранних пользователей. В Apollo мы разработали четырехмерную систему оценки, оценивая каждый вывод AI на:
- Точность: Соответствует ли это проверенной информацией?
- Актуальность: Относится ли он к конкретному варианту использования?
- Ясность: Это кратко и понятно?
- Тон: Это соответствует соответствующему стилю общения?
Каждое измерение оценивается по шкале 1-3 экспертами домена. Ничто не поступает, не достигнув минимального составного балла 2,5/3. Эта структура оценки стала нашим конкурентным преимуществом, обеспечивая постоянное качество, поскольку мы масштабировались с сотен до десятков тысяч пользователей.
Организационная схема, которая работает: эксперты по доменам ведут, инженеры поддерживают
Благодаря болезненной итерации мы обнаружили противоречивую истинную истину: инженеры — это не тот человек, чтобы писать подсказки, несмотря на их технические знания с системами искусственного интеллекта.
Инженеры машинного обучения (ML) преуспевают в системной архитектуре и интеграциях API, но борются с захватом специфичных для домена знаний в подсказываниях. Магия происходит, когда эксперты по теме возглавляют быстрое создание.
Это понимание привело нас к созданию специальной роли «быстрого писателя», заполненной доменными экспертами по продажам, а не инженерам. Удовлетворенность пользователями прыгнула в 1,34x после этого организационного сдвига.
Структура гибридной команды, которая оказалась наиболее эффективной для нас:
Роль
Основная ответственность
Инженерные инфраструктура, API, мониторинг писателей-писателей, специфичных для работы с доменом
Задача пользовательского опыта: доверие через прозрачность
Несмотря на то, на что могут надеяться технические лидеры, пользователи не доверяют системам искусственного интеллекта по умолчанию. Когда наш первоначальный продукт искусственного интеллекта требовал быстрого инженерного навыка, усыновление полностью остановилось.
Мы поняли, что принятие ИИ следует кривой доверия, а не кривой возможностей. Пользователи должны проверить выходы, прежде чем они полагаются на них.
Мы перестроились с:
Эти изменения привели к 3 -кратному росту у еженедельных активных пользователей, не потому, что базовые возможности ИИ улучшились, а потому, что интерфейс создал доверие.
Учебения в реализации: три шаблона для успеха
После масштабирования нашей платформы AI до 54 000 еженедельных активных пользователей и работы с сотнями компаний, внедряющих ИИ, мы определили три последовательных шаблона, которые дифференцируют успешные реализации:
Заработайте право автоматизировать. Большинство инженерных команд стремятся создать полностью автономные системы ИИ, но наши данные показывают, что пользователи постоянно предпочитают иметь варианты ручного обзора. Когда мы внедрили механизмы переопределения в один щелчок и индикаторы доверия, принятие пользователей увеличилось в 3 раза. Сначала строить механизмы доверия, а затем постепенно увеличивать автоматизацию по мере роста доверия пользователей.
Распределить доменную экспертизу над технической изощренностью. Alpha in Product Product Building не найдено путем принятия новейших средств агента или модели большой языка (LLM) — оно происходит из -за того, что эксперты по теме впитывают лучшие практики в вашу систему. Наше слепое тестирование модели показало, что Claude Haiku 3.5 неизменно превосходил гораздо более крупные модели для наших конкретных вариантов использования продаж, несмотря на то, что он был быстрее и дешевле. Модель имеет меньше, чем хорошо, ваша команда понимает пробную область.
ОПЕРЬЕТСЯ ОБРАЗОВАНИЕ ВАШЕ ОПРЕДЕЛЕНИЕ КАЧЕСТВО. Большинство команд используют субъективные «вибрации» для оценки результатов ИИ на ранней стадии, но этот подход рушится в масштабе. Реализуя нашу четырехмерную систему оценки (точность, актуальность, ясность, тон) с определенными порогами (минимум 2,5/3), мы создали объективную структуру качества, которая позволила бы постоянные результаты, даже когда наша пользовательская база выросла на 5x. Без количественных показателей качества продукты искусственного интеллекта неизбежно дрейфуют к несоответствию.
Что будет дальше для команд инженеров ИИ
Новая реальность? Внедрение ИИ не проходит из -за технических ограничений, но потому, что организации не структурировали свои команды, чтобы преодолеть разрыв между возможностями и опытом домена.
Следующая волна успешных продуктов искусственного интеллекта не будет построена командами Racing для реализации новейшей модельной архитектуры. Они будут построены командами, которые создают правильную организационную структуру, структуры оценки и механизмы доверия, чтобы обеспечить постоянную ценность в масштабе.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Тайлер Филлипс-опытный лидер продукта, который специализируется на том, чтобы идти по ноль-один и масштабировать продукты искусственного интеллекта для команд GTM. В качестве основного менеджера по продуктам в Apollo.io, платформе продаж AI на 1,6 млрд. Долл. сша, он разрабатывает ассистента по продажам ИИ Аило
