Если вы экспериментируете с ИИ (а если нет, то вскоре безвозвратно останетесь позади), вам нужны основы, прежде чем вы сможете пожинать плоды. Фактически, несмотря на десятки миллиардов инвестиций, плохая стратегия обработки данных и организационная разрозненность приводят к провалу 95% экспериментов по искусственному интеллекту.
Вот почему гигант потокового вещания Spotify теперь предлагает командам разработчиков Confidence, позволяющую им быть более гибкими и легче экспериментировать на портале Spotify. Предварительно созданный внутренний портал разработчиков компании, который теперь общедоступен и соответствует требованиям SOC 2, поставляется со встроенной платформой экспериментов Spotify Confidence, которая позволяет организациям проводить эксперименты и принимать решения на основе данных в рамках всего бизнеса.
Уверенность позволяет пользователям «быстро ошибаться и быстро учиться» с помощью A/B-тестирования, мониторинга и оповещений, а также автоматических откатов, делая это таким образом, чтобы обеспечить сотрудничество и обзор экспериментов, чтобы разрушить разрозненность, сдерживающую производительность ИИ.
Тайсон Сингер, старший вице-президент Spotify по технологиям и платформам, рассказал The New Stack о переходе Portal на GA, повышении уверенности, о том, как поживает помощник по знаниям AiKA AI, о том, как проверить состояние вашей организации и многом другом. Читайте дальше, чтобы узнать, как проводить более эффективные, масштабируемые и измеримые эксперименты, не нарушая при этом свой бизнес.
Spotify: все еще экстремальный любитель собак
Появление внутреннего портала разработчиков возникло в первую очередь в ответ на потребность в переводчике — от расходов на проектирование до ценности бизнеса и обратно. Портал создает единую панель для поиска, управления и понимания доступа и жизненного цикла разработчика программного обеспечения.
Backstage — платформа с открытым исходным кодом для создания внутренних порталов разработчиков, которую Spotify пожертвовал Cloud Native Computing Foundation (CNCF) — уже используется ежедневно практически каждым разработчиком, работающим в сервисе потокового аудио. За последний год инженеры Spotify создали собственного внутреннего чат-бота и серверы Model Context Protocol (MCP), которые теперь также интегрированы в портал.
По мере того, как Spotify расширяет свое премиальное предложение Portal, он продолжает интегрировать функции, которые уже давно разрабатываются его собственными разработчиками.
«Вместо того чтобы выходить за рамки контекста для выполнения своей работы, мы встроили AiKA, нашего чат-бота с искусственным интеллектом, нашего помощника по знаниям, в Portal, чтобы они могли получать эту информацию из космоса», — сказал Сингер. «Он действительно спроектирован так, чтобы вся ваша корпоративная информация была встроена в него, поэтому вам не нужно пытаться перейти к стороннему чат-боту, внедрить все это, чтобы попытаться создать какой-то [retrieval-augmented generation] основанная вещь [and] попытайтесь подключить все серверы MCP, чтобы получить правильные ответы».
По его словам, все это встроено, а затем интегрируется в остальную среду разработки, выбранную командой разработчиков.
Сингер утверждал, что этот единый организационный контекст имеет большое значение для его организации, поскольку Portal:
- Стандарты среды разработки скаффолдов. которые отражаются в любом новом кодексе.
- Интегрирует чат-бота AiKA в основной инструмент коммуникации разработчиков Spotify, Slack.
Роль АиКА
Поскольку каждая команда Spotify поддерживает другую, «это действительно оказывает потрясающее влияние на сокращение времени на получение ответов», — сказал Сингер. «Мы стали свидетелями того, как время обработки внутренних запросов на поддержку сократилось почти на 50 %, что очень важно, но оно также огромно с точки зрения того, чтобы не нарушать поток разработки», поскольку такая глубокая интеграция синтезирует всю внутреннюю информацию.
Конечно, как и в случае со всеми процессами мониторинга, это может привести к увеличению усталости от оповещений. Но, пообещал он, обычно все происходит наоборот, особенно с разными, но интегрированными командами разработчиков, в основном в Швеции и сша, с разницей в шесть-девять часов. Поддержка Slackbot AiKA позволяет различным командам получать ответы, даже когда люди не работают.
По словам Сингера, AiKA учится как на документации, так и на коде, и пытается предоставить ответы высочайшего качества, но это не всегда правильно — именно тогда всем приходится возвращаться и улучшать свою базу знаний.
«ИИ не умнее той информации, которую мы ему предоставляем», — сказал он. «Итак, вы хотите, чтобы информация была качественной, и вы хотите создать позитивные способы сделать это. [knowing that] разработчики не любят заниматься документацией».
Когда некоторые ответы неизбежно неверны, запрашивающие команды могут выяснить источник этого ответа, а затем самостоятельно исправить его в технической документации, «чтобы в следующий раз ИИ был умнее. И он создает этот позитивный маховик для получения качественной информации», стимулируя самоподдерживающийся рост посредством внутренней мотивации.
Поскольку 86% активных пользователей Spotify GitHub теперь ежедневно используют AiKA, время поддержки производства сократилось на 47%.
Экспериментирование в инженерном масштабе предприятия
Инженерная организация Spotify проводит около 10 000 экспериментов в год, при этом более 300 команд проводят и измеряют их на экспериментальной платформе Confidence.
Общедоступная версия Confidence включает мониторинг и метрики для предотвращения регрессов, а также действия по постепенной доставке, включая A/B-тестирование, пометку функций и контролируемое развертывание.
Сингер привел в пример эксперимент Spotify, направленный на увеличение потребления подкастов. Метрики должны не только отслеживать, увеличивается ли это число, но и происходит ли увеличение за счет других показателей, важных для бизнеса.
В Spotify разработчики откатывают около 42% экспериментов, чтобы предотвратить регресс еще одного бизнес-показателя, что, по его мнению, соответствует показателям других организаций, достигших такого уровня зрелости экспериментирования.
Portal Confidence поставляется с некоторыми встроенными бизнес-ориентированными инженерными метриками, но клиенты могут настроить свои собственные метрики по умолчанию. Spotify также предоставляет услугу, которая поможет в этом.
«Мы разработали некоторые вещи для клиентов, чтобы они могли начать работу. Но каждая компания индивидуальна, не так ли?» — сказал Сингер. «У Spotify другой набор целей для конечных пользователей, чем у других компаний, поэтому мы можем помочь людям настроить и запустить эти вещи, но я не думаю, что есть какой-то один ответ для всех, потому что бизнес у всех разный».
У Spotify уже были истории успеха Portal с давними партнерами по дизайну, включая PagerDuty, TrueCaller, Metimeter и Levincoin, каждый из которых преследовал разные бизнес-цели, но каждый стремился включить в эксперименты больше ролей.
«Эксперименты сложны, если проводить их изощренно», — сказал Сингер. «Вот почему нам нужны все эти возможности автоматического обнаружения регрессий».
Именно поэтому, добавил он, «часто это входит в компетенцию только ученых, занимающихся данными, которые могут это сделать, но это не обязательно масштабируется».
Благодаря Confidence инженеры и менеджеры по продуктам также могут безопасно проводить эксперименты.
Просто, продуманно и гибко?
По словам Сингера, цели команды Spotify в отношении GA — выпустить версию Portal, которую будет легко подключить к вашему каталогу и пользователям, оставаясь при этом самоуверенной и расширяемой.
«Иногда они просты и гибки, но они не обязательно совпадают», — сказал он. «И затем мы также хотим, чтобы он был самоуверенным, потому что мы хотим, чтобы люди могли воспользоваться тем, как Spotify делает это, чтобы действительно предоставить большой опыт, который у нас есть внутри Portal. Обычно это все вещи, которые находятся в противоречии друг с другом — гибкие, самоуверенные, простые».
Как и в случае с пользователями Backstage с открытым исходным кодом, плагины портала являются решением для установления этого баланса, сочетая:
- Плагины Spotify, включая AiKA, флаги функций доверия и управление доступом на основе ролей.
- Рекомендуемые плагины, включая партнерские PagerDuty, New Relic, Azure DevOps и несколько GitHub.
- Другие интеграции и расширения, в том числе те, которые организации создают самостоятельно.
«Мы внесли некоторые изменения в нашу Portal Plugin Studio, чтобы пользователи могли быстрее встраивать интеграцию со своим экземпляром портала», — сказал Сингер. «Речь идет о такой гибкости, чтобы они получали более мгновенную обратную связь во время разработки и имели возможность работать с существующими данными внутри своего экземпляра портала более безопасным и изолированным способом».
Spotify также добавил мастер каталогов, который, по его словам, «предназначен для того, чтобы сделать его простым, чтобы вы действительно могли помещать вещи в свой каталог и манипулировать ими через портал».
Частично это связано с тем, что Spotify активно использует YAML, но он получил отзывы от клиентов и партнеров по дизайну, которые хотят использовать вместо этого, например, JSON. Таким образом, с помощью мастера каталогов пользователи могут получить доступ к плагинам через пользовательский интерфейс портала или YAML.
Измеряйте то, что важно
«Когда я хожу и рассказываю своим коллегам об инсайтах Spotify о своей технологической экосистеме, обычно у них отвисают челюсти», — сказал Сингер. «Они такие: «Ух ты, у тебя много данных.
«Нам нравится чертовски анализировать вещи. Поэтому нам нравится анализировать это, понимать вещи, а затем строить на их основе гипотезы и смотреть, работают ли вещи или нет».
Backstage Soundcheck был создан внутри компании, а затем выпущен в качестве системы показателей для передовых команд разработчиков для мониторинга стандартов качества и безопасности на уровне компонентов. Теперь он включает в себя Tech Insights, который создает для руководителей инженеров представление о командах и компонентах на уровне организации.
«Они хотят увидеть, соблюдают ли люди золотые технологические стандарты, стандарты качества, стандарты безопасности, затраты — все, что они хотят внести в эту среду», — сказал Сингер. «Поскольку Spotify сам по себе представляет собой инженерную культуру, ориентированную снизу вверх, мы на самом деле не включили ее в распространение для более старших инженерных руководителей».
Теперь для всех организаций на всех уровнях в Backstage стало привычным, по его словам, «гонять кошек по всей организации к любым целям, которые они хотят».
Зарегистрируйтесь сейчас, чтобы одним из первых получить бесплатную новую электронную книгу The New Stack: «ИИ для предприятия: Руководство по разработке и масштабированию вашей стратегии ИИ».
ТЕНДЕНЦИОННЫЕ ИСТОРИИ YOUTUBE.COM/THENEWSTACK Технологии развиваются быстро, не пропустите ни одной серии. Подпишитесь на наш канал YouTube, чтобы смотреть все наши подкасты, интервью, демонстрации и многое другое. ПОДПИСАТЬСЯ Группа, созданная в Sketch. Дженнифер Риггинс — рассказчик о технологиях и журналист, ведущая мероприятий и дискуссий. Она устраняет разрыв между бизнесом, культурой и технологиями, ее работа основана на опыте разработчиков. Она работает писателем с 2003 года и живет… Подробнее от Дженнифер Риггинс.
