В эпоху, в которой преобладает общественное облако, ServiceNow идет по другому пути: 90% ее рабочих нагрузок, включая большую часть ее инфраструктуры ИИ, работают на собственном физическом оборудовании.
Для этого эпизода новых агентов стека мы поговорили с Пэт Кейси, техническим директором и соучредителем компании, чтобы понять его подход. Он поделился подробностями о том, как ServiceNow строит свои собственные концентраторы GPU, почему компания переключила своих разработчиков с GitHub Copilot на Виндсурф (и увидел повышение производительности на 10%), и что означает рост помощников по кодированию ИИ для будущего юношеских застройщиков.
Но чтобы начать, мы спросили Кейси, как он в итоге работал в ServiceNow уже более 20 лет.
Кейси и Фред Ладди, основатель и член правления ServiceNow, ранее работали вместе, в 2003 году, когда Ладди основал то, что в то время все еще называлось «GlideSoft».
«Я почти буквально ударил его», — сказал Кейси. «В то время у меня был кабриолет. Он был отвлечен и вошел по дороге, и я очень быстро поднялся и чуть не ударил его, пожелал на него, и я отключил его. Это не было гладким. А потом я узнал его, и он сказал:« Пэт! Фред! » Мы остановили трафик на некоторое время, и, короче говоря, он сказал мне, что он основал новую компанию.
Сначала Кейси не получил точку службы. В то время — и это 2004 год — вы можете создать с собой основные бизнес -приложения, но это все еще было очень ограниченным с точки зрения конфигурации. Но то, что выделяло его, это то, что это было на основе браузера.
«Это приложение на основе браузера, которое в 2004 году было очень новым и супер захватывающим. [Luddy’s] Также нравится: «Да, но это намного проще. Кого волнует, что это технически возможно с этими альтернативными инструментами? Почти никто не может этого сделать ».
90% ServiceNow по -прежнему работает в помещениях
В то время как ServiceNow является одним из ранних инструментов на основе браузера, тем не менее, компания медленно ставила ставку на то, чтобы поставить свою инфраструктуру в общедоступном облаке.
«Если вы посмотрите на мои рабочие нагрузки сегодня, я бы сказал, что свыше 90% из них работает на физическом снаряжении. Я покупаю серверы у поставщика и поместил их в стойку, и я забегаю их в центре обработки данных, и есть клетка и все это. Наш стратегический план: я думаю, что к 2030 году мы ожидаем, что оказались на 50% гипер -масштабе и 50% общедоступной инфра.».
Это также означает, что ServiceNow управляет подавляющим большинством своей инфраструктуры ИИ в помещениях. Но Кейси утверждает, что управление инфраструктурой ИИ с ее сильной зависимостью от графических процессоров и высокой пропускной способности и требований с низкой задержкой, «не так волшебно различается на стороне инфраструктуры, как некоторые люди заставляют вас верить». Он квалифицировал, что, подчеркнув, что это особенно верно для вывода, хотя для модельного обучения вы можете захотеть более индивидуальную настройку.
У ServiceNow теперь есть большие пулы графических процессоров, распространяющихся по центрам обработки данных в центрах по всему миру. «Сейчас мы, вероятно, сейчас находимся в шести или семи центрах графических процессоров, но сейчас это пара из 1000 хозяев с графическими процессорами, что звучит как большое количество, но по сравнению с количеством хозяев, на которых Amazon работает на графических процессорах, это капля в ведре, но он работает, и он позволяет нам управлять нашими клиентами на местном уровне», — сказал Кейси.
Запуск ИИ в частном облаке
Точно так же, по его мнению, запуск моделей ИИ на этой инфраструктуре тоже не так уж и сложна, учитывая, что команда уже имела большой опыт работы с сложной инфраструктурой на основе контейнеров.
В качестве сиденота Кейси также объяснил, как, поскольку требования к мощности и охлаждению для этих серверов ИИ немного выше, чем для обычных процессовых машин, команда в итоге поместила пустые стойки между стойками графического процессора для улучшения потока воздуха.
«В ServiceNow это архитектура с несколькими инстанциями. Таким образом, каждая продукция клиента является его собственным уникальным программным стеком. Некоторые действительно большие, если вы AT & T. Некоторые из них немного меньше; если вы обувь Алисы, он намного меньше, но это один и тот же план программного обеспечения, просто отлично масштабируется.
Для своего агентского использования, ServiceNow в значительной степени делает ставки на сервер вывода Nvidia Triton, который запускает собственные модели Apriel ServiceNow.
«Мы уже были [Kubernetes] Покупайте почти все наши услуги, и — в этом случае, нам повезло — у нас на самом деле был какой -то опыт Triton, прежде чем это было круто, — сказал Кейси. — Поэтому, когда мы на самом деле решили сделать это, это не было: «Боже мой, это какая -то технология, которую мы никогда не видели». Единственное, что было новым, было то, что мне пришлось купить немного снаряжения у нашего продавца оборудования ».
Почему ServiceNow поменял Copilot для Виндсурф
На основании всего этого аппаратного и программного стека ServiceNow начала быстро расширять свои агентные услуги в течение последних нескольких месяцев. Действительно, в рамках своей последней запуска платформы компания по автоматизации рабочих процессов представила свой агент сборки, инструмент кодирования Vibe, который помогает разработчикам создавать приложения и рабочие процессы на платформе ServiceNow.
Но внутренне разработчики компании также используют инструменты кодирования на основе искусственного интеллекта. Кейси рассказал нам, как компания изначально была магазином Copilot Github, и «получение приличных результатов на ней». Совсем недавно, однако, команда оценила новый урожай инструментов кодирования ИИ и решила инвестировать в Windsurf, который теперь выпустил около 7000 инженеров.
ServiceNow наблюдал около 10% -ного увеличения производительности, что измеряется по историям за единицу времени на инженера между последним выпуском до того, как команда начала использовать Windsurf, и первым после введения инструмента.
Он подчеркнул, что использование Windsurf не является мандатом. «Если вы производите отличный код в большом объеме и высоком качестве, мне все равно, используете ли вы инструмент или нет», — сказал он. «Можно, может быть, вы тот странный человек, кто просто такой удивительный разработчик, что это замедлит вас?
По его мнению, инструменты кодирования ИИ не так отличаются от использования современного IDE или отладчика. «Я думаю, что это почти столовые ставки, чтобы быть инженером, чтобы знать, как использовать эти инструменты», — сказал он.
Но как насчет младших инженеров?
Что касается того, что все это означает для найма младших инженеров, те, чьи работы, вероятно, будут затронуты инструментами кодирования ИИ, Кейси отметил, что компания, как правило, нанимает многих из своих бывших стажеров и привлекла около 160 из них в этом году. Это было немного меньше, чем в предыдущие годы.
«Обсуждение, которое у нас было, заключается в том, что если вы посмотрите на то, где сегодня Sweet Spot Tool Sweet Spot, одно сладкое место-это самостоятельное микросервис, которое вы действительно можете полностью описать в подсказке. Они на самом деле действительно хороши в этом»,-сказал он. «Другое дело, что я назову это основными, низкообразными инженерными задачами, которые не требуют большого количества знаний о кодовой базе. И эти задачи с низкой сложностью, как правило, являются тем, что вы бы заставили для младших разработчиков»,-пояснил он.
На данный момент он не видел какого -либо серьезного падения в найме младших застройщиков, но это явно его беспокоит.
«Мы еще не видели сверхпрочного сокращения количества младших людей, которых мы нанимаем. Но я думаю, что в отрасли, это самый рискованный сектор технического стека. Кто, скорее всего, увидит снижение спроса? Я бы сказал, что сейчас это младший инженерный уровень, потому что это наиболее совпадает с тем, что я могу сделать прямо сейчас».
И, по его мнению, это не только технический сектор, который должен будет считаться с этим: «Это технологическая революция. Вероятно, он, по крайней мере, такой же большой, как и интернет -революция. И это разрушит множество вещей, которые мы делаем сегодня. Я искренне верю, что сеть из всех этих разрушений будет очень позитивным для человечества. Мы собираемся производить больше товаров, больше услуг и лучшего качества жизни».
И хотя Кейси является самопровозглашенным технологическим оптимистом, он также признает, что люди, вероятно, будут делать ошибки и плохой выбор. «Но это просто природа этих эволюций», — сказал он.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Прежде чем присоединиться к новому стеку в качестве старшего редактора для ИИ, Фредерик был редактором предприятия в TechCrunch, где он освещал все, от роста облака и самых ранних дней Kubernetes до появления квантовых вычислений …. Подробнее от Frederic Lardinois
