Harnest Provider Platform Platers Today сделала свой инструмент автоматизации тестирования AI Harness, как правило, доступным как то, что компания называет первым в отрасли, известном, сквозном решении для автоматизации тестирования.
автоматизация тестирования искусственного искусства Harness представляет «тестирование на основе намерения»-революционный подход, в котором пользователи описывают то, что они хотят, чтобы проверить на естественном языке, а не на написании тестовых сценариев. Затем агент ИИ выясняет, как выполнить и проверять тесты, даже когда UI изменяются, сказал Sushil Kumar, руководитель отдела автоматизации тестирования AI Harness AI, сообщил The New Stack.
Кумар сказал, что, хотя инструменты искусственного интеллекта, такие как Github Copilot и Cursor, значительно ускорили генерацию кода, тестирование остается застрявшим в практике эпохи 2012 года. Это создает узкое место, где код может быть получен в часы, но для достижения производства требуются недели или месяцы из-за медленных процессов ручного тестирования-особенно сквозного тестирования, сказал он.
автоматизация испытаний на AI Harness предназначена для удовлетворения скорости, масштаба и устойчивости, требуемой современными DevOps. Инструмент позволяет предприятиям заменить устаревшие тестовые рамки на бесшовное решение для AI, которое обеспечивает более умное, более быстрое тестирование в жизненном цикле разработки программного обеспечения (SDLC). Благодаря этому предложению Кумар сказал, что Harness может предоставить полностью автоматизированную платформу доставки программного обеспечения, где пользователи могут кодировать, создавать, тестировать и развертываться приложениями, используя платформу для жгута. Он устраняет ручные пробелы и силосы инструментов и завершает платформу для жгута сквозной DevOps, используемой крупными брендами, такими как Citi, United Airlines, Choice Hotels и Home Depot.
Код быстро, тестируй медленно? Уже нет
«Производительность выросла через крышу», — сказал Кумар. «К сожалению, код, который вы создаете, не достигает клиента так быстро, потому что сейчас тестирование стало узким местом».
Инструмент жгута позволяет командам разработки программного обеспечения быстрее обеспечивать качественное программное обеспечение.
«Традиционные методы тестирования боролись за то, чтобы не отставать — это слишком ручное, хрупкое и медленное. Итак, мы переосмыслили тестирование с ИИ», — сказал Кумар в своем заявлении. «Тестирование на основе намерения приносит больший интеллект и адаптивность к автоматизации, и он плавно интегрируется в ваш конвейер доставки».
Более того, Кумар отметил, что отчет Google 2024 DORA обнаружил, что доставка программного обеспечения фактически замедляется, несмотря на повышение производительности искусственного интеллекта, поскольку тестирование не может быть в курсе, и что около 70-80% организаций все еще полагаются на методы ручного тестирования, тем самым замедляя доставку и вводя риски.
Однако, благодаря внутреннему использованию инструмента в компании, Harness наблюдает значительные повышения производительности, как и ранние (бета) пользователи продукта.
Например, один менеджер проекта Harness с фоном обеспечения нулевого качества (QA) построил 55 автоматизированных тестов за 2,5 недели — подвиг, который обычно занимает специальные месяцы команды QA. Компания также достигла в 10 раз более быстрое создание тестов внутри.
«С помощью автоматизации тестов ИИ я просто буквально выписал и расплачивал все тестовые случаи, и в течение 15-20 минут я смог выбить один тест», — сказал Рохан Гупта, главный менеджер продукта в Harness, в своем заявлении. «Используя функциональность шаблона, мы смогли прийти от набора от нуля до 55 тестов в течение двух с половиной недель».
Тем временем, используя автоматизацию тестов Harness AI, использует клиент Siemens Healthineers, сократил свои узкие места QA и трансформировал создание тестов с дней до минут.
«Мы могли просто увидеть в браузере, где он пошел не так, и прямо редактировать этот шаг. Это было действительно быстро и быстро», — заявила Амрита Маджумдер, инженер QA в Siemens Healthineers.
«Они сократили время создания тестов на 90%, потому что им больше не нужно писать сценарии. Они просто пишут подсказки», — сказал Кумар.
Сначала пришло «кодирование Vibe» — теперь наступает тестирование атмосфера? »
Вместо того, чтобы писать хрупкие сценарии, пользователи пишут подсказки естественного языка, такие как «Добавить кроссовки до 100 долларов сша в корзину, кассовая проверка в качестве нового пользователя», а ИИ обрабатывает выполнение, генерация данных и проверку результатов, сказал Кумар. И когда пользовательский интерфейс изменяется, нарушает традиционные сценарии, этот ИИ адаптируется автоматически.
«Вы больше не пишете сценарии», — сказал Кумар новый стек. «Вы просто говорите нашей агентской платформе искусственного интеллекта, что такое рабочий процесс, и вы опишите ее точно так же, как вы хотите. Пользователь сайта электронной коммерции может написать« Перейти на витрину, выбирать элементы на основе рейтингов, добавить в корзину, проверять общее количество и охрана », и система выяснит, что делать, даже если пользовательский интерфейс изменится».
Для меня это звучит как тестирование атмосфера.
«Мы на самом деле думали:« Эй, мы должны назвать это тестированием атмосфера? » Мы можем принять это, но я думаю, что есть разница », — сказал Кумар.
По словам Кумара, валидация является ключом к тестированию, поэтому подход в стиле атмосфера менее эффективен.
Действительно, существует параллель с «кодированием вибрации», где разработчики выражают намерения высокого уровня, а не подробные инструкции. Кумар признал концептуальное сходство, но вместо этого объяснил, почему они выбрали «тестирование на основе намерений», подчеркивая необходимость строгой валидации, которая выходит за рамки «просто« вибрации ».
«При тестировании на основе намерения мы на самом деле предпринимаем больше гранулированных шагов. На каждом этапе пути мы подтверждаем, ответило ли заявка»,-сказал он. «Это похожая идея, но если вы занимаетесь кодированием Vibe с подсказками естественного языка, вам нужна техника, подобная тому, что мы называем тестированием на основе намерения, чтобы завершить сквозной поток».
У вас есть тестирование ИИ
Ключевой элемент инструмента включает использование ИИ для проверки сгенерированного AI кода. Harness использует платформу внутренне для проверки своего помощника DevOps, который генерирует код трубопровода YAML на основе запросов естественного языка.
«Мы используем ИИ для тестирования ИИ», — отметил Кумар. «Традиционный подход к написанию детерминированных результатов не работает, потому что ответы ИИ зависят от контекста».
Система автоматически вызывает помощника DevOps, анализирует сгенерированный код YAML и подтверждает, выполняет ли он запрошенные функции — все без вмешательства человека.
Основные особенности
Тест некода
- Авторизация живых тестов, записывая взаимодействия
- Тестовые случаи на естественном языке («Преуспел в том, что логин?»)
- Ай автоматически генерирует утверждения после каждого шага
- Визуальное тестирование с помощью человеческой проверки ИИ
Самовосстановление технического обслуживания
- Селекторы, сгенерированные AI, адаптируются к изменениям пользовательского интерфейса
- До 70% снижение технического обслуживания тестов
- Технология интеллектуального селектора работает в окружающей среде
Интеллектуальное исполнение
- ИИ различает проблемы переходных процессов и реальные ошибки
- Параллельное выполнение масштабирования до тысяч тестов
- Тестирование, управляемое данными, с динамической параметризацией
Как это началось
Кумар сказал, что работа по автоматизации тестирования AI Harness началась три года назад в Relicx, компании, которую он основал, что Harness приобрела в прошлом году. Инструмент представляет три года НИОКР в разработке агентских ИИ.
«… Мы рады видеть, как объединенные сильные стороны жгута и Relicx будут продолжать нарушать пространство автоматизации тестов, особенно с быстрыми успехами в генеративном искусственном интеллекте», — написал Кумар в посте в блоге, объявляющем о приобретении в августе прошлого года. «Мы считаем, что этот следующий шаг принесет значительную ценность для ваших процессов разработки, и мы стремимся продолжать поддержать вас в этом путешествии».
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Дэррил К. Тафт охватывает DevOps, инструменты разработки программного обеспечения и проблемы, связанные с разработчиком из своего офиса в районе Балтимора. Он имеет более чем 25 -летний опыт работы в бизнесе и всегда ищет следующий совок. Он работал … читайте больше от Дэррила К. Тафта
