Было 2:45, и я не проснулся, когда мой телефон непрерывно гудел. Наша производственная система была опущена, и основные бэкэнд -стручки API застряли в страшном «ожидающем» состоянии. Любой, кто управлял занятой облачной местной средой, знает, что оповещения поздней ночи приходят в худшие времена. Но это было испытание для пожара для меня. Я вырвался из постели, пробил слабые сообщения и попытался декодировать то, что пошло не так. Команда развернула незначительное обновление в начале дня, уверенно, что все было в порядке. Через несколько часов мы поняли, что малейший надзор может превратиться в значительный инцидент.
Я провел почти два часа в ту ночь, копая журналы, сравнивая конфигурации ресурсов и определяя, случайно ли наши изменения в развертывании возникли проблемы с возможностями. Одна ошибочная настройка ресурсов — это все, что нужно для уплотнения работ. Поздние ночные военные комнаты, такие как они, не новы для меня. Я прошел через свою долю перестрелок. В мои годы в качестве облачного архитектора я стал оценить, насколько тонкими облачными нативными системами могут быть, как только они достигают определенного масштаба. Но даже как опытный практикующий врач, каждый инцидент представляет уникальные повороты, напоминая мне, что, хотя облачные нативные инструменты являются мощными, они требуют постоянной бдительности и опыта для правильного управления.
Ниже я поделюсь, как я обычно отлаживаю эти инциденты, плюс то, как Skyflo.AI, управляемая AI, помогает уменьшить эту панику поздней ночи, когда что-то неизбежно пойдет не так.
Раскрытие ночи: реальная отладка пьесы
Когда системный кризис удается, заманчиво стрелять из бедра. Но, как правило, без стратегии обычно приводит к большему количеству хаоса. За эти годы я остановился на методическом подходе, который помогает раскрыть коренные причины:
Начните с работы:
kubectl Get Pods -n
Это показывает вам, какие стручки терпят неудачу. Для более глубокого понимания я опишу конкретный стручок:
kubectl опишите Pod
Это раскрывает статусы контейнера, использование ресурсов и любые запускаемые события.
Далее я посмотрю на общие события, отсортированные по времени создания:
kubectl get events -n
Часто эти события содержат ценные подсказки о ожидающих запросов на ресурсы, оттенков или неправильных конфигураций.
Мой следующий шаг — проверить журналы для провальных стручков:
kubectl logs
Если контейнер перезагрузился несколько раз, я мог бы добавить -предсказание, чтобы увидеть журналы из более раннего экземпляра:
kubectl logs
Здесь я буду искать повторяющиеся трассировки стека или очистить сообщения об ошибках (например, вне памяти или тайм-ауты подключения).
Когда стручки застряли в ожидающем состоянии или неоднократно рушатся, ограничения ресурсов часто играют роль:
Kubectl Top Pods
Kubectl Top узлы
Память или резки использования процессора могут указывать, если запросы/ограничения неправильно настроены.
Для обновлений, сделанных с помощью облачных нативных инструментов, подтвердите, что ваши изменения системы соответствуют вашим намерениям. Если бы я использовал диаграмму или трубопровод, я рассмотрю историю пересмотра:
# Для настройки на основе руля
Список рулевых действий-все имени
Хелм История <Релиз-имени>
-или-
# Для релизов на базе Argo
argo get unwlouts -n
Иногда скрытый откат или частичное развертывание могли бы ввести непоследовательную конфигурацию.
Эти ручные шаги помогают определить проблемы, но подчеркивают, почему повторное пожаротушение настолько истощает. Отладка сложной облачной нативной среды может стать повторяющейся загадкой журналов, событий и определений ресурсов. Вот где вступают решения, управляемые ИИ, такие как Skyflo.AI.
Представляем Skyflo.AI: первое в мире агент по искусственному искусству для Cloud Cather
Современные облачные экосистемы гораздо сложнее, чем один разработчик может эффективно управлять, особенно под стрессом. Skyflo.AI предлагает новый взгляд на выполнение эксплуатационных задач, предоставляя управляемую AI, специально созданную платформу с открытым исходным кодом для автоматизации этих сложных шагов. Вместо того, чтобы топнуть вокруг бревен и проявлений вручную, Skyflo.AI организует их, используя специализированную многоагентную архитектуру.
Как работает Skyflo.AI
- Агент планировщика: Подставки инструкции по естественному языку и переводят их в отдельные задачи по различным облачным нативным инструментам. Если вы скажете: «Проверьте, почему основные бэкэнд -стручки застряли в ожидании», он знает, как извлекать журналы, просмотреть состояния ресурсов и собирать данные о событиях.
- Агент исполнителя: Надежно выполняет эти задачи, используя те же команды, которые вы выполняете вручную. Думайте об этом как об автоматизированном инженере DevOps, выполняя целевые действия, такие как журналы Kubectl, масштабирование стручков или описание ресурсов в вашей среде.
- Агент валидатора: Дважды проверить работу исполнителя, гарантируя, что результат соответствует вашему заявленному намерению. Если вы поручите его увеличить пределы памяти, валидатор убедится, что новые настройки вступили в силу без введения новых проблем.
Позднее спасение с Skyflo.AI
Допустим, вы имеете дело с тем же страшным звонком в 2:45 утра: ваша производственная система снижена, а основные бэкэнд -стручки застряли в ожидаемом состоянии. В обычную ночь вы прыгаете на свой терминал, запустили множество команд и начинаете процесс устранения. Но с Skyflo.AI рабочий процесс меняется:
Вы открываете Skyflo.AI и тип:
> «Основные бэкэнд -стручки API в производстве застряли в ожидании. Определите проблему и исправьте ее».
Без ручных догадок агент планировщика решает, какую диагностику собирать. Он инструктирует агента исполнителя запустить серию команд, таких как:
kubectl Get Pods -n
kubectl опишите Pod
kubectl get events -n
Это также может проверить использование ресурсов:
Kubectl Top узлы
Это систематически охватывает все основные базы.
Основываясь на собранной информации, агент планировщика может заметить, что узлы находятся на пропускной способности или что неправильно настроенный запрос на ресурс блокирует новые стручки из планирования. Вы получаете краткое объяснение, например, «Стручки остаются в ожидании, потому что запрашиваемая память превышает доступную емкость узла».
Агент планировщика предлагает следующие шаги. Например: «Уменьшите запросы на память на основные бэкэнд -стручки API с 2 -го до 1 GI» или «масштабировать кластер, чтобы добавить больше емкости». Агент представляет предлагаемые изменения и побуждает вас подтвердить, прежде чем их применять.
Агент исполнителя исправляет развертывание или обновляет соответствующий манифест ресурса. Агент валидатора затем проверяет, что стручки запланированы правильно, проверка среды снова стабильна, прежде чем вы включите.
Этот подход не только сокращает продолжительность инцидента, но и сохраняет ваше здравомыслие. Больше не нужно рыться в бревнах в 3 часа ночи; Пусть Skyflo.AI выполняет повторяющиеся задачи, в то время как вы сосредотачиваетесь на принятии решений на более высоком уровне.
Почему автоматизация на основе AI преобразует нативные операции облака
Исходя из моего опыта, любая крупная производственная среда изобилует тонкими сложностями. Одна небольшая ошибка в распределении ресурсов, ошибке с неправильной маркировкой или единой устаревшей секретом может породить хаос, который каскадит по нескольким микросервисам. Skyflo.AI справляется с несколькими критическими препятствиями, которые регулярно сталкиваются с командами DevOps:
Рутины, управляемые ИИ, не утомляются. Они методично проверяют соответствующие журналы, события, определения ресурсов или истории развертывания. Эта последовательность сокращает время, необходимое для отслеживания основной причины.
Даже младший разработчик может взаимодействовать с Skyflo.AI, используя простой язык, что позволяет им устранять устранение неполадок, как профессионал. Между тем, опытные архитекторы получают выгоду от более быстрого понимания и автоматизированных задач, которые справляются с работой.
Ручные команды склонны к опечаткам и неверно толкованию. У меня было это ощущение тонущего после запуска команды, используя неправильное пространство имен. С помощью автоматических перекрестных изменений платформы система обновляет правильную среду.
Поскольку Skyflo.AI специально построен для Cloud Lative, с многоагентной моделью с открытым исходным кодом, сообщество может обучить его в реальных сценариях, совершенствуя свои предложения с течением времени. По мере развития платформы она понимает более нюансированные пути устранения неполадок, гарантируя, что она не будет неоднократно застрять на одних и тех же проблемах.
Ваша миссия, если вы решите принять это
Оповещения о ночной системе могут никогда не исчезнуть полностью, но они не должны быть личным кошмаром. Решения, основанные на AI, такие как Skyflo.AI, переопределяют то, как мы решаем сложные нативные проблемы облака. Автоматизируя тяжелую работу и предоставляя интеллектуальные предложения, Skyflo.AI освобождает вас от того, что важно, например, в разработке устойчивых систем, а не на борьбе с пожарами.
Если вы заинтригованы нативными рабочими процессами Cloud, управляемым AI, я приглашаю вас исследовать и поддерживать проект Skyflo.AI на GitHub: https://github.com/skyflo-AI/skyfloПолем
Независимо от того, являетесь ли вы опытным облачным архитектором или новичком для DevOps, ваши вклады, обратная связь и запросы на функции могут формировать будущее операций, связанных с AISIST. Это захватывающая граница для всех нас, кто любит обещание (а иногда и боль) нативных технологий.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Каран Джагтиани является создателем Skyflo.AI, первого в мире агента искусственного искусства для облачных местных операций. Как опытный облачный архитектор, Каран возглавлял преобразования инфраструктуры, которые масштабировали платформы для поддержки десятков миллионов пользователей, обеспечивая высокую доступность, безопасность, … Подробнее от Каран -Джагтиани
