Почти всю карьеру DevOps для меня означал писать YAML. Где-то в 2026-м я перестал и вместо этого начал учить инфраструктуру думать. Звучит как слайд с вендорского стенда, поэтому скажу точнее: я взялся построить AI-платформу для DevOps — настоящую инфраструктуру, которая ловит аномалии, предсказывает сбои и реагирует на них прямо в проде. Не демо с конференции. Не робот на слайде. То, что работает на живых клиентах и реальных деньгах.
Это честная версия того, как всё прошло, включая ту часть, которую не показывают в кейноуте.
От тушения пожаров к предсказанию
Старый цикл знаком каждому, кто носил пейджер. Появляется аномалия, срабатывает алерт, человек разбирается, человек решает, человек чинит. Пока ты проснёшься настолько, чтобы прочитать дашборд, инцидент уже стоил тебе денег.
Цикл, который я хотел, выглядел иначе. Появляется аномалия — система сопоставляет её с историческими паттернами, предлагает фикс, человек подтверждает. А если уверенность высокая, чинит сама и логирует всё для разбора. Цель была не убрать людей. Цель — перестать будить их из-за проблем, которые система и так понимает.
Стек
Стек я держал сознательно скучным там, где скука безопасна, и интересным только там, где это оправдано.
- Python — слой интеллекта: логика корреляции, оркестрация моделей, движок решений.
- Terraform — сама инфраструктура, чтобы каждое изменение, которое предлагает платформа, было планом, который человек может прочитать.
- Azure OpenAI — рассуждение: поиск паттернов по логам и метрикам, которые человек не удержит в голове.
Terraform значил больше, чем кажется. Раз каждое действие ложится как Terraform plan, предложение AI — не чёрный ящик, мутирующий облако. Это дифф. Его можно прочитать, отклонить или дать выполнить. Именно это решение и сделало всю затею защитимой на ревью.
Trust but verify
Принцип, на котором построена вся платформа, — trust but verify. Действия я разделил по радиусу поражения.
Низкорисковое выполняется само: проставить теги, усыпить непродакшн-окружения на ночь, ужать dev-базу, за которой никто не следит. Всё, что трогает продовый нетворкинг или скейлинг, проходит через гейт с ручным подтверждением. Каждое решение — автоматическое или через гейт — логируется и проверяемо. Если кто-то спросит, почему платформа сделала это в три ночи, ответ есть: с таймстампом и причиной.
Оптимизация costs окупилась первой
Я ждал, что звездой будет детект аномалий. А зал первым выиграл слой costs.
AI прошёлся по 200+ ресурсам и нашёл деньги, которые мы перестали замечать. Простаивающие VM, крутящиеся 24/7 без всякой причины, которую кто-то помнит. Раздутые инстансы, которые можно опустить на тир — и ни один пользователь не заметит. Ворклоады, которым нужны только рабочие часы, но которые тарифицируются круглосуточно. Забытые снапшоты, тихо капающие в счёт. За первый проход набралось около $40K в месяц впустую.
Вот что мне тут по-настоящему интересно: люди это упускают, потому что привыкают к статус-кво. Инстанс всегда был такого размера. VM всегда была включена. Привычка ослепляет. У модели такого перекоса нет, и учится она на паттернах твоей конкретной инфраструктуры, а не на generic-бенчмарках из вайтпейпера.
Демо, которое изменило разговор
Довести технологию было тяжело. Убедить стейкхолдеров, что «инфраструктура, которая сама принимает решения» — не научная фантастика, заняло примерно вдвое дольше.
Сработала в итоге не диаграмма. Сработал реплей. В прошлом квартале утечка памяти стоила команде четырёх часов диагностики, прежде чем мы её нашли и пропатчили. Я скормил платформе те же условия. Она опознала паттерн за 11 секунд и предложила ровно тот фикс, который мы тогда докатили руками.
После этого спорить никто не стал.
Что изменилось на самом деле
Через пару месяцев цифры, которые имели значение, были не про AI. Они были про людей.
- Mean time to detection упал с минут до секунд.
- False positive rate снизился примерно на 60% — та самая цифра, что реально спасает дежурного от alert fatigue.
- Ночных пейджей стало вдвое меньше.
- Команда начала высыпаться.
Последнее на дашборд не вынесешь, но именно оно волнует меня больше всего.
Где я провожу черту
Я не верю в полностью автономный прод. Я верю в систему, которая сама тянет скучную, очевидную, понятную работу, а неоднозначные, дорогие и необратимые решения отдаёт человеку с полным контекстом. Черта между auto-fix и human-in-the-loop не зафиксирована. Она двигается по мере того, как система заслуживает доверие, — по одному проверенному решению за раз.
Нам не нужно больше инструментов. Инструментов хватает. Нам нужны системы, которые учатся у инфраструктуры, которой управляют, — и дисциплина дать им это доказать, прежде чем отдавать ключи.