«Ти запхав GPT-4 КУДИ?»

Саме таке обличчя було в мого менеджера, коли я запропонував поставити Azure OpenAI у production pipeline. Не в пісочницю. Не в proof of concept, який живе в Jupyter-ноутбуці й помирає в понеділок. У production. Enterprise e-commerce. Живі клієнти, які платять живі гроші, на живій інфраструктурі та на реальному масштабі.

Зараз усі кинулися прикручувати AI бодай кудись. А от про те, як викотити його безпечно, думають одиниці. Уся історія — саме про цей розрив.

Що AI реально робить

Коли все завелося, GPT-4 відпрацьовував у чотирьох місцях:

  • Розумний code review — ловить те, що людина пропускає о другій ночі, на п'ятому рев'ю за зміну, коли око вже замилилося.
  • Класифікація інцидентів — читає алерт і за секунди роутить його потрібній команді, замість того щоб людина розбирала вручну.
  • Запити до інфраструктури людською мовою — «покажи всі поди з пам'яттю понад 80%» замість того, щоб тримати в голові прапорці kubectl.
  • Оцінка ризику деплою — заздалегідь підсвічує зміни, які історично призводили до проблем.

І жодного інженера це не замінило. Джун, який раніше двадцять хвилин збирав по шматках потрібну команду kubectl, тепер питає по-людськи й отримує відповідь за секунди. Черговий, який раніше руками розбирав кожен алерт, отримав co-pilot, що сам роутить близько 80% інцидентів. Нуль скорочень. Швидша реакція. Менше людських помилок. Це та історія про AI, яку ніхто не пише, бо «ми тихо зробили команду сильнішою» — поганий заголовок.

Продукт — це pipeline, а не модель

Ось частина, яку в демках пропускають: модель виявилася найпростішим. Справжня інженерія була в pipeline навколо неї. Перш ніж щось доходило до клієнта, мали виконуватися чотири умови.

  • Версіоновані шаблони промптів. Зміна промпта — це зміна в деплої. Ти не викочуєш новий промпт у production лише тому, що він гарно відпрацював у чаті. Ти його версіонуєш, рев'юїш і тестуєш як код.
  • API gateway перед моделлю — з rate limiting та автентифікацією, щоб один зациклений виклик не спалив тобі ні бюджет, ні квоту.
  • Інтеграційні тести, що перевіряють якість відповіді, а не просто 200 OK. HTTP-статус каже, що модель відповіла. І нічого не каже про те, чи була відповідь правильною.
  • Canary-релізи з автоматичним rollback. Якщо AI починає видавати платним клієнтам дурниці — ти відкочуєшся за секунди, а не за години.

Згори — дашборди на KQL: витрата токенів, latency, error rate і вартість запиту в реальному часі. Цей шар спостережуваності зрізав нам час деплою AI приблизно на 60% — від ручних, нервових релізів до чогось автоматизованого, спостережуваного й повторюваного.

Уроки, за які заплачено продакшеном

Production вчить того, про що не розкаже жоден блог про prompt engineering:

  • Зміна промпта — це деплой. Версіонуй. Тестуй. Рев'юй як код. Пропустиш — викотиш «дрібну правку формулювання», яка тихо зламає 10% відповідей.
  • Кости можуть вибухнути за ніч. Став жорсткі ліміти на токени першого ж дня, а не після першого рахунку-сюрпризу. Витрати на AI не падають із гуркотом — вони просто ростуть.
  • Бюджет по latency важливіший, ніж зазвичай. GPT-4 не швидкий. Заклади це, став таймаути й тримай fallback на випадок, коли модель гальмує або лежить.
  • Rollback — не опція. Коли неправильна відповідь коштує реальних грошей, секунди вирішують.
  • Human-in-the-loop — не приємна фіча. Це і є архітектура. Одного разу AI з повною впевненістю запропонував знести production-базу — упевнено, без тіні сумніву. Людина це зловила. Це не кумедний анекдот. Це система, що працює рівно так, як задумано.

Незручна пропорція

Якщо стиснути все в одну думку: production-AI — це приблизно 20% prompt engineering і 80% обробки помилок, fallback'ів, моніторингу та розуміння, коли модель кликати НЕ треба. Красива, «твітабельна» робота — це маленький шматочок. Нудний DevOps — це все інше, і саме він тримає тебе подалі від каналу з інцидентами.

AI без DevOps — це науковий експеримент. AI з DevOps — це продукт. Спершу будуй pipeline: модель і справді найпростіше.

І питання, до якого я весь час повертаюся: як ти дієш у момент, коли AI видав упевнену відповідь, а нутро каже, що щось не так? Бо саме в цьому моменті, а не в моделі, і живе production-AI.