Skrypty operacyjne

У любой инфраструктуры есть слой работы, который скучен ровно до того момента, когда становится критическим. Сертификат, истекающий в воскресенье. Бэкап, который уже месяц стреляет в пустоту. Секрет, случайно попавший в репозиторий. Занятый порт, который не должен слушать. Ничто из этого не кричит, пока не станет слишком поздно.

Мы собрали эти проверки в больше десятка маленьких скриптов и спрятали их за одной командой. Цель была не технической, а человеческой: сделать так, чтобы поддержание инфраструктуры перестало зависеть от того, вспомнил ли кто-то это сделать. Потому что память, как оказывается на практике, - худший механизм безопасности, который можно выбрать.

Поддержание инфраструктуры - это из разряда работы, которую всегда можно сделать завтра. Скучная, пока всё работает, поэтому она вежливо уступает место вещам со сроком. Проблема в том, что у неё самой срока нет - до того момента, когда он вдруг появляется, и жёсткий: сертификат истекает сегодня, бэкап был нужен вчера.

Это не техническая проблема. Каждую из этих проверок можно сделать вручную за минуту. Проблема в том, что они требуют, чтобы кто-то о них помнил, регулярно, на фоне другой работы - а именно это люди делают плохо. Чем больше вещей надо запомнить, тем вернее одна выпадет, обычно как раз та, которая в этот раз что-то поймала бы.

Поэтому мы свели всю рутину к одной команде, которая не зависит ни от чьей памяти. Вы запускаете её вручную перед деплоем или встраиваете в расписание и забываете - и это именно тот эффект, которого мы хотели.

Чтобы что-либо можно было встроить в CI или cron, оно должно говорить кодом выхода, а не абзацем текста. Ноль значит чисто, что угодно другое значит загляни. Это весь контракт, и именно его простота делает инструмент автоматизируемым без всяких трюков.

Одна и та же команда имеет два лица. Человеку она выводит читаемый отчёт - что проверено, что прошло, что требует внимания. Машине она отдаёт JSON, который можно распарсить и подключить к алерту. Один вход, две формы вывода, никакого текста для людей, притворяющегося интерфейсом для машин.

Самая трудная часть такого инструмента - не сами проверки, а пороги. Алярм, который звонит всегда, стоит столько же, сколько выключенный алярм - люди просто перестают его читать, и тогда он пропустит тот единственный раз, когда что-то действительно не так. Это самый частый способ, которым мониторинг замолкает: не из-за отказа, а из-за шума.

Поэтому у каждой проверки есть порог, подобранный так, чтобы команда молчала, когда всё хорошо. Сертификат, истекающий через полгода, - не алярм. Сертификат, истекающий через неделю, - да. Бэкап часовой давности в порядке, месячной - уже нет. Пороги нужны для того, чтобы тишина что-то значила.

Это не эффектный инструмент, и таким он быть не обязан. Нет дашборда, нет графиков, нечего показать на скриншоте. Вся его ценность в том, что рутина перестала зависеть от чьей-либо памяти - она запускается сама, а когда молчит, это молчание действительно значит, что чисто.

Разница в том, что класс проблем, которые раньше выходили наружу только при отказе, теперь выходит наружу раньше - при обычном проходе перед деплоем или в фиксированное время из cron. Истекающий сертификат даёт знать за неделю, а не в воскресенье в три ночи. В этом вся работа этого инструмента: превратить тишину из незнания в тишину из уверенности.