Skrypty operacyjne

Każda infrastruktura ma warstwę roboty, która jest nudna dokładnie do momentu, w którym staje się krytyczna. Certyfikat, który wygasa w niedzielę. Backup, który od miesiąca leci w pustkę. Sekret przypadkiem wpuszczony do repo. Zajęty port, który nie powinien nasłuchiwać. Nic z tego nie krzyczy, dopóki nie jest za późno.

Zebraliśmy te kontrole w kilkanaście małych skryptów i schowaliśmy je za jedną komendą. Cel nie był techniczny, tylko ludzki: sprawić, żeby pilnowanie infrastruktury przestało zależeć od tego, czy ktoś pamiętał je zrobić. Bo pamięć, jak się okazuje w praktyce, jest najgorszym mechanizmem bezpieczeństwa, jaki można sobie wybrać.

Pilnowanie infrastruktury to praca z gatunku tych, które zawsze można zrobić jutro. Nudna, dopóki wszystko działa, więc ładnie ustępuje miejsca rzeczom z terminem. Problem w tym, że ona sama terminu nie ma - do momentu, w którym nagle go ma, i to twardego: cert wygasa dzisiaj, backup był potrzebny wczoraj.

To nie jest problem techniczny. Każdą z tych kontroli da się zrobić ręcznie w minutę. Problem jest w tym, że wymagają, żeby ktoś o nich pamiętał, regularnie, w tle innej pracy - i właśnie tego ludzie nie robią dobrze. Im więcej rzeczy do zapamiętania, tym pewniej któraś wypadnie, zwykle akurat ta, która tym razem miałaby coś złapać.

Sprowadziliśmy więc całą rutynę do jednej komendy, która nie zależy od niczyjej pamięci. Odpalasz ją z ręki przed wdrożeniem albo wpinasz w harmonogram i o niej zapominasz - i to jest właśnie zamierzony efekt.

Żeby cokolwiek dało się wpiąć w CI albo crona, musi gadać kodem wyjścia, a nie akapitem tekstu. Zero znaczy czysto, cokolwiek innego znaczy zajrzyj. To jest cały kontrakt i właśnie jego prostota sprawia, że narzędzie da się zautomatyzować bez żadnych sztuczek.

Ta sama komenda ma dwie twarze. Dla człowieka wypisuje czytelny raport - co sprawdzone, co przeszło, co wymaga uwagi. Dla maszyny oddaje JSON, który da się sparsować i podpiąć pod alert. Jedno wejście, dwie formy wyjścia, żaden tekst dla ludzi udający interfejs dla maszyny.

Najtrudniejsza część takiego narzędzia to nie same kontrole, tylko progi. Alarm, który dzwoni zawsze, jest tyle wart, co alarm wyłączony - ludzie po prostu przestają go czytać, a wtedy przepuści ten jeden raz, kiedy naprawdę coś jest nie tak. To najczęstszy sposób, w jaki monitoring cichnie: nie przez awarię, tylko przez hałas.

Dlatego każda kontrola ma próg dobrany tak, żeby komenda milczała, kiedy jest dobrze. Certyfikat wygasający za pół roku to nie alarm. Certyfikat wygasający za tydzień - owszem. Backup sprzed godziny jest w porządku, sprzed miesiąca już nie. Progi są po to, żeby cisza coś znaczyła.

To nie jest efektowne narzędzie i takie być nie musi. Nie ma dashboardu, nie ma wykresów, nie ma nic do pokazania na screenie. Cała jego wartość jest w tym, że rutyna przestała zależeć od czyjejś pamięci - odpala się sama, a kiedy milczy, to milczenie naprawdę znaczy, że jest czysto.

Różnica jest taka, że klasa problemów, które kiedyś wychodziły na jaw dopiero przy awarii, teraz wychodzi na jaw wcześniej - przy zwykłym przebiegu przed wdrożeniem albo o stałej porze z crona. Wygasający cert daje znać na tydzień przed, a nie w niedzielę o trzeciej nad ranem. To jest cała robota tego narzędzia: zamienić ciszę z niewiedzy w ciszę z pewności.