cobalt

У современных баз данных, которыми вы пользуетесь каждый день, почти всегда под капотом одна и та же форма движка. cobalt существует, чтобы эта форма перестала быть черным ящиком: он реализует весь путь записи LSM от журнала до compaction, на Zig, языке, который не прячет от вас ни одного байта и ни одной аллокации.

Это не еще одна база для продакшена, а разобранный на части движок, в котором видно каждое решение. Как только вы сами напишете WAL, memtable, SSTable и compaction, RocksDB и Cassandra перестают быть магией и становятся знакомыми вариантами одной и той же идеи.

Классические базы пишут на месте, обновляя страницы B-дерева, что означает случайные записи по диску. LSM идет иначе: каждая запись - это дописывание. Новые данные летят в структуру в памяти, а более старые слои лежат неизменными на диске. Благодаря этому записи быстрые и последовательные, потому что последовательную запись диск любит больше всего.

Цена ясна и осознанна: одни и те же данные могут существовать сразу в нескольких местах, и их приходится сливать позже. Все искусство LSM в том, чтобы платить этот долг в фоне, не замедляя записи, которые его создают.

Порядок этих шагов не случаен. WAL идет первым именно потому, что гарантирует сохранность до того, как данные дойдут до летучей памяти. Будь порядок обратным, отключение питания между записью в память и журналом означало бы тихую потерю данных.

Compaction - это сердце, которое отличает работающий LSM от такого, что со временем задыхается. Без него файлы SSTable нарастают бесконечно, а чтению приходится просматривать все больше слоев. Leveled-compaction сливает их между уровнями, выбрасывая по пути перезаписанные версии и возвращая место, занятое мертвыми данными.

Самая большая выгода cobalt - не само хранилище, а то, что большие базы данных перестают быть тайной. Пройдя весь путь от дописывания в журнал до возврата места в compaction, вы точно знаете, почему LSM быстр на записи и где он платит за это на чтении.