cobalt

Les bases de données modernes que vous utilisez chaque jour ont presque toujours la même forme de moteur en dessous. cobalt existe pour que cette forme cesse d'être une boîte noire : il implémente tout le chemin d'écriture LSM du journal au compaction, en Zig, un langage qui ne vous cache pas un seul octet ni une seule allocation.

Ce n'est pas une base de données de plus pour la production mais un moteur démonté en pièces où chaque décision est visible. Une fois que vous écrivez vous-même le WAL, la memtable, la SSTable et le compaction, RocksDB et Cassandra cessent d'être magiques et deviennent des variantes familières de la même idée.

Les bases classiques écrivent sur place, en mettant à jour des pages de B-arbre, ce qui signifie des écritures aléatoires sur le disque. LSM va dans l'autre sens : chaque écriture est un ajout. Les nouvelles données atterrissent dans une structure en mémoire tandis que les couches plus anciennes reposent immuables sur le disque. Cela rend les écritures rapides et séquentielles, car les écritures séquentielles sont exactement ce qu'un disque aime le plus.

Le coût est clair et délibéré : les mêmes données peuvent vivre à plusieurs endroits à la fois et doivent être fusionnées plus tard. Tout l'art du LSM consiste à payer cette dette en arrière-plan sans ralentir les écritures qui la créent.

L'ordre de ces étapes n'est pas accidentel. Le WAL vient en premier justement parce qu'il garantit la durabilité avant que les données n'atteignent la mémoire volatile. Si l'ordre était inversé, une panne de courant entre l'écriture en mémoire et le journal signifierait une perte de données silencieuse.

Le compaction est le cœur qui distingue un LSM qui fonctionne d'un qui s'étouffe avec le temps. Sans lui, les fichiers SSTable s'empilent à l'infini et une lecture doit parcourir de plus en plus de couches. Le leveled compaction les fusionne entre niveaux, en rejetant au passage les versions écrasées et en récupérant l'espace occupé par les données mortes.

Le plus grand bénéfice de cobalt n'est pas le magasin lui-même mais que les grandes bases de données cessent d'être un mystère. Une fois que vous avez parcouru tout le chemin de l'ajout au journal jusqu'à la récupération d'espace dans le compaction, vous savez exactement pourquoi LSM est rapide en écriture et où il le paie en lecture.