cobalt
Wbudowany magazyn klucz-warto艣膰 typu LSM w Zig. 艢wie偶e zapisy trafiaj膮 do skiplisty na WAL, s膮 zrzucane do niezmiennych SSTable, a miejsce odzyskuje leveled-compaction.
Wprowadzenie
Nowoczesne bazy danych, kt贸rych u偶ywasz na co dzie艅, prawie zawsze maj膮 pod spodem ten sam kszta艂t silnika. cobalt jest po to, 偶eby ten kszta艂t przesta艂 by膰 czarn膮 skrzynk膮: implementuje ca艂膮 drog臋 zapisu typu LSM od dziennika po compaction, w Zig, j臋zyku, kt贸ry nie ukrywa przed tob膮 ani jednego bajta ani alokacji.
To silnik rozebrany na cz臋艣ci, w kt贸rym wida膰 ka偶d膮 decyzj臋. Kiedy sam napiszesz WAL, memtable, SSTable i compaction, RocksDB i Cassandra przestaj膮 by膰 magi膮, a staj膮 si臋 znajomymi wariantami tej samej idei.
Dlaczego LSM, a nie B-drzewo
Klasyczne bazy zapisuj膮 w miejscu, aktualizuj膮c strony B-drzewa, co oznacza losowe zapisy po dysku. LSM idzie inaczej: ka偶dy zapis jest dopisaniem. Nowe dane lec膮 do struktury w pami臋ci, a starsze warstwy le偶膮 niezmienne na dysku. Dzi臋ki temu zapisy s膮 szybkie i sekwencyjne, bo dysk najbardziej lubi w艂a艣nie zapis ci膮g艂y.
Cena jest jasna i 艣wiadoma: te same dane mog膮 istnie膰 w kilku miejscach naraz i trzeba je p贸藕niej scala膰. Ca艂a sztuka LSM polega na tym, 偶eby ten d艂ug zap艂aci膰 w tle, nie spowalniaj膮c zapis贸w, kt贸re go tworz膮.
Droga zapisu, krok po kroku
zapis najpierw l膮duje w dzienniku, wi臋c prze偶yje nag艂e wy艂膮czenie, zanim trafi gdziekolwiek indziej.
艣wie偶e dane siedz膮 w posortowanej strukturze w pami臋ci, gotowe do szybkiego odczytu.
gdy pami臋膰 si臋 zape艂nia, skiplista jest zrzucana do niezmiennego, posortowanego pliku na dysku.
leveled-compaction scala pliki mi臋dzy poziomami, usuwa nadpisane wersje i odzyskuje miejsce.
Kolejno艣膰 tych krok贸w nie jest przypadkowa. WAL idzie pierwszy w艂a艣nie dlatego, 偶e gwarantuje trwa艂o艣膰, zanim dane dotr膮 do ulotnej pami臋ci. Gdyby kolejno艣膰 by艂a odwrotna, awaria zasilania mi臋dzy zapisem do pami臋ci a dziennikiem oznacza艂aby ciche zgubienie danych.
Compaction to serce, kt贸re odr贸偶nia dzia艂aj膮cy LSM od takiego, kt贸ry z czasem si臋 d艂awi. Bez niej pliki SSTable narastaj膮 w niesko艅czono艣膰, a odczyt musi przejrze膰 coraz wi臋cej warstw. Leveled-compaction scala je mi臋dzy poziomami, wyrzucaj膮c po drodze wersje, kt贸re zosta艂y nadpisane, i odzyskuj膮c miejsce zaj臋te przez martwe dane.
Koniec czarnej skrzynki
Najwi臋kszym efektem cobalt nie jest sam magazyn, tylko to, 偶e du偶e bazy przestaj膮 by膰 tajemnic膮. Kiedy przeszed艂e艣 ca艂膮 drog臋 od dopisania do dziennika po odzysk miejsca w compaction, wiesz dok艂adnie, dlaczego LSM jest szybki w zapisie i gdzie p艂aci za to cen臋 w odczycie.
Warstwy silnika i gdzie jeszcze 偶yj膮
| Warstwa | Rola | Gdzie jeszcze |
|---|---|---|
| WAL | trwa艂o艣膰 zapisu | ka偶da powa偶na baza |
| Memtable (skiplista) | 艣wie偶e dane w pami臋ci | RocksDB, LevelDB |
| SSTable | niezmienne pliki na dysku | Cassandra, LevelDB |
| Compaction | odzysk miejsca, scalanie | RocksDB, Cassandra |
Pytania o cobalt
Wi臋cej projekt贸w
Inne realizacje z tej samej kategorii - zobacz, jak podchodzimy do podobnych wyzwa艅.
Masz podobny projekt?
Napisz do nas - wycena jest bezp艂atna i wraca w godzin臋.

