Jak sklonować bazę danych Postgres o rozmiarze terabajta w dziesięć sekund

Każdy backend developer przynajmniej raz zawiesił staging nieudana migracją lub testował ciężkie zapytanie SQL na syntetycznych danych z pięciu wierszy, żeby potem przez pół godziny mieć deadlock na tabeli w produkcji. Testowanie na rzeczywistych wolumenach danych jest zawsze trudne i kosztowne: baza danych o rozmiarze terabajta jest trudna do skonfigurowania lokalnie, a utrzymywanie dziesięciu pełnych kopii w chmurze dla każdego developera kosztuje sporo pieniędzy.

Inżynierowie z Postgres.ai rozwiązują ten problem za pomocą narzędzia Database Lab Engine (DBLab). Projekt umożliwia tworzenie lekkich klonów baz danych Postgres dowolnego rozmiaru w dosłownie sekundach, bez zużywania terabajtów dysku na klona.

Pod maską

Cała magia lekkiego klonowania opiera się na mechanizmie Copy-on-Write (CoW). Domyślnie DBLab wykorzystuje system plików ZFS, ale może też działać przez LVM.

Schemat jest prosty:

• Silnik utrzymuje aktualną bazową migawkę danych (PGDATA), zsynchronizowaną z główną bazą danych przez replikację, zrzuty lub fizyczne kopie zapasowe (WAL-G, pgBackRest).
• Gdy developer lub pipeline CI potrzebuje instancji bazy danych, DBLab tworzy migawkę i uruchamia izolowany Postgres w kontenerze Docker.
• Wszystkie operacje zapisu idą do oddzielnej warstwy CoW. Bazowe pliki pozostają niezmienione, dlatego klonowanie 1 TB danych trwa około 10 sekund i wymaga tylko kilku megabajtów przestrzeni dyskowej na początku.

Na jednym serwerze można uruchomić dziesiątki takich niezależnych baz danych, a deweloperzy mogą bezpiecznie uruchamiać DROP TABLE lub wykonywać destrukcyjne migracje bez ryzyka zepsucia czegokolwiek dla swoich kolegów.

Co potrafi DBLab

Repozytorium zawiera fundament do automatyzacji pracy z migawkami danych:

• Branchowanie baz danych. Możesz przełączać się między różnymi gałęziami i znacznikami czasowymi, wycofywać zmiany za pomocą polecenia reset i wracać do dowolnego pożądanego stanu.
• Wsparcie dla PostgreSQL w wersjach od 10 do 18, w tym popularne rozszerzenia jak pgvector i HypoPG.
• Wbudowane mechanizmy ochrony: automatyczne usuwanie starych, nieużywanych klonów przez timeout oraz zasady retencji dla migawek.
• Integracja z zarządzanymi bazami danych w chmurze. Jeśli korzystasz z AWS RDS, GCP Cloud SQL lub Supabase, gdzie nie ma bezpośredniego dostępu do systemu plików, DBLab można wdrożyć na osobnej maszynie wirtualnej obok i skonfigurować do okresowych auto-aktualizacji danych.
• Gotowe interfejsy zarządzania: REST API, konsolowe narzędzie CLI dblab oraz interfejs webowy.

Praktyczne scenariusze

Testowanie migracji w CI/CD

Przed wdrożeniem release'u pipeline uruchamia świeży klon rzeczywistej bazy danych produkcyjnej, aplikuje migrację i mierzy czas wykonania oraz blokady. Jeśli migracja zajmie blokadę exclusive na ciężkiej tabeli lub zakończy się błędem, pipeline natychmiast to sygnalizuje. Po teście klon jest natychmiast usuwany.

Testowanie złożonych zapytań SQL i hipotez

Optymalizowanie wolnego zapytania na pustej bazie danych jest pozbawione sensu: planer Postgres wybiera zupełnie inne plany wykonania dla 10 wierszy versus 10 milionów wierszy. Klon w DBLab daje ci uczciwy EXPLAIN (ANALYZE, BUFFERS) na danych produkcyjnej skali bez ryzyka przeciążenia żywej bazy danych.

Testowanie kodu od LLM

Jeśli poprosisz AI o wygenerowanie złożonego zapytania analitycznego lub schematu danych, istnieje duże prawdopodobieństwo, że otrzymasz halucynację. Klon zapewnia izolowane środowisko piaskownicy, gdzie można szybko uruchomić wygenerowany kod i zweryfikować jego poprawność.

Dla kogo jest ten projekt

Jeśli twoja baza danych projektu ma tylko kilka gigabajtów, konfigurowanie infrastruktury z ZFS i DBLab jest prawdopodobnie przesadą—po prostu użyj zwykłego zrzutu.

Ale jeśli Postgres urósł do setek gigabajtów lub terabajtów, a twój zespół poświęca godziny na ręczne przygotowanie środowiska testowego i obawia się każdej migracji, Database Lab Engine zaoszczędzi mnóstwo nerwów i pieniędzy na infrastrukturze chmurowej.

Kod źródłowy silnika jest otwarty na licencji Apache 2.0. Możesz wypróbować wersję Community na własnym serwerze zgodnie z oficjalnym przewodnikiem w dokumentacji lub przetestować publiczne demo na demo.dblab.dev.