Jak przestać szukać danych i zacząć je przekazywać agentom AI
Wyobraź sobie, że dołączasz do nowej firmy jako Senior Data Engineer. Otrzymujesz dostęp do chmury i widzisz setki tabel w BigQuery, tysiące plików w Cloud Storage oraz rozrzucone logi. Gdzie znajduje się aktualny profil klienta? Która kolumna w tej tabeli odpowiada za przychód bez VAT? Zazwyczaj znalezienie odpowiedzi zamienia się w śledztwo z niekończącymi się pytaniami na Slacku.
Google postanowiło coś z tym zrobić i udostępniło Knowledge Catalog. Wcześniej ta usługa nazywała się Dataplex, ale rebranding tutaj to nie tylko zmiana szyldu. To próba przekształcenia suchej listy tabel w żywy „graf wiedzy", który rozumieją nie tylko ludzie, ale także agenci LLM.
Repozytorium knowledge-catalog z Google Cloud Platform to zbiór praktycznych narzędzi i przykładów pokazujących, jak najlepiej wykorzystać tę platformę.
Dlaczego potrzebujemy kolejnego katalogu danych
Problem z większością katalogów danych polega na tym, że są statyczne. Opisujesz dane raz, a tydzień później opis jest już nieaktualny. Knowledge Catalog próbuje rozwiązać ten problem za pomocą narzędzi AI. Buduje dynamiczny graf, łącząc ustrukturyzowane tabele i nieustrukturyzowane dokumenty ze wspólnym kontekstem biznesowym.
Dla deweloperów oznacza to, że teraz możesz przekazać agentowi AI nie tylko „oto API bazy danych", ale „oto warstwa semantyczna, w której jasne jest, jak dane się do siebie odnoszą”.
Repozytorium zawiera narzędzia pomagające zautomatyzować rutynowe zadania:
- Wypełnianie katalogu metadanymi bez ręcznego wprowadzania.
- Tworzenie kontekstu dla systemów RAG (Retrieval-Augmented Generation).
- Przykłady budowania agentów, którzy „rozmawiają" z twoimi danymi w języku naturalnym.
Co interesującego znajdziesz w repozytorium
Sam projekt nie jest „produktem z pudełka". To raczej zbiór bloków konstrukcyjnych dla tych, którzy budują złożoną infrastrukturę danych na GCP.
Podzieliłem zawartość na trzy logiczne części.
Narzędzia do wzbogacania metadanych
Najbardziej nużącą częścią pracy z danymi jest opisywanie kolumn. W repozytorium znajdują się przykłady użycia AI do automatycznego dodawania adnotacji. System analizuje zawartość tabeli, rozpoznaje, że kolumna cust_id zawiera identyfikatory klientów, i automatycznie zapisuje tagi oraz opisy. Oszczędza to tygodnie pracy przy dużych projektach.
Kontekst dla agentów AI
To być może najbardziej aktualna część. Jeśli próbowałeś pisać czatbota dla wewnętrznych danych firmowych, wiesz: bot często popełnia błędy, ponieważ nie rozumie logiki biznesowej. Na przykład może pomylić „datę rejestracji" z „datą ostatniej aktywności".
Deweloperzy z Google sugerują użycie Knowledge Catalog jako mechanizmu łączącego. Repozytorium pokazuje, jak wyodrębnić kontekst semantyczny i przekazać go do LLM. W rezultacie agent nie tylko wyszukuje według słów kluczowych, ale rozumie relacje w grafie wiedzy.
Integracja z Cloud Shell
W pliku README znajduje się przycisk szybkiego uruchomienia:
To wygodne rozwiązanie, jeśli chcesz przetestować przykłady bez konfigurowania środowiska lokalnego i SDK. Całe repozytorium wdraża się w środowisku chmurowym Google w ciągu kilku minut.
Jak wykorzystać to w praktyce
Załóżmy, że masz zadanie: zbudować bota, który odpowiada na pytania analityków dotyczące ogromnej ilości dokumentacji i tabel.
Zazwyczaj zacząłbyś od napisania prostego RAG. Ale bez katalogu danych twój RAG będzie „ślepy". Korzystając z rozwiązań z tego repozytorium, możesz:
- Indeksować wszystkie źródła przez Knowledge Catalog.
- Używać gotowych skryptów do ekstrakcji metadanych.
- Połączyć agenta z dynamicznym grafem wiedzy poprzez proponowane przykłady kodu.
W rezultacie bot będzie znał nie tylko tekst dokumentów, ale także strukturę tabel, ich właścicieli oraz poziom zaufania do tych danych.
Niuansy techniczne
Projekt jest rozpowszechniany na licencji Apache 2.0. Ważne jest, aby zrozumieć, że to nie jest oficjalny produkt Google, jak uczciwie stwierdzono w zastrzeżeniu. Oznacza to, że wsparcie spoczywa na społeczności, a API przykładów może się zmienić.
Główne języki przykładów to HTML i Python (chociaż HTML jest często podświetlany w metadanych GitHub ze względu na strukturę dokumentacji). Większość rozwiązań jest powiązana z usługami Google Cloud, więc jeśli pracujesz w innej chmurze lub on-premise, projekt może być przydatny być może tylko jako konceptualny przykład.
Kto powinien zajrzeć do repozytorium
Jeśli jesteś Data Engineerem, który ma dość ręcznego wypełniania opisów w Data Catalog, lub deweloperem AI szukającym sposobu na nadanie agentom większego kontekstu o danych firmowych, ten projekt jest dla ciebie.
Ma prawie 7 000 gwiazdek, co jest dużo jak na wyspecjalizowany zestaw narzędzi. To dobry sygnał: rozwiązania w środku działają i są faktycznie używane w produkcji.
Najlepiej zacząć od folderu samples. Tam znajdują się najbardziej zrozumiałe implementacje tego, jak przekształcić rozrzucone pliki w logicznie powiązany system. Dokumentacja w samym repozytorium jest czasami zwięzła, więc przygotuj się na zajrzenie do oficjalnej dokumentacji Google Cloud dotyczącej Knowledge Catalog i Dataplex.
Projekt wygląda na doskonały punkt wyjścia dla tych, którzy przechodzą od prostych czatbotów do poważnych systemów AI dla przedsiębiorstw, gdzie na pierwszym miejscu stoi jakość danych i rozumienie kontekstu.
Powiązane projekty