Stop met zoeken naar data en begin het te voeden aan AI-agents
Stel je voor dat je bij een nieuw bedrijf begint als Senior Data Engineer. Je krijgt cloud-toegang en je ziet honderden tabellen in BigQuery, duizenden bestanden in Cloud Storage en een verspreiding van logs. Waar woont het huidige klantprofiel? Welke kolom in deze tabel is verantwoordelijk voor omzet exclusief btw? Meestal verandert het vinden van antwoorden in een detective-onderzoek met eindeloze vragen in Slack.
Google besloot dat het tijd was om hier iets aan te doen en rolde Knowledge Catalog uit. Voorheen heette deze service Dataplex, maar de naamswijziging is niet alleen een bord dat verandert. Het is een poging om een droge lijst met tabellen om te zetten in een levende "kennisgraaf" die niet alleen mensen begrijpen, maar ook LLM-agents.
De knowledge-catalog repository van Google Cloud Platform is een verzameling praktische tools en voorbeelden die laten zien hoe je het meeste uit dit platform haalt.
Waarom hebben we nog een data catalogus nodig
Het probleem met de meeste Data Catalogs is dat ze statisch zijn. Je beschrijft de data één keer, en een week later is de beschrijving al verouderd. Knowledge Catalog probeert dit op te lossen met AI-tools. Het bouwt een dynamische graaf, die gestructureerde tabellen en ongestructureerde documenten koppelt met gedeelde zakelijke context.
Voor ontwikkelaars betekent dit dat je nu niet alleen "hier is de database-API" aan een AI-agent kunt doorgeven, maar "hier is een semantische laag waar duidelijk is hoe de data zich tot elkaar verhouden."
De repository bevat tools die helpen bij het automatiseren van routinematige taken:
- De catalogus vullen met metadata zonder handmatige invoer.
- Context creëren voor RAG-systemen (Retrieval-Augmented Generation).
- Voorbeelden van het bouwen van agents die "praten" met je data in natuurlijke taal.
Wat interessant is binnen de repository
Het project zelf is geen "kant-en-klaar" product. Het is meer een set bouwstenen voor degenen die complexe data-infrastructuur bouwen op GCP.
Ik heb de inhoud verdeeld in drie logische delen.
Tools voor metadata-verrijking
Het saaiste deel van het werken met data is het beschrijven van kolommen. In de repository zijn voorbeelden van hoe je AI kunt gebruiken voor automatische annotatie. Het systeem bekijkt de tabelinhoud, begrijpt dat kolom cust_id klant-ID's bevat, en schrijft automatisch tags en beschrijvingen. Dit bespaart weken tijd bij grote projecten.
Context voor AI-agents
Dit is misschien wel het meest relevante deel. Als je ooit geprobeerd hebt om een chatbot te schrijven voor interne bedrijfsdata, weet je: de bot maakt vaak fouten omdat hij de zakelijke logica niet begrijpt. Hij kan bijvoorbeeld "registratiedatum" verwarren met "datum van laatste activiteit."
Ontwikkelaars van Google stellen voor om Knowledge Catalog te gebruiken als koppelingsmechanisme. De repository laat zien hoe je semantische context kunt extraheren en aan de LLM kunt voeden. Als resultaat zoekt de agent niet alleen op trefwoorden, maar begrijpt hij relaties in de kennisgraaf.
Integratie met Cloud Shell
In de README staat een knop voor snel opstarten:
Dit is handig als je de voorbeelden wilt bekijken zonder een lokale omgeving en SDK in te stellen. De hele repository wordt binnen enkele minuten geïmplementeerd in Google's cloud-omgeving.
Hoe dit in de praktijk te gebruiken
Stel dat je de taak hebt: bouw een bot die vragen van analisten beantwoordt over een enorme hoeveelheid documentatie en tabellen.
Normaal zou je beginnen met het schrijven van een eenvoudige RAG. Maar zonder een data catalogus is je RAG "blind." Met de ontwikkelingen uit deze repository kun je:
- Alle bronnen indexeren via Knowledge Catalog.
- kant-en-klare scripts gebruiken voor metadata-extractie.
- De agent verbinden met de dynamische kennisgraaf via de voorgestelde codevoorbeelden.
Als resultaat weet de bot niet alleen de tekst van documenten, maar ook de structuur van je tabellen, hun eigenaren en het vertrouwensniveau voor deze data.
Technische nuances
Het project wordt gedistribueerd onder de Apache 2.0-licentie. Het is belangrijk om te begrijpen dat dit geen officieel Google-product is, zoals eerlijk vermeld in de disclaimer. Dit betekent dat ondersteuning bij de community ligt en dat de API van de voorbeelden kan veranderen.
De belangrijkste talen van de voorbeelden zijn HTML en Python (hoewel HTML vaak wordt uitgelicht in GitHub-metadata vanwege de documentatiestructuur). De meeste oplossingen zijn gekoppeld aan Google Cloud-services, dus als je in een andere cloud of on-premise werkt, is het project voor jou misschien alleen nuttig als conceptueel voorbeeld.
Wie zou de repository moeten bekijken
Als je een Data Engineer bent die het beu is om handmatig beschrijvingen in te vullen in Data Catalog, of een AI Developer die op zoek is naar een manier om je agents meer context te geven over bedrijfsdata, dan is dit project voor jou.
Het heeft bijna 7.000 sterren, wat veel is voor een gespecialiseerde toolkit. Dit is een goed signaal: de oplossingen erin werken en worden daadwerkelijk gebruikt in productie.
Het beste kun je beginnen met de samples map. Daar staan de meest begrijpelijke implementaties van hoe je verspreide bestanden omzet in een logisch verbonden systeem. De documentatie in de repository zelf is soms beknopt, dus wees voorbereid om de officiële Google Cloud-documentatie voor Knowledge Catalog en Dataplex te raadplegen.
Het project lijkt een uitstekend startpunt voor degenen die overgaan van eenvoudige chatbots naar serieuze enterprise AI-systemen, waar datakwaliteit en contextbegrip voorop staan.
Gerelateerde projecten