Wie Sie aufhören, nach Daten zu suchen, und sie stattdessen KI-Agenten füttern

Stellen Sie sich vor, Sie treten einem neuen Unternehmen als Senior Data Engineer bei. Sie erhalten Cloud-Zugang und sehen Hunderte von Tabellen in BigQuery, Tausende von Dateien in Cloud Storage und eine Streuung von Logs. Wo lebt das aktuelle Kundenprofil? Welche Spalte in dieser Tabelle ist für den Umsatz ohne MwSt. verantwortlich? Normalerweise wird die Suche nach Antworten zu einer Ermittlungsarbeit mit endlosen Fragen in Slack.

Google hat sich entschieden, etwas dagegen zu unternehmen und hat Knowledge Catalog eingeführt. Zuvor hieß dieser Dienst Dataplex, aber das Rebranding ist hier nicht nur ein Schildwechsel. Es ist ein Versuch, eine trockene Liste von Tabellen in einen lebendigen „Wissensgraphen" zu verwandeln, den nicht nur Menschen verstehen, sondern auch LLM-Agenten.

Das knowledge-catalog Repository von Google Cloud Platform ist eine Sammlung praktischer Tools und Beispiele, die zeigen, wie man das Beste aus dieser Plattform herausholt.

Warum brauchen wir noch einen Datenkatalog

Das Problem bei den meisten Data Catalogs ist, dass sie statisch sind. Sie beschreiben die Daten einmal, und eine Woche später ist die Beschreibung veraltet. Knowledge Catalog versucht, dies durch KI-Tools zu lösen. Es baut einen dynamischen Graphen auf, der strukturierte Tabellen und unstrukturierte Dokumente mit gemeinsamem Geschäftskontext verknüpft.

Für Entwickler bedeutet dies, dass Sie einem KI-Agenten nicht nur „hier ist die Datenbank-API" übergeben können, sondern „hier ist eine semantische Schicht, in der klar ist, wie die Daten zueinander in Beziehung stehen".

Das Repository enthält Tools, die helfen, Routineaufgaben zu automatisieren:

• Das Auffüllen des Katalogs mit Metadaten ohne manuelle Eingabe.
• Erstellen von Kontext für RAG-Systeme (Retrieval-Augmented Generation).
• Beispiele für den Aufbau von Agenten, die in natürlicher Sprache mit Ihren Daten „sprechen".

Was Interessantes im Repository

Das Projekt selbst ist kein „vorgefertigtes" Produkt. Es ist eher eine Sammlung von Bausteinen für diejenigen, die komplexe Dateninfrastruktur auf GCP aufbauen.

Ich habe den Inhalt in drei logische Teile gegliedert.

Tools zur Metadatenanreicherung

Der langweiligste Teil bei der Arbeit mit Daten ist das Beschreiben von Spalten. Im Repository gibt es Beispiele, wie man KI für automatische Annotation verwendet. Das System schaut sich den Tabelleninhalt an, versteht, dass Spalte cust_id Kundennummern enthält, und schreibt automatisch Tags und Beschreibungen. Das spart Wochen an Zeit bei großen Projekten.

Kontext für KI-Agenten

Dies ist vielleicht der relevanteste Teil. Wenn Sie versucht haben, einen Chatbot für interne Unternehmensdaten zu schreiben, wissen Sie: Der Bot macht oft Fehler, weil er die Geschäftslogik nicht versteht. Zum Beispiel könnte er „Registrierungsdatum" mit „Datum der letzten Aktivität" verwechseln.

Entwickler von Google schlagen vor, Knowledge Catalog als Verknüpfungsmechanismus zu verwenden. Das Repository zeigt, wie man semantischen Kontext extrahiert und an das LLM übergibt. Als Ergebnis versteht der Agent nicht nur nach Schlüsselwörtern zu suchen, sondern versteht Beziehungen im Wissensgraphen.

Integration mit Cloud Shell

In der README gibt es einen Button für den schnellen Start:

Das ist praktisch, wenn Sie die Beispiele erkunden möchten, ohne eine lokale Umgebung und ein SDK einzurichten. Das gesamte Repository wird in wenigen Minuten in Googles Cloud-Umgebung bereitgestellt.

Wie man dies in der Praxis verwendet

Sagen wir, Sie haben eine Aufgabe: einen Bot bauen, der Analystenfragen über eine riesige Menge an Dokumentation und Tabellen beantwortet.

Normalerweise würden Sie damit beginnen, einen einfachen RAG zu schreiben. Aber ohne einen Datenkatalog wird Ihr RAG „blind" sein. Mit den Entwicklungen aus diesem Repository können Sie:

1. Alle Quellen über Knowledge Catalog indexieren.
2. Fertige Skripte zur Metadatenextraktion verwenden.
3. Den Agenten über die vorgeschlagenen Codebeispiele mit dem dynamischen Wissensgraphen verbinden.

Als Ergebnis wird der Bot nicht nur den Text der Dokumente kennen, sondern auch die Struktur Ihrer Tabellen, ihre Eigentümer und das Vertrauensniveau für diese Daten.

Technische Feinheiten

Das Projekt wird unter der Apache 2.0-Lizenz vertrieben. Es ist wichtig zu verstehen, dass dies kein offizielles Google-Produkt ist, wie ehrlich im Disclaimer angegeben. Das bedeutet, der Support liegt bei der Community, und die API der Beispiele kann sich ändern.

Die Hauptsprachen der Beispiele sind HTML und Python (obwohl HTML in GitHub-Metadaten oft hervorgehoben wird, aufgrund der Dokumentationsstruktur). Die meisten Lösungen sind an Google Cloud-Dienste gebunden, wenn Sie also in einer anderen Cloud oder On-Premise arbeiten, wird das Projekt Ihnen vielleicht nur als konzeptionelles Beispiel nützlich sein.

Wer sollte einen Blick ins Repository werfen

Wenn Sie ein Data Engineer sind, der es leid ist, Beschreibungen in Data Catalog manuell auszufüllen, oder ein KI-Entwickler, der nach einem Weg sucht, seinen Agenten mehr Kontext über Unternehmensdaten zu geben, dann ist dieses Projekt für Sie.

Es hat fast 7.000 Sterne, was für ein spezialisiertes Toolkit viel ist. Das ist ein gutes Signal: Die Lösungen darin funktionieren und werden tatsächlich in der Produktion eingesetzt.

Am besten starten Sie mit dem samples Ordner. Dort befinden sich die verständlichsten Implementierungen, wie man verstreute Dateien in ein logisch verbundenes System verwandelt. Die Dokumentation im Repository selbst ist manchmal lakonisch, seien Sie also darauf vorbereitet, in die offizielle Google Cloud-Dokumentation für Knowledge Catalog und Dataplex zu schauen.

Das Projekt sieht nach einem ausgezeichneten Ausgangspunkt für diejenigen aus, die von einfachen Chatbots zu ernsthaften Enterprise-KI-Systemen übergehen, bei denen Datenqualität und Kontextverständnis an erster Stelle stehen.