データの поискを止めてAIエージェントにデータを供給する方法
Senior Data Engineerとして新しい会社に入ると、クラウドアクセスを取得し、BigQueryに数百のテーブル、Cloud Storageに数千のファイル、そして散らばったログが表示されます。现在的クライアントプロファイルはどこにありますか？このテーブルのどの列がVAT除外の収益を担当していますか？通常、答えはSlackで无尽の質問をしながら推理小説のような調査になります。
Googleはこの問題を解決することを決意し、Knowledge Catalogを展開しました。以前、このサービスはDataplexと呼ばれていましたが、リブランドは単なる看板の張り替えではありません。乾燥したテーブルのリストを、人だけでなくLLMエージェントも理解できる「ナレッジグラフ」に変換する試みです。
Google Cloud Platformのknowledge-catalogリポジトリは、このプラットフォームを最大限に活用する方法を示す実用的なツールと例のコレクションです。
なぜ別のデータカタログが必要なのか
ほとんどのデータカタログの問題は、それらが静的であることです。データを一度説明しても、1週間後には説明は古くなります。Knowledge CatalogはAIツールを通じてこれ解决这个问题しようとします。構造化テーブルと非構造化ドキュメントを共有のビジネスコンテキストでリンクする動的なグラフを構築します。
開発者にとって，这意味着您现在不仅可以向AI代理传递「这里是数据库API」，还可以传递「这里有一个语义层，其中数据的相互关系是明确的」。
リポジトリには、定常的なタスクを自動化するツールが含まれています：
- 手動入力なしでカタログにメタデータを入力する。
- RAGシステム（Retrieval-Augmented Generation）のコンテキストを作成する。
- 自然言語でデータと「対話」するエージェントを構築する例。
リポジトリ内の興味深い点
このプロジェクト自体は「箱入り製品」ではありません。GCPで複雑なデータインフラを構築する人々のためのビルディングブロックのセットです。
内容を3つの論理的な部分に分けました。
メタデータ強化のツール
データ作業で最も骨の折れる部分は列の説明です。リポジトリには自動アノテーションにAIを使用する方法の例があります。システムはテーブル内容を調べ、列cust_idが顧客IDを含んでいることを理解し、タグと説明を自動的に書き込みます。これにより、大規模プロジェクトで数週間の時間が節約されます。
AIエージェント向けコンテキスト
これはおそらく最も関連性の高い部分です。社内データ用のチャットボットを作成しようとしたことがあるなら、ボットはビジネスロジックを理解しないため頻繁にミスを犯すことを知っているでしょう。例えば、「登録日」と「最終アクティビティ日」を混同する可能性があります。
Googleの開発者は、Knowledge Catalogをリンクメカニズムとして使用することを提案しています。リポジトリにはセマンティックコンテキストを抽出してLLMに供給する方法が示されています。その結果、エージェントはキーワードで検索するだけでなく、ナレッジグラフ内の関係性を理解します。
Cloud Shellとの統合
READMEには、クイック起動用のボタンがあります：
ローカル環境とSDKを設定せずにサンプルを試したい場合に便利です。数分でGoogleのクラウド環境にデプロイされます。
これを実践で使用する方法
巨大なドキュメントとテーブルの配列に関するアナリストの質問に回答するボットを構築するタスクがあるとします。
通常はシンプルなRAGを作成することから始めます。しかし、データカタログなしではRAGは「盲目」的になります。このリポジトリの開発を使用して、以下を行うことができます：
- Knowledge Catalogを通じてすべてのソースをインデックス化する。
- メタデータ抽出の準備ができたスクリプトを使用する。
- 提案されたコードサンプルを通じて動的なナレッジグラフにエージェントを接続する。
結果として、ボットはドキュメントのテキストだけでなく、テーブル構造、所有者、そのデータへの信頼レベルも把握します。
技術的なニュアンス
このプロジェクトはApache 2.0ライセンスで配布されています。これは公式のGoogle製品ではないことを理解することが重要です（免責事項で正直に述べられています）。これは、サポートはコミュニティに委ねられ、例示のAPIは変更される可能性があることを意味します。
例示の主な言語はHTMLとPythonです（ただし、ドキュメント構造によりGitHubメタデータではHTMLが強調表示されることが多いです）。ほとんどのソリューションはGoogle Cloudサービスに結びついているため、別のクラウドやオンプレミスで作業している場合は、概念的な例としてのみ有用かもしれません。
誰がこのリポジトリを確認すべきか
データカタログの説明を手動で入力することに疲れたData Engineerや、エージェントに会社データに関するより多くのコンテキストを提供する方法を求めているAI Developerなら、このプロジェクトはあなたのためにあります。
約7,000のスターを獲得しており、専門ツールキットとしては 많은星です。これは良いシグナルです：内部のソリューションは動作しており、実際には本番環境で使用されています。
最好是から始めるのが最善です。那里には、散らばったファイルを論理的に接続されたシステムに変換する最も理解しやすい実装があります。リポジトリ内のドキュメント自体が時には簡潔なので、Knowledge CatalogとDataplexの公式Google Cloudドキュメントを確認する必要があります。
このプロジェクトは、単純なチャットボットからデータ品質とコンテキスト理解が優先される真剣なエンタープライズAIシステムへの移行を検討している人にとって、優れた出発点のように見えます。
関連プロジェクト