Comment cesser de chercher des données et commencer à les transmettre aux agents IA

Imaginez que vous rejoignez une nouvelle entreprise en tant qu'Ingénieur Data Senior. Vous avez accès au cloud, et vous voyez des centaines de tables dans BigQuery, des milliers de fichiers dans Cloud Storage, et une dispersion de logs. Où se trouve le profil client actuel ? Quelle colonne de cette table est responsable du chiffre d'affaires hors TVA ? Habituellement, trouver des réponses devient une enquête de détective avec des questions sans fin sur Slack.

Google a décidé qu'il était temps de faire quelque chose et a lancé Knowledge Catalog. Auparavant, ce service s'appelait Dataplex, mais le rebrandage ici n'est pas qu'un simple changement d'enseigne. C'est une tentative de transformer une liste aride de tables en un "graphe de connaissances" vivant que non seulement les humains comprennent, mais aussi les agents LLM.

Le dépôt knowledge-catalog de Google Cloud Platform est une collection d'outils pratiques et d'exemples qui montrent comment tirer le meilleur parti de cette plateforme.

Pourquoi aurions-nous besoin d'un autre catalogue de données

Le problème avec la plupart des Data Catalogs est qu'ils sont statiques. Vous décrivez les données une fois, et une semaine plus tard, la description est obsolète. Knowledge Catalog essaie de résoudre ce problème grâce à des outils d'IA. Il construit un graphe dynamique, reliant des tables structurées et des documents non structurés avec un contexte métier partagé.

Pour les développeurs, cela signifie que vous pouvez maintenant transmettre à un agent IA non seulement "voici l'API de la base de données", mais "voici une couche sémantique où il est clair comment les données sont liées entre elles".

Le dépôt contient des outils qui aident à automatiser les tâches routinières :

• Remplir le catalogue avec des métadonnées sans saisie manuelle.
• Créer du contexte pour les systèmes RAG (Retrieval-Augmented Generation).
• Des exemples de construction d'agents qui "parlent" à vos données en langage naturel.

Quoi d'intéressant dans le dépôt

Le projet lui-même n'est pas un produit "clé en main". C'est plutôt un ensemble de blocs de construction pour ceux qui construisent une infrastructure de données complexe sur GCP.

J'ai divisé le contenu en trois parties logiques.

Outils pour l'enrichissement des métadonnées

La partie la plus ennuyeuse du travail avec les données est de décrire les colonnes. Dans le dépôt, il y a des exemples d'utilisation de l'IA pour l'annotation automatique. Le système examine le contenu des tables, comprend que la colonne cust_id contient des ID clients, et écrit automatiquement des tags et des descriptions. Cela fait gagner des semaines de temps sur les grands projets.

Contexte pour les agents IA

C'est peut-être la partie la plus pertinente. Si vous avez essayé d'écrire un chatbot pour les données internes de l'entreprise, vous savez : le bot fait souvent des erreurs parce qu'il ne comprend pas la logique métier. Par exemple, il pourrait confondre "date d'inscription" avec "date de dernière activité".

Les développeurs de Google suggèrent d'utiliser Knowledge Catalog comme mécanisme de liaison. Le dépôt montre comment extraire le contexte sémantique et le transmettre au LLM. Ainsi, l'agent ne se contente pas de rechercher par mots-clés, mais comprend les relations dans le graphe de connaissances.

Intégration avec Cloud Shell

Dans le README, il y a un bouton pour un lancement rapide :

C'est pratique si vous voulez explorer les exemples sans configurer d'environnement local et de SDK. L'ensemble du dépôt se déploie dans l'environnement cloud de Google en quelques minutes.

Comment utiliser cela en pratique

Disons que vous avez une tâche : construire un bot qui répond aux questions des analystes sur un huge array de documentation et de tables.

Normalement, vous commenceriez par écrire un RAG simple. Mais sans catalogue de données, votre RAG sera "aveugle". En utilisant les développements de ce dépôt, vous pouvez :

1. Indexer toutes les sources via Knowledge Catalog.
2. Utiliser des scripts prêts à l'emploi pour l'extraction de métadonnées.
3. Connecter l'agent au graphe de connaissances dynamique via les exemples de code proposés.

En résultat, le bot connaîtra non seulement le texte des documents, mais aussi la structure de vos tables, leurs propriétaires et le niveau de confiance pour ces données.

Nuances techniques

Le projet est distribué sous licence Apache 2.0. Il est important de comprendre qu'il ne s'agit pas d'un produit officiel Google, comme le stipule honnêtement la clause de non-responsabilité. Cela signifie que le support incombe à la communauté, et que l'API des exemples peut changer.

Les principaux langages des exemples sont HTML et Python (bien que HTML soit souvent mis en évidence dans les métadonnées GitHub en raison de la structure de la documentation). La plupart des solutions sont liées aux services Google Cloud, donc si vous travaillez dans un autre cloud ou en on-premise, le projet ne vous sera peut-être utile que comme exemple conceptuel.

Qui devrait consulter le dépôt

Si vous êtes un Ingénieur Data qui en a marre de remplir manuellement des descriptions dans Data Catalog, ou un Développeur IA à la recherche d'un moyen de donner à vos agents plus de contexte sur les données de l'entreprise, ce projet est pour vous.

Il compte près de 7 000 étoiles, ce qui est beaucoup pour un toolkit spécialisé. C'est un bon signal : les solutions à l'intérieur fonctionnent et sont réellement utilisées en production.

Le mieux est de commencer par le dossier samples. C'est là que se trouvent les implémentations les plus compréhensibles de comment transformer des fichiers dispersés en un système logiquement connecté. La documentation dans le dépôt lui-même est parfois laconique, alors préparez-vous à consulter la documentation officielle Google Cloud pour Knowledge Catalog et Dataplex.

Le projet ressemble à un excellent point de départ pour ceux qui passent de simples chatbots à des systèmes d'IA d'entreprise sérieux, où la qualité des données et la compréhension du contexte passent en premier.