Cómo dejar de buscar datos y empezar a alimentarlos a los agentes de IA
Imagina que te incorporas a una nueva empresa como Ingeniero de Datos Senior. Obtienes acceso a la nube y ves cientos de tablas en BigQuery, miles de archivos en Cloud Storage y una dispersión de logs. ¿Dónde vive el perfil del cliente actual? ¿Qué columna de esta tabla es responsable de los ingresos sin IVA? Por lo general, encontrar respuestas se convierte en una investigación detectivesca con preguntas interminables en Slack.
Google decidió que era hora de hacer algo al respecto y lanzó Knowledge Catalog. Anteriormente, este servicio se llamaba Dataplex, pero el cambio de marca aquí no es solo un cambio de letrero. Es un intento de convertir una lista seca de tablas en un "grafo de conocimiento" vivo que no solo entienden las personas, sino también los agentes LLM.
El repositorio knowledge-catalog de Google Cloud Platform es un conjunto de herramientas prácticas y ejemplos que muestran cómo aprovechar al máximo esta plataforma.
¿Por qué necesitamos otro catálogo de datos
El problema con la mayoría de los catálogos de datos es que son estáticos. Describes los datos una vez y una semana después la descripción ya está desactualizada. Knowledge Catalog intenta resolver esto mediante herramientas de IA. Construye un grafo dinámico, vinculando tablas estructuradas y documentos no estructurados con contexto empresarial compartido.
Para los desarrolladores, esto significa que ahora puedes pasar a un agente de IA no solo "aquí está la API de la base de datos", sino "aquí hay una capa semántica donde queda claro cómo se relacionan los datos entre sí".
El repositorio contiene herramientas que ayudan a automatizar tareas rutinarias:
- Rellenar el catálogo con metadatos sin entrada manual.
- Crear contexto para sistemas RAG (Retrieval-Augmented Generation).
- Ejemplos de construcción de agentes que "hablan" con tus datos en lenguaje natural.
Qué hay de interesante dentro del repositorio
El proyecto en sí no es un producto "empacado". Es más bien un conjunto de bloques de construcción para quienes construyen infraestructura de datos compleja en GCP.
Dividí el contenido en tres partes lógicas.
Herramientas para enriquecimiento de metadatos
La parte más aburrida de trabajar con datos es describir columnas. En el repositorio hay ejemplos de cómo usar IA para anotación automática. El sistema examina el contenido de la tabla, entiende que la columna cust_id contiene IDs de clientes y escribe automáticamente etiquetas y descripciones. Esto ahorra semanas de tiempo en proyectos grandes.
Contexto para agentes de IA
Esta es quizás la parte más relevante. Si has intentado escribir un chatbot para datos internos de la empresa, sabes: el bot a menudo comete errores porque no entiende la lógica empresarial. Por ejemplo, podría confundir "fecha de registro" con "fecha de última actividad".
Los desarrolladores de Google sugieren usar Knowledge Catalog como un mecanismo de vinculación. El repositorio muestra cómo extraer contexto semántico y alimentarlo al LLM. Como resultado, el agente no solo busca por palabras clave, sino que entiende las relaciones en el grafo de conocimiento.
Integración con Cloud Shell
En el README hay un botón para lanzamiento rápido:
Esto es conveniente si quieres explorar los ejemplos sin configurar un entorno local y SDK. Todo el repositorio se despliega en el entorno en la nube de Google en un par de minutos.
Cómo usar esto en la práctica
Digamos que tienes una tarea: construir un bot que responda preguntas de analistas sobre una enorme cantidad de documentación y tablas.
Normalmente, comenzarías escribiendo un RAG simple. Pero sin un catálogo de datos, tu RAG estará "ciego". Usando los desarrollos de este repositorio, puedes:
- Indexar todas las fuentes a través de Knowledge Catalog.
- Usar scripts listos para usar para extracción de metadatos.
- Conectar el agente al grafo de conocimiento dinámico a través de los ejemplos de código propuestos.
Como resultado, el bot sabrá no solo el texto de los documentos, sino también la estructura de tus tablas, sus propietarios y el nivel de confianza para estos datos.
Matices técnicos
El proyecto se distribuye bajo la licencia Apache 2.0. Es importante entender que este no es un producto oficial de Google, como se indica honestamente en el aviso legal. Esto significa que el soporte recae en la comunidad y la API de los ejemplos puede cambiar.
Los principales lenguajes de los ejemplos son HTML y Python (aunque HTML a menudo se resalta en los metadatos de GitHub debido a la estructura de la documentación). La mayoría de las soluciones están vinculadas a servicios de Google Cloud, así que si trabajas en otra nube o on-premise, el proyecto te será útil quizás solo como ejemplo conceptual.
Quién debería echar un vistazo al repositorio
Si eres un Ingeniero de Datos que está cansado de rellenar manualmente descripciones en Data Catalog, o un Desarrollador de IA buscando una forma de dar a tus agentes más contexto sobre los datos de la empresa, este proyecto es para ti.
Tiene casi 7.000 estrellas, que es mucho para un kit de herramientas especializado. Esta es una buena señal: las soluciones dentro funcionan y realmente se usan en producción.
Lo mejor es comenzar con la carpeta samples. Ahí es donde están las implementaciones más comprensibles de cómo convertir archivos dispersos en un sistema lógicamente conectado. La documentación en el propio repositorio a veces es lacónica, así que prepárate para consultar la documentación oficial de Google Cloud para Knowledge Catalog y Dataplex.
El proyecto parece un excelente punto de partida para quienes pasan de chatbots simples a sistemas de IA empresarial serios, donde la calidad de los datos y la comprensión del contexto son lo primero.
Proyectos relacionados