Cómo construir un pipeline de generación de modelos 3D en una sola ventana con 3DGenStudio

Crear activos 3D con IA todavía se siente como armar un juego de construcción con piezas de diferentes kits. Primero generas una imagen en ComfyUI, luego la arrastras a un servicio de terceros como Tripo para obtener una malla tridimensional. A continuación abres Blender para corregir la geometría o hacer el unwrap de UV, y luego vuelves a las redes neuronales para las texturas. Constantemente importar y exportar entre cinco ventanas se vuelve agotador rápidamente.

Un desarrollador con el nombre de usuario visualbruno decidió combinar estos pasos. Su proyecto 3DGenStudio vincula la gestión visual del pipeline, un editor de archivos de malla integrado y la integración directa con ComfyUI en un único espacio de trabajo.

Por qué se necesita una interfaz de estudio separada

La idea central detrás de 3DGenStudio es eliminar el caos de archivos, variantes de renderizado y configuraciones de flujo de trabajo. En lugar de un montón de carpetas con nombres como mesh_final_v2_fixed.glb, obtienes un entorno de desarrollo visual donde puedes ver toda la ruta de un objeto desde el primer prompt de texto hasta un modelo terminado con animación.

El proyecto es local. Todos los archivos de origen, texturas y versiones de malla se guardan en tu disco. No hay dependencia de nubes de terceros, y los datos son fáciles de subir a Git.

Dos modos para trabajar con un proyecto

Dentro de la aplicación puedes cambiar entre dos vistas.

Tablero Kanban

Avanzas la tarjeta de un objeto a través de columnas estándar: generación de imágenes, procesamiento de imágenes, creación de malla 3D, refinamiento de geometría, texturizado. En cada etapa, los scripts de ComfyUI requeridos o las APIs externas se pueden lanzar directamente desde la tarjeta.

Grafo de nodos

Si prefieres ver las conexiones gráficamente, el grafo muestra de qué imagen específica se generó una malla particular. Al hacer clic en un nodo se abren los parámetros de generación, donde puedes cambiar la configuración inmediatamente y volver a ejecutar el proceso.

Editor 3D integrado directamente en el navegador

La sorpresa principal del proyecto es un editor integrado basado en Three.js. No está pensado para reemplazar a Blender, pero sí para ajustar rápidamente los resultados de las redes neuronales.

Lo que puede hacer el editor:

• Unwrap de UV y retopología automática. Las mallas de redes neuronales a menudo producen un desastre de polígonos. El script integrado puede limpiar los bordes unwrapeados y reconstruir la malla con un aspecto más ordenado.
• Auto Rig. La función construye un esqueleto y vincula los pesos de piel basándose en la biblioteca SkinTokens.
• Proyección de texturas e inpainting. Puedes rotar el modelo al ángulo deseado, pintar sobre un problema con una máscara y enviar el fotograma a ComfyUI. La red neuronal rellenará el fragmento, y el editor proyectará la pieza terminada de vuelta sobre el objeto 3D.
• Escultura y pintura básica. Hay pinceles familiares para suavizar, construir formas y texturizado por zonas.

Integración directa con ComfyUI

3DGenStudio puede comunicarse con ComfyUI directamente. No necesitas transferir prompts manualmente ni recargar máscaras. La aplicación envía los parámetros requeridos a la API de ComfyUI, recupera el resultado generado y lo adjunta como una versión secundaria a la tarjeta actual.

Si usas servicios en la nube como Tripo AI o Tencent Cloud, estos también se pueden conectar a través de endpoints de API externos.

Stack tecnológico y lanzamiento

El proyecto consiste en tres partes:

• Frontend: React, Vite, Three.js (@react-three/fiber).
• Backend: Node.js, Express, SQLite.
• Servidor Python: maneja el procesamiento pesado de 3D, retopología y auto-rig.

Para lanzar, necesitarás tener Node.js instalado, un ComfyUI en ejecución y un entorno de Python.

Después de eso, abre http://localhost:3001 y especifica tu dirección de ComfyUI en la configuración.

En resumen

En el momento de escribir esto, 3DGenStudio tiene poco más de 400 estrellas en GitHub. Sin embargo, según el CHANGELOG, el autor actualiza el proyecto casi todos los días, añadiendo nuevas herramientas como soporte para el modelo Flux, integración con Sam3.1 y optimizadores de malla.

Ventajas:

• Vincula herramientas de generación 3D dispersas en un flujo de trabajo claro.
• Automatiza las rutinas de unwrap de UV, retopología y rigging.
• Todos los archivos se almacenan localmente.

Desventajas:

• Requiere desplegar y mantener múltiples servicios a la vez (Node.js, Python, ComfyUI).
• El editor basado en navegador aún no reemplaza a un paquete 3D completo para modelado complejo.

Si estás ensamblando activos para juegos o proyectos indie usando redes neuronales, probar 3DGenStudio claramente vale la pena. El proyecto ahorra mucho tiempo en operaciones rutinarias entre la generación y la exportación a un motor.