3DGenStudioで1つのウィンドウ内に3Dモデル生成パイプラインを構築する方法

AIを活用した3Dアセットの作成は、まだ異なるキットのパーツを組み合わせる作業のような感覚です。まずComfyUIで画像を生成し、それをTripoのような外部サービスにドラッグして3Dメッシュに変換します。次にBlenderを開いてジオメトリの修正やUV展開を行い、その後、神経ネットワークでテクスチャリングするために再度 нейронныеネットワークに戻ります。5つのウィンドウ間でのインポートとエクスポートの繰り返しは、すぐに疲れてしまいます。

visualbrronoというユーザ名の開発者が、これらの工程を組み合わせることを決意しました。彼のプロジェクトである3DGenStudioは、ビジュアルパイプラインマネジメント、組み込みメッシュファイルエディタ、直接的なComfyUI統合を1つのワークスペースに統合しています。

なぜ個別のスタジオインターフェースが必要なのか

3DGenStudioの中核となるアイデアは、ファイル、レンダリングバリアント、ワークフロー設定の混乱を取り除くことです。mesh_final_v2_fixed.glbのような名前のフォルダの束の代わりに、オブジェクトが最初のテキストプロンプトからアニメーション付きの完成モデルまでの全体的なパスを確認できるビジュアル開発環境が得られます。

このプロジェクトはローカルです。すべてのソースファイル、テクスチャ、メッシュバージョンはディスクに保存されます。外部クラウドへの依存はなく、データをGitにプッシュしやすいです。

プロジェクトを扱う2つのモード

アプリ内では2つのビューを切り替えることができます。

カンバンボード

オブジェクトのカードを標準的なカラムを通じて進めます：画像生成、画像処理、3Dメッシュ作成、ジオメトリリファインメント、テクスチャリング。各段階で、必要なComfyUIスクリプトや外部APIをカードから直接起動できます。

ノードグラフ

接続をグラフィカルに見ることを好む場合、グラフは特定のメッシュがどの画像から生成されたかを示します。ノードをクリックすると生成パラメータが開き、そこで直接設定を変更してプロセスを再実行できます。

ブラウザに直接組み込まれた3Dエディタ

このプロジェクトの主なサプライズは、Three.jsベースの組み込みエディタです。Blenderの代わりではありませんが、神経ネットワークの結果をすばやく微調整するには十分です。

このエディタでできること：

• 自動UV展開とリトポロジー。神経ネットワークのメッシュは多くの場合、多量のポリゴンを生成します。組み込みスクリプトは、展開されたエッジをクリーンアップし、メッシュをより整った外観に再構築できます。
• オートリグ。この機能は、SkinTokensライブラリに基づいてスケルトンを構築し、スキンバインドを行います。
• テクスチャ投影とインペインティング。モデルを任意の角度に回転させ、マス クで問題箇所をペインティングして、フレームをComfyUIに送信できます。神経ネットワークがフラグメントを塗りつぶし、エディタが完了したピースを3Dオブジェクトに投影し直します。
• 基本的なスカルプティングとペインティング。スムーズ化、フォームの構築、スポットテクスチャリングのための使い慣れたブラシがあります。

ComfyUIとの直接連携

3DGenStudioはComfyUIと直接通信できます。手動でプロンプトやマスクを転送する必要はありません。アプリが必要なパラメータをComfyUI APIに送信し、生成結果を取得して、現在のカードに子バージョンとして添付します。

Tripo AIやTencent Cloudなどのクラウドサービスを使用している場合も、外部APIエンドポイントを介して接続できます。

技術スタックと起動方法

このプロジェクトは3つの部分で構成されています：

• フロントエンド：React、Vite、Three.js（@react-three/fiber）。
• バックエンド：Node.js、Express、SQLite。
• Pythonサーバ：重い3D処理、リトポロジー、自動リグを処理します。

起動するには、Node.jsのインストール、実行中のComfyUI、Python環境が必要です。

# Клонируем репозиторий
git clone https://github.com/visualbruno/3DGenStudio.git
cd 3DGenStudio

# Устанавливаем и запускаем клиент
npm install
npm run dev

# В соседнем терминале поднимаем python-сервер
cd python-server
python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
python main.py

その後、http://localhost:3001を開いて、設定でComfyUIアドレスを指定します。

まとめ

本稿執筆時点で、3DGenStudioはGitHubで400スター稍稍多一点を獲得しています。しかし、CHANGELOGを見る限り、著者はほぼ毎日プロジェクトを更新しており、Fluxモデルサポート、Sam3.1統合、メッシュオプティマイザなどの新ツールを追加しています。

メリット：

• 散らばった3D生成ツールを明確なワークフローに統合します。
• UV展開、リトポロジー、リグ付けのルーティンを自動化します。
• すべてのファイルはローカルに保存されます。

デメリット：

• 複数のサービス（Node.js、Python、ComfyUI）を同時にデプロイして維持する必要があります。
• ブラウザベースのエディタは、複雑なモデリングのための本格的な3Dパッケージの代わりにはまだなりません。

神経ネットワークを使用してゲームやインディープロジェクトのアセットを作成している場合、3DGenStudioを試す価値は十分あります。このプロジェクトは、生成からエンジンへのエクスポート間のルーティン操作で много времениを節約できます。