ComfyUIをLTX 2.3パイプラインでフル功能的編集スタジオに変える方法

ComfyUIで首尾一貫したビデオや音楽クリップを組み立てようとしたことがある人なら、この的痛苦を経験しているでしょう。グラフはすぐに無数の接続の「スパゲッティ」になり、果てしなく複雑化していきます。断片を一つずつ生成し、ビデオエディタにドラッグし、ビートに同期させ、そして3秒目でキャラクターの顔がずれていることに気づいて戻ることになります。

VRGameDevGirlというユーザー名の開発者がノードパック comfyui-vrgamedevgirl を公開しました。これはノードベースのインターフェースを単純な短いGIFジェネレーターから本格的な編集スイートへと変革する試みです。

パックの中身

このプロジェクトは、ビデオアセンブリツール、オーディオ処理機能、フレーム修復モジュール、LoRAトレーニングパイプラインを組み合わせています。

ここでのメイン要素は VRGDG Music Video Builder UI ノードです。キャンバスに追加すると、ComfyUIの上に別のワークインターフェースが開きます。オーディオファイルやSRT形式の字幕を読み込み、シーンマーカーを配置し、各フレームの生成をタイムラインにリンクさせることができます。

シーンとビデオの操作ツール

各セグメントのプロンプトを手動で切り替える代わりに、Video Builderではプロジェクトをシーンごとに管理できます。

• インタラクティブタイムライン。トラック構造を表示し、ヴァース、コーラス、インストゥルメンタルセクションをマークできます。
• クロスフレーム生成。このツールは隣接するシーンの最初と最後のフレームをリンクできます。これにより、キャラクターが1つのショットから別のショットに移行する際の視覚的一貫性が維持されます。
• LLMによるプロンプト自動化。ビルダーはLM StudioまたはサードパーティAPIを通じてローカルニューラルネットワークに接続します。歌詞を読み取り、シーン説明のオプションを提案します。

顔修復と品質向上

ビデオモデルは、キャラクターがカメラから遠い場合、詳細が劣化することがよくあります。このセットには修復 готовые решенияが含まれており、ビデオ品質を回復するための準備ができています。

Face Fixセットのノードは、フッテージ内の顔を検出し、関連するフラグメントを切り出し、拡散モデルを実行して詳細を復元し、慎重にその結果を元のクリップに戻します。

最終調整のために、著者はFast Film Grain、Color Match、シャープニングアルゴリズムを追加しました。これらは異なる生成セグメントを統一されたカラーパレットにもたらし、レンダリング速度の低下をほとんど感じずにシネマティックグレインを追加します。

オーディオ、ボイスクローニング、データセット

ビデオフッテージに加えて、リポジトリにはオーディオ準備とモデルトレーニングのツールが含まれています。

パックにはVoxCPM2モジュールが含まれています。これは短いサンプルから声をクローンし、テキストから音声を生成できます。これはクリップのナレーション声が必要なときに便利です。補助ノードはオーディオをセグメントにカットし、サイレントを削除し、書き起こしを抽出できます。

独自のモデルをトレーニングする人のために、 VRGDG LoRA Dataset Creator UI インターフェースが便利です。これは画像ペアのラベリングとテキスト説明の準備を簡素化します。リポジトリには、Musubi-Tunerを使用してLTX 2.3およびZ-ImageでLoRAをトレーニングするための готовыеワークフローが含まれています。

インストールとライセンスの詳細

ComfyUI Managerで vrgamedev を検索するか、リポジトリを直接クローンすることで、標準的な方法でセットをインストールできます：

インストール後は、依存関係を requirements.txt からComfyUI環境にロードすることを忘れず、ブラウザでCtrl+F5を押してページを更新してください。

ライセンスに注意してください。このプロジェクトはAGPL-3.0の下で配布されています。これは、商用サービスやSaaS製品でコードを使用する場合は、同じライセンスの下でアプリケーションをオープンソースにする必要があることを意味します。

誰が使うべきか

このパッケージは、クリップ、短編映画、アニメストーリーを作成し、 десятки異なるプログラムを切り替えるのに疲れている人々に必ず役立ちます。

最初からVideo Builderの全機能に飛び込む必要はありません。個々のノードを選択できます：Color Matchを使用して色を調整したり、完了したビデオでキャラクターの顔を修正したり、VoxCPM2でナレーションを生成したりできます。