Comment transformer ComfyUI en un éditeur vidéo complet pour LTX Video

La génération vidéo par modèles de diffusion dans ComfyUI ressemble généralement à assembler un complexe jeu de Lego avec des centaines de fils. Si vous devez assembler plusieurs images, ajouter de l'audio, synchroniser le dialogue d'un personnage ou simplement couper une mauvaise prise, le graphe gonfle instantanément jusqu'à devenir illisible. Vous finissez par sauter constamment entre Premiere Pro et le navigateur, en exportant les résultats intermédiaires dans un sens puis dans l'autre.

Je suis récemment tombé sur le dépôt WhatDreamsCost-ComfyUI. L'auteur en avait marre de jongler constamment avec des dizaines de nœuds déconnectés et a construit un panneau d'édition complet directement à l'intérieur d'un seul nœud pour le générateur LTX Video. Le projet a déjà recueilli près de 20 000 étoiles, et il inclut plusieurs solutions d'interface véritablement intelligentes qui font gagner beaucoup de temps.

Pourquoi intégrer la timeline à l'intérieur des nœuds

Le centre de la suite est le nœud LTX Director. Au lieu de modifier les durées dans des champs de texte ou de calculer des images sur une calculatrice, vous obtenez une timeline familière avec des pistes.

Vous pouvez y glisser-déposer des fichiers vidéo, définir des images clés (première, intermédiaire, finale), couper des pistes et combiner des invites textuelles. Il dispose d'un mécanisme intégré de Relay d'invite qui fait transitionner en douceur le contrôle d'une description textuelle à une autre à mesure que la timeline progresse.

Un autre point douloureux courant lors de la génération de talking heads est le calcul de la durée de la scène pour correspondre au voiceover. L'auteur a créé un nœud Speech Length Calculator séparé. Il analyse le dialogue entre guillemets en temps réel et sort la durée de clip recommandée en secondes basée sur le rythme de parole. Cela évite les situations où la génération coupe un mot en deux ou où la vidéo traîne dans le silence pendant quelques secondes supplémentaires.

Ce que la suite de nœuds peut faire

Au-delà de l'édition de base, la version deux introduit plusieurs ajouts pratiques au pipeline :

• Support IC-LoRA. Vous pouvez déposer une vidéo ou une image de référence sur une piste séparée (LTX Ingredients est supporté) pour transférer le mouvement ou le style sans travail de chaîne de pré-traitement manuel.
• Gestion audio intégrée. Vous pouvez importer votre propre fichier audio, le couper directement dans l'interface et appliquer l'inpainting audio, en mélangeant la piste originale avec les sons générés.
• Mode Retake (encore en bêta). Vous sélectionnez un segment sur la timeline et régénérez uniquement la partie échouée directement dans le projet.
• Optimisation mémoire et mise en cache. Les modèles patchés sont mis en cache entre les exécutions, donc ComfyUI ne recharge pas les poids dans la VRAM à chaque fois que vous apportez de petites modifications à l'invite. De plus, l'auteur a ajouté le support approprié de SageAttention et Triton.
• Persistance d'état. La timeline ainsi que tous les paramètres, fichiers média importés et points de coupe peuvent être exportés vers un fichier JSON standard.

Contrôles simples

Nouveau mode Crop !

Le package inclut des nœuds améliorés de chargement vidéo et audio (Load Video UI / Load Audio UI). Contrairement aux composants standard de ComfyUI, ils supportent correctement le glisser-déposer, peuvent recadrer vers différents ratios d'aspect et ne plantent pas sur les fichiers de plus de 100 Mo.

Pour le travail de frames par lots, il y a le nœud Multi Image Loader. Il combine le pré-traitement, l'ajustement de résolution et une mini galerie intégrée.

Installation et notes

Vous pouvez installer le package via le ComfyUI Manager standard (recherchez WhatDreamsCost-ComfyUI) ou manuellement via le terminal :

cd ComfyUI/custom_nodes/
git clone https://github.com/WhatDreamsCost/WhatDreamsCost-ComfyUI.git

Avant de lancer, assurez-vous de mettre à jour les dépendances ComfyUI-LTXVideo et ComfyUI-KJNodes vers leurs dernières versions, sinon les nœuds de timeline généreront une erreur lors de l'initialisation du graphe. L'auteur a publié des exemples de workflows prêts à l'emploi directement dans le dossier example_workflows du dépôt.

Du côté des inconvénients : l'auteur avertit honnêtement dans le README que le mode Retake est encore brut et instable. De plus, le traitement de vidéos très longues se heurte encore à un mur avec la RAM système en raison des limitations du moteur ComfyUI, donc vous ne pourrez pas assembler des films d'une heure à l'intérieur d'un seul nœud.

À qui cela s'adresse

Si vous expérimentez avec le modèle LTX Video 2.3 et que vous êtes fatigué du chaos des connexions entre des dizaines de petits nœuds, ce projet mérite définitivement d'être ajouté à votre collection. Il remplace les chaînes fastidieuses d'utilitaires d'aide par une timeline visuelle propre et accélère заметно les itérations lors de la génération de scènes complexes.