Zo maak je van ComfyUI een complete video-editor voor LTX Video

Videogeneratie via diffusiemodellen in ComfyUI voelt meestal aan als het in elkaar zetten van een complex Lego-set met honderden draden. Als je meerdere frames aan elkaar moet knopen, audio moet toevoegen, dialogen van een personage moet synchroniseren of gewoon een mislukte take moet inkorten, zwelt de grafiek onmiddellijk op tot onleesbare proporties. Je eindigt voortdurend met schakelen tussen Premiere Pro en de browser, waarbij je tussentijdse resultaten heen en weer exporteert.

Ik stuitte onlangs op de repository WhatDreamsCost-ComfyUI. De auteur werd het beu om voortdurend te schakelen tussen tientallen losgekoppelde nodes en bouwde een volledig bewerkingspaneel rechtstreeks in één node voor de LTX Video-generator. Het project heeft inmiddels bijna 20.000 sterren verzameld en bevat verschillende werkelijk slimme interface-oplossingen die veel tijd besparen.

Waarom de tijdlijn in nodes brengen

Het middelpunt van de suite is de LTX Director-node. In plaats van timings in tekstvelden aan te passen of frames op een rekenmachine te berekenen, krijg je een vertrouwde tijdlijn met tracks.

Je kunt hier videobestanden slepen en neerzetten, keyframes instellen (eerste, tussentijdse, laatste), tracks knippen en tekstprompts combineren. Het heeft een ingebouwd Prompt Relay-mechanisme dat de besturing soepel laat overgaan van de ene tekstbeschrijving naar de andere naarmate de tijdlijn vordert.

Een ander veelvoorkomende frustratie bij het genereren van pratende hoofden is het berekenen van de scenelengte om de voiceover te matchen. De auteur creëerde een aparte Speech Length Calculator-node. Deze analyseert gequoteerde dialogen in realtime en geeft de aanbevolen clipduur in seconden uit op basis van het spraaktempo. Dit voorkomt situaties waarin de generatie halverwege een woord stopt of de video enkele extra seconden in stilte blijft hangen.

Wat de node-suite kan doen

Naast basiseditie introduceert versie twee verschillende praktische toevoegingen aan de pipeline:

• IC-LoRA-ondersteuning. Je kunt een referentievideo of -afbeelding op een aparte track neerzetten (LTX Ingredients wordt ondersteund) om beweging of stijl over te dragen zonder handmatige voorbewerkingsketen.
• Ingebouwde audioverwerking. Je kunt je eigen audiobestand importeren, het rechtstreeks in de interface inkorten en audio-inpainting toepassen, waarbij het originele spoor wordt gemengd met gegenereerde geluiden.
• Retake-modus (nog in bèta). Je selecteert een segment op de tijdlijn en genereert alleen het mislukte gedeelte rechtstreeks binnen het project opnieuw.
• Geheugenoptimalisatie en caching. Gepatchte modellen worden tussen runs gecachet, dus ComfyUI laadt gewichten niet elke keer opnieuw in VRAM wanneer je kleine prompt-wijzigingen aanbrengt. Bovendien voegde de auteur correcte SageAttention- en Triton-ondersteuning toe.
• Staatspersistentie. De tijdlijn samen met alle instellingen, geïmporteerde mediabestanden en knippunten kan worden geëxporteerd naar een standaard JSON-bestand.

Eenvoudige bediening

Nieuwe bijsnijdmodus!

Het pakket bevat verbeterde video- en audioladenodes (Load Video UI / Load Audio UI). In tegenstelling tot standaard ComfyUI-componenten ondersteunen ze slepen en neerzetten correct, kunnen ze bijsnijden naar verschillende beeldverhoudingen en crashen ze niet op bestanden groter dan 100 MB.

Voor batch-framewerk is er de Multi Image Loader-node. Deze combineert voorverwerking, resolutieaanpassing en een ingebouwde minigalerie.

Installatie en opmerkingen

Je kunt het pakket installeren via de standaard ComfyUI Manager (zoek naar WhatDreamsCost-ComfyUI) of handmatig via terminal:

cd ComfyUI/custom_nodes/
git clone https://github.com/WhatDreamsCost/WhatDreamsCost-ComfyUI.git

Voordat je opstart, moet je de afhankelijkheden ComfyUI-LTXVideo en ComfyUI-KJNodes bijwerken naar hun nieuwste versies, anders geven de tijdlijnnodes een fout tijdens de initialisatie van de grafiek. De auteur heeft kant-en-klare workflow-voorbeelden rechtstreeks in de example_workflows-map binnen de repository geplaatst.

Aan de negatieve kant: de auteur waarschuwt eerlijk in de README dat de Retake-modus nog ruw en onstabiel is. Bovendien stuit het verwerken van zeer lange video's nog steeds op een muur met het systeem-RAM vanwege ComfyUI-enginebeperkingen, dus je kunt geen uur durende films in één enkele node assembleren.

Voor wie is het

Als je experimenteert met het LTX Video 2.3-model en de chaos van verbindingen tussen tientallen kleine nodes beu bent, is dit project zeker de moeite waard om aan je collectie toe te voegen. Het vervangt omslachtige ketens van hulpprogramma's door een schone visuele tijdlijn en versnelt merkbaar iteraties bij het genereren van complexe scènes.