Multimodale KI-Kinoproduktion auf einer einzigen unbegrenzten Leinwand

Wenn Sie jemals versucht haben, etwas Komplexeres als eine einzelne Bildgenerierung zu erstellen – wie einen kurzen animierten Clip oder ein Storyboard für ein Musikvideo – kennen Sie dieses Dilemma. Der erste Browser-Tab hat ChatGPT für das Skript geöffnet. Der zweite läuft mit Midjourney oder Stable Diffusion. Der dritte hat ElevenLabs für die Vertonung. Der vierte hat Runway oder Luma für Frame-Animation geöffnet. Und irgendwo im Hintergrund läuft eine lokale ComfyUI mit einem Graphen von dreihundert Knoten.

Als Ergebnis verwandelt sich Ihr Desktop in eine Ablage von PNG-Dateien mit seltsamen Namen wie final_v2_really_final.png, und das Übertragen von Kontext zwischen neuronalen Netzwerken dauert mehr Zeit als die eigentliche kreative Arbeit.

Ein chinesischer Entwickler unter dem Nickname ashuoAI versuchte, dieses Problem mit dem SHUO Canvas-Projekt zu lösen (ehemals bekannt als AI-CanvasPro). Es ist eine Desktop-Anwendung, die Text-, Grafik-, Audio- und Videogenerierung auf einer einzigen interaktiven Tafel kombiniert.

So funktioniert die Leinwand

Im Kern von SHUO Canvas steht die Idee eines unbegrenzten Arbeitsbereichs, ähnlich wie bei Figma, Miro oder ComfyUI, aber zugeschnitten auf die umfassende Medienproduktion. Anstatt zwischen Diensten zu wechseln, legen Sie Elemente direkt auf der Tafel ab und verbinden sie mit logischen Linien.

Jedes Element auf der Tafel ist ein Knoten. Ein Knoten kann ein Text-Prompt, ein hochgeladenes Bild, ein generiertes Videoclip, ein Audiotrack oder ein vollständiger Kontrollblock sein. Sie verbinden die Ausgaben einiger Knoten mit den Eingaben anderer und bauen eine Kette auf: Skript -> Frame-Generierung -> Animation -> Vertonung und Schnitt.

Die Anwendung kann den Leinwand-Zustand beim Neustart automatisch speichern, und um ein Projekt auf einen anderen PC zu übertragen, erzeugt sie ein einzelnes Archiv .aicpkg mit allen verwendeten Ressourcen.

Was Interessantes steckt drin

Die Entwickler haben sich nicht auf ein einfaches Raster von Bildgeneratoren beschränkt. In der Anwendung gibt es mehrere spezialisierte Knoten, die man in solchen All-in-One-Tools selten findet.

Storyboarding und 3D-Regie

Für diejenigen, die Videogeschichten erstellen, wurde ein Regie-Skript-Knoten hinzugefügt. Er hilft dabei, Text in einzelne Szenen zu zerlegen, Kamerabewegungen, Dialoge und Soundeffekte zu beschreiben.

Zusammen damit arbeitet ein 3D-Regie-Knoten. Hier können Sie Charaktere schematisch im Raum platzieren, den virtuellen Kamerawinkel einstellen und Objekte positionieren. Das resultierende 3D-Schema wird als Referenzbild (ControlNet/IP-Adapter) für die Generierung des finalen Frames weitergegeben. Dies hilft, Perspektive und Komposition von Frame zu Frame beizubehalten.

Bearbeitungswerkzeuge direkt auf der Leinwand

Direkt auf der Leinwand können Sie Videos beschneiden, Audiospuren schneiden, Hintergründe entfernen, unerwünschte Objekte aus Bildern entfernen oder Collagen zusammenstellen. Für die Arbeit mit Videogenerierungs-Pipelines wurden Knoten zum Aufteilen von Videos in einzelne Frames und präziser Lippen-Synchronisation hinzugefügt.

Wenn Sie ein Raster von Varianten oder ein Panorama erstellen müssen, werden separate Knoten verwendet:

• Grid unterteilt das Storyboard in Blöcke für die Stapelgenerierung.
• 360 Panorama transformiert ein flaches Bild in eine interaktive sphärische Umgebung.

Integrierter KI-Assistent

Um nicht Zeit damit zu verbringen, Dutzende von Knoten manuell zu erstellen, ist ein Agent in das System eingebaut. Durch das Symbol @ im Textfeld referenzieren Sie ein beliebiges Objekt auf der Leinwand (Bild, Text oder Video). Das Symbol / ruft schnelle Prompt-Vorlagen auf.

Zusätzlich kann der Dialog-Assistent in der Ecke des Bildschirms Befehle auf der Tafel selbst ausführen: Knoten erstellen, sie verbinden und die Stapelgenerierung aus einer Textabfrage starten.

Integrationen und Anschluss neuronaler Netzwerke

SHUO Canvas enthält standardmäßig keine eigenen generativen Modelle. Es ist ein grafischer Client, der Anfragen an externe Anbieter oder lokale Server sendet.

Die folgenden Verbindungsoptionen werden unterstützt:

• Lokales oder Cloud-ComfyUI. Sie können fertige ComfyUI-JSON-Workflows direkt auf die SHUO Canvas-Tafel importieren.
• Die RunningHub-Plattform für das Ausführen von ComfyUI-Pipelines in der Cloud.
• Direkte APIs chinesischer Cloud-Dienste (Jimeng, Volcengine, APImart, GRSAI).
• Beliebige Anbieter mit OpenAI-kompatibler API für Textmodelle.

Dieses Schema bietet Freiheit: Wenn Sie möchten, können Sie alles lokal auf Ihrer eigenen GPU-Leistung über ComfyUI ausführen oder APIs von Drittanbietern anschließen und Ihre Hardware nicht belasten.

Einige wichtige Nuancen

Bevor Sie die Distribution herunterladen, sollten Sie einige Eigenschaften des Projekts berücksichtigen.

Erstens ist das Projekt nicht im traditionellen Sinne Open Source (Non-Open-Source / NC). Das GitHub-Repository dient als Plattform für Release-Veröffentlichungen, Dokumentation und einen Aufgaben-Tracker. Die Anwendung selbst wird als fertige Builds für Windows und macOS verteilt (Apple-Silicon-Chips werden unterstützt).

Zweitens basiert die Monetarisierung auf der Software-Aktivierung. Der Entwickler erhebt eine Gebühr für die Programmlizenz selbst, und Sie bezahlen für Generierungen direkt an die Dienste, deren API-Schlüssel Sie in den Einstellungen eingeben.

Drittens sind die Benutzeroberfläche und Tutorial-Videos in erster Linie auf chinesisch- und englischsprachige Zielgruppen ausgerichtet, obwohl die grundlegende Steuerung über Hotkeys keine Schwierigkeiten bereitet. Vertraute Tastenkürzel werden für die Leinwand-Navigation verwendet: Space + ЛКМ zum Verschieben, Alt + перетаскивание zum Duplizieren eines Knotens mit Verbindungen, Ctrl+Z zum Rückgängigmachen von Aktionen.

Für wen lohnt es sich

SHUO Canvas ist für diejenigen interessant, die das Chaos bei der Erstellung komplexer generativer Inhalte leid sind. Wenn Ihr Workflow eine Kombination aus ComfyUI, Video-Editoren und Sprachgeneratoren beinhaltet, spart das Konzept der einzelnen Leinwand viel Zeit.

Das Projekt entwickelt sich schnell: Version 0.7.1 brachte aktualisierte Charakter-Kontrollalgorithmen und flexible Hotkey-Anpassung. Sie können Builds für Windows und macOS im Bereich Releases auf GitHub herunterladen.