Comment transformer du texte en infographies et inversement avec un seul réseau neuronal

Travailler avec des modèles multimodaux ressemblait autrefois à assembler un puzzle avec des pièces incompatibles. Besoin de comprendre des images ? On prenait un encodeur. Vous vouliez de la génération ? On attachait un modèle de diffusion. Le résultat était un « monstre de Frankenstein » pesant où les composants se comprenaient à peine. L'équipe d'OpenSenseNova a adopté une approche différente avec SenseNova-U1—pas simplement une autre combinaison de modèles, mais une véritable tentative de créer un cerveau unifié pour la vision et le texte.

À propos du projet

SenseNova-U1 est une série de modèles basée sur l'architecture NEO-unify. L'innovation clé ici est le mot « native ». Les développeurs ont abandonné les encodeurs visuels traditionnels et le VAE (Variational Auto-Encoder). Au lieu de traduire les images dans un langage intermédiaire que le réseau neuronal comprend, le modèle « pense » simultanément en pixels et en mots.

Pourquoi un autre modèle en 2026 ? Premièrement, il peut générer du texte dans les images sans les fautes grossières qui ont affligé les premières itérations de Stable Diffusion. Deuxièmement, il comprend le contexte et peut raisonner à travers les modifications. Si vous demandez de « rendre le thé dans un verre plus foncé, comme s'il avait infusé pendant une heure », le modèle comprend la physique du processus plutôt que d'appliquer simplement un filtre brun.

Ce que SenseNova-U1 peut faire en pratique

Le projet est intéressant car il aborde plusieurs points douloureux pour les développeurs de contenu et les analystes.

Infographies complexes

Les réseaux neuronaux produisent généralement de la « bouillie » au lieu de graphiques significatifs. U1 dispose d'une version spécialisée Infographic-V3. Il peut mettre en page des affiches, des résumés et des présentations avec des hiérarchies de titres claires et du petit texte lisible.

Édition intelligente par raisonnement

C'est la partie la plus intéressante. Vous fournissez une image et écrivez des instructions en langage naturel. Par exemple : « Dessinez à quoi ressembleront ces bananes lorsqu'elles seront mûres. » Le modèle analyse que la photo montre des bananes vertes, se souvient de la biologie et les redessine en jaune avec des taches caractéristiques. Le dépôt regorge de tels exemples : du changement de flottabilité des objets dans l'eau au vieillissement des objets.

Génération de contenu de bout en bout (génération entrelacée)

Si vous devez créer un guide illustré ou un journal de voyage, le modèle peut générer un flux de texte et d'images en un seul passage. Les images maintiennent un style cohérent et des personnages cohérents, ce qui était auparavant un casse-tête.

Fonctionnement technique et tailles

Le dépôt propose deux options matérielles principales :

1. 8B-MoT : un modèle dense avec 8 milliards de paramètres.
2. A3B-MoT : un modèle basé sur l'architecture MoE (Mixture of Experts) qui consomme moins de ressources pendant le fonctionnement.

Il est intéressant de noter que les auteurs ont publié des poids quantifiés GGUF. Cela signifie que vous n'avez pas besoin de posséder un serveur H100 pour l'exécuter. La version Q4 fonctionne confortablement sur des GPU grand public avec 10 à 12 Go de VRAM en mode déchargement (lorsque certaines couches sont chargées depuis la RAM).

Comment exécuter et tester

Si vous ne voulez pas vous occuper de l'environnement, le projet dispose d'une démo en ligne (SenseNova-Studio). Mais pour les tests locaux, tout est standard—Python et un ensemble de scripts dans le dossier examples.

Installation via uv (une alternative moderne à pip) :

uv pip install -e ".[gguf]"

Exécuter un VQA simple (répondre à des questions sur les images) :

python examples/vqa/inference.py \
  --model_path sensenova/SenseNova-U1-8B-MoT \
  --image examples/vqa/data/images/menu.jpg \
  --question "Что посоветуешь заказать на двоих из этого меню, если мы хотим сэкономить?"

Pour la génération d'images :

python examples/t2i/inference.py \
  --model_path sensenova/SenseNova-U1-8B-MoT \
  --prompt "Постер в стиле киберпанк с надписью HELLO WORLD" \
  --num_steps 50

Est-ce que ça vaut le coup

Le projet semble solide et, surtout, ouvert. Bien sûr, le README mentionne honnêtement les problèmes : le modèle peut faire des erreurs dans la petite anatomie humaine (les doigts sont un problème éternel) ou parfois confondre des lettres dans un texte très long.

Qui cela va-t-il aider ? Avant tout, ceux qui font de la mise en page automatisée de contenu ou des systèmes de recherche visuelle complexes. La capacité de « raisonner » sur une image avant de la générer ou de la modifier ouvre la porte à des agents IA de meilleure qualité.

Si vous travaillez en vision par ordinateur ou avec des LLM, cela vaut définitivement le coup de regarder le code NEO-unify—au moins pour voir comment les auteurs se sont débarrassés des encodeurs classiques sans casser les performances dans le processus.

Je suggérerais de commencer modestement : téléchargez le modèle 8B quantifié et essayez-le sur des tâches d'édition (édition d'images). C'est le domaine où SenseNova se sent le plus confiant et livre des résultats vraiment logiques.