Comment connecter Unreal Engine aux réseaux de neurones modernes sans la galère supplémentaire

Imaginez ceci : vous créez un jeu et vous voulez ajouter un PNJ qui ne se contente pas de cracher trois répliques pré-écrites, mais qui comprend réellement le joueur. Ou, encore plus intéressant, vous voulez qu'un réseau de neurones vous aide à construire des niveaux directement dans l'éditeur, en plaçant des objets selon des descriptions textuelles.

D'habitude, cela se transforme en quête de rédaction de wrappers d'API, de combat avec les requêtes asynchrones en C++, et de tentative pour ne pas perdre la raison à cause des mises à jour de modèle toutes les deux semaines. Le projet UnrealGenAISupport du développeur prajwalshettydev prend en charge cette routine. C'est un plugin qui fait le pont entre Unreal Engine et tout un zoo de LLMs modernes.

De quoi parle ce projet

UnrealGenAISupport est un plugin open-source pour les versions UE 5.4 à 5.7 qui rassemble le travail avec OpenAI, Claude, DeepSeek, Google Gemini et même Grok d'Elon Musk en un seul endroit. L'auteur s'est clairement donné pour objectif de créer une « clé suisse » pour les game designers qui ont besoin d'intégrer rapidement l'IA générative dans leurs projets.

Curieusement, le projet ne se limite pas au simple chat. Il inclut le support MCP (Model Context Protocol), qui permet aux réseaux de neurones de littéralement « voir » votre projet et de le contrôler.

Fonctionnalités clés à essayer

1. Contrôle de l'éditeur via MCP

C'est probablement la partie la plus prometteuse. En utilisant le protocole MCP, vous pouvez connecter Claude Desktop ou Cursor directement à un éditeur Unreal en cours d'exécution. Le README contient des exemples où le réseau de neurones fait apparaître des objets, modifie leurs transformations, applique des matériaux et génère même des Blueprints.

Bien sûr, la liste des problèmes connus indique honnêtement que les nœuds dans les Blueprints peuvent encore se connecter incorrectement, et qu'il n'y a pas d'annulation/rétablissement. Mais pour le prototypage ou l'automatisation de tâches fastidieuses — c'est déjà un outil fonctionnel.

2. Support de DeepSeek et des modèles de « raisonnement »

Tout le monde parle de DeepSeek R1 en ce moment pour sa capacité à « réfléchir » avant de répondre. Le support de R1 est déjà dans le plugin. Le développeur met en garde : puisque ces modèles mettent longtemps à répondre, les délais d'expiration standard de 30 secondes d'Unreal ne fonctionneront pas. Vous devrez ajuster les configurations dans DefaultEngine.ini :

[HTTP]
HttpConnectionTimeout=180
HttpReceiveTimeout=180

3. Sorties structurées

Si vous voulez que le réseau de neurones renvoie non seulement du texte, mais des données que le jeu peut analyser (par exemple, les statistiques d'un nouvel objet ou les coordonnées pour faire apparaître des ennemis), le plugin prend en charge les schémas JSON. Vous donnez au modèle un schéma, et vous obtenez une sortie JSON propre qui peut facilement être convertie en structure de données dans UE.

L'exemple en C++ est propre :

UGenAISchemaService::RequestStructuredOutput(
    TEXT("Сгенерируй список из 3 врагов для ледяной локации"),
    MySchemaJson,
    [](const FString& Response, const FString& Error, bool Success) {
       // Здесь парсим Response
    }
);

4. Multimodalité et 3D

Dans la version Pro payante, l'auteur propose une intégration avec ElevenLabs (voix) et Meshy (génération de modèles 3D). Mais même dans la version gratuite, il y a suffisamment d'outils pour commencer : support de Vision API (analyse de captures d'écran de jeu avec des réseaux de neurones) et fonctions de base pour travailler avec des modèles chinois comme Qwen, ce qui est pertinent pour beaucoup en ce moment.

Comment ça fonctionne en coulisses

Le plugin est écrit en C++, mais максимально friendly aux passionnés de Blueprint. Presque toutes les fonctions sont exposées en tant que Nodes, donc vous pouvez construire un agent IA sans écrire de code du tout.

L'architecture est simple : le plugin n'entraîne pas de dépendances externes lourdes. Pour MCP, il utilise un petit serveur Python qui communique avec l'éditeur via des sockets. Cela signifie que vous devrez activer Python Editor Script Plugin dans les paramètres de votre projet.

À qui cela s'adresse

Je vois deux scénarios principaux :

1. Pour les développeurs de PNJ et de quêtes : Si vous avez besoin de tester rapidement une hypothèse avec des dialogues « intelligents », ce plugin vous fera gagner une semaine de développement de la couche réseau.
2. Pour les outils d'automatisation : Si vous êtes fatigué de placer manuellement des milliers d'arbres ou de créer des matériaux répétitifs, vous pouvez essayer de déléguer cela à Claude via MCP.

Observations personnelles et nuances

Le projet est actif, les mises à jour arrivent fréquemment, mais vous devez comprendre — ce n'est pas une solution prête à l'emploi « out of the box » pour une sortie sur Steam. C'est un puissant framework de développement.

Au fait, l'auteur aborde honnêtement la sécurité : ne codez pas en dur les clés API dans votre build de jeu. Pour les tests dans l'éditeur, les clés sont prises à partir des variables d'environnement (par exemple, PS_OPENAIAPIKEY), et pour la production, vous devrez configurer votre propre proxy backend afin que les joueurs ne volent pas votre solde OpenAI.

Si vous vouliez essayer les LLMs dans Unreal depuis un moment mais que vous ne saviez pas par quel angle aborder l'API — UnrealGenAISupport est un excellent point de départ.

Vous pouvez consulter le code et les exemples dans le dépôt : prajwalshettydev/UnrealGenAISupport Et pour un démarrage rapide, il y a un projet de test où tout est déjà configuré.