Unreal Engine verbinden met moderne neurale netwerken zonder de extra hoofdpijn

Stel je dit voor: je maakt een game en wilt een NPC toevoegen die niet gewoon drie vooraf geschreven regels uitspuugt, maar de speler daadwerkelijk begrijpt. Of, nog interessanter, je wilt dat een neuraal netwerk je helpt met het bouwen van levels in de editor, door props te plaatsen op basis van tekstbeschrijvingen.

Dit verandert meestal in een queeste van het schrijven van API-wrappers, vechten met asynchrone requests in C++, en proberen niet je verstand te verliezen door modelupdates om de twee weken. Het UnrealGenAISupport project van ontwikkelaar prajwalshettydev neemt deze routine voor zijn rekening. Het is een plugin die Unreal Engine en de zoo van moderne LLMs met elkaar verbindt.

Waar dit project over gaat

UnrealGenAISupport is een open-source plugin voor UE versies 5.4 tot 5.7 die werk met OpenAI, Claude, DeepSeek, Google Gemini en zelfs Elon Musks Grok op één plek samenbrengt. De auteur had duidelijk als doel om een "Zwitsers zakmes" te creëren voor game-ontwerpers die snel generatieve AI in hun projecten moeten integreren.

Interessant is dat het project niet beperkt is tot eenvoudige chat. Het bevat MCP (Model Context Protocol) ondersteuning, waarmee neurale netwerken letterlijk je project kunnen "zien" en besturen.

Belangrijke functies om uit te proberen

1. Editorbesturing via MCP

Dit is waarschijnlijk het meest veelbelovende onderdeel. Met het MCP protocol kun je Claude Desktop of Cursor direct verbinden met een draaiende Unreal editor. De README bevat voorbeelden waarbij het neurale netwerk objecten spawnt, hun transformaties wijzigt, materialen toepast en zelfs Blueprints genereert.

Natuurlijk vermeldt de lijst met bekende problemen eerlijk dat nodes in Blueprints nog steeds verkeerd kunnen verbinden, en er is geen Ongedaan maken/Opnieuw. Maar voor prototyping of het automatiseren van vervelende taken — dit is al een werkend hulpmiddel.

2. DeepSeek en "Reasoning" model ondersteuning

Iedereen heeft het nu over DeepSeek R1 vanwege zijn vermogen om te "denken" voordat hij reageert. R1 ondersteuning is al in de plugin opgenomen. De ontwikkelaar waarschuwt: aangezien deze modellen lang duren om te reageren, werken de standaard 30-seconden timeouts van Unreal niet. Je moet de configuratie aanpassen in DefaultEngine.ini:

[HTTP]
HttpConnectionTimeout=180
HttpReceiveTimeout=180

3. Gestructureerde outputs

Als je wilt dat het neurale netwerk niet alleen tekst retourneert, maar data die het spel kan parsen (bijvoorbeeld stats voor een nieuw item of coördinaten voor het spawnen van vijanden), ondersteunt de plugin JSON schemas. Je geeft het model een schema, en je krijgt schone JSON output die gemakkelijk kan worden omgezet naar een datastructuur binnen UE.

Het C++ voorbeeld ziet er netjes uit:

UGenAISchemaService::RequestStructuredOutput(
    TEXT("Сгенерируй список из 3 врагов для ледяной локации"),
    MySchemaJson,
    [](const FString& Response, const FString& Error, bool Success) {
       // Здесь парсим Response
    }
);

4. Multimodaliteit en 3D

In de betaalde Pro versie biedt de auteur integratie met ElevenLabs (spraak) en Meshy (3D model generatie). Maar zelfs in de gratis versie zijn er genoeg hulpmiddelen om te beginnen: Vision API ondersteuning (game screenshots analyseren met neurale netwerken) en basisfuncties voor het werken met Chinese modellen zoals Qwen, wat voor velen nu relevant is.

Hoe het onder de motorkap werkt

De plugin is geschreven in C++, maar maximaal vriendelijk voor Blueprint-enthousiastelingen. Bijna alle functies zijn blootgesteld als Nodes, dus je kunt een AI agent bouwen zonder ook maar één regel code te schrijven.

De architectuur is eenvoudig: de plugin sleept geen zware externe afhankelijkheden mee. Voor MCP gebruikt het een kleine Python server die met de editor communiceert via sockets. Dit betekent dat je Python Editor Script Plugin moet inschakelen in je projectinstellingen.

Voor wie is dit bedoeld

Ik zie twee hoofdscenario's:

1. Voor NPC- en quest-ontwikkelaars: Als je snel een hypothese wilt testen met "slimme" dialogen, zal deze plugin je een week netwerklaag-ontwikkeling besparen.
2. Voor automatiseringstools: Als je het beu bent om handmatig duizenden bomen te plaatsen of repetitieve materialen te maken, kun je dit proberen te delegeren aan Claude via MCP.

Persoonlijke observaties en nuances

Het project is actief, updates komen frequent, maar je moet begrijpen — dit is geen kant-en-klare "out of the box" oplossing voor release op Steam. Het is een krachtig ontwikkelingsframework.

Trouwens, de auteur gaat eerlijk in op beveiliging: codeer geen API keys in je game build. Voor testen in de editor worden keys genomen uit environment variables (bijvoorbeeld PS_OPENAIAPIKEY), en voor productie moet je je eigen backend proxy opzetten zodat spelers je OpenAI saldo niet stelen.

Als je al een tijdje LLMs in Unreal wilt uitproberen maar niet wist onder welke hoek je de API moet benaderen — UnrealGenAISupport is een geweldig startpunt.

Je kunt de code en voorbeelden bekijken in de repository: prajwalshettydev/UnrealGenAISupport En voor een snelle start is er een testproject waar alles al geconfigureerd is.