Stop gissen en begin je AI-partner te begrijpen

Onlangs betrapte ik mezelf op de gedachte: ik breng meer tijd door met GitHub Copilot en Cursor dan met mijn echte teamleden. We wisselen voortdurend prompts uit, het schrijft code voor me, ik repareer het. Maar als iemand me vraagt hoe effectief ik het gebruik, kan ik geen duidelijk antwoord geven. "Nou, het lijkt te helpen" — niet bepaald een solide maatstaf voor een ingenieur.

Het blijkt dat Microsoft zichzelf dezelfde vraag heeft gesteld. Een groep medewerkers heeft AI Engineering Coach open source gemaakt. Het is een tool die je lokale AI-interactielogs bekijkt en ze omzet in een analytics-dashboard. Geen data naar de cloud, alleen lokale post-mortem-analyse.

Wat is het eigenlijk

Het project is een VS Code-extensie (of canvas voor de GitHub Copilot-app) die je sessies analyseert. Het telt niet alleen het aantal verzoeken — het probeert de kwaliteit van je interactie met het neurale netwerk te beoordelen.

De tool is nuttig voor degenen die vastzitten op het niveau van "schrijf me een functie voor e-mailvalidatie" en het meeste uit AI-agents willen halen. Het benadrukt anti-patronen, vindt terugkerende vaardigheden en bouwt zelfs een kaart van de context van je project.

Vijf dingen die mijn aandacht trokken

Anti-patroondetector

De repository heeft ongeveer 45 ingebouwde regels die je sessiehygiëne controleren. Als je de AI bijvoorbeeld overspoelt met te lange en verwarrende prompts of vergeet de context op te ruimen, zal de "coach" het opmerken. Het toont een kaart met een probleembeschrijving en, nog belangrijker, suggereert specifieke acties om het op te lossen.

Verborgen vaardigheden finder

Vaak schrijven we dezelfde instructies in verschillende chats. Skill Finder analyseert deze herhalingen en suggereert om ze om te zetten in herbruikbare vaardigheden. Dit helpt om je persoonlijke coderingsstijl te formaliseren.

Contextanalyse

Dit is waarschijnlijk het meest nuttige deel voor het werken met complexe projecten. De tool evalueert Context Health — hoe goed de AI je werkruimtestructuur begrijpt. Het controleert instructiebestanden en projectgereedheid voor het werken met agents.

Activiteitsvisualisatie

Er zijn Gantt-stijl tijdlijnen. Je kunt zien op welk moment van de dag je het meest vaak de assistent raadpleegt en aan welke projecten je het meest intensief werkt. Er is zelfs een 24/7 activiteitsheatmap.

Gamificatie van leren

Ontwikkelaars hebben een achievement- en levelsysteem toegevoegd (van brons tot diamant). Er is zelfs een Learning Center-sectie die quizzen genereert op basis van je echte code en logs. Klinkt als een manier om routine om te zetten in personage-leveling.

Hoe het te draaien

Hier zit een addertje onder het gras: de extensie staat niet in de officiële marketplace. Microsoft positioneert dit als een community-experiment, dus je zult het bestand zelf moeten bouwen.

Als je Node.js hebt geïnstalleerd, ziet het proces er zo uit:

git clone https://github.com/microsoft/ai-engineering-coach.git
cd ai-engineering-coach
npm ci
npm run package

Daarna verschijnt er een extensiebestand in de map. Je kunt het installeren via console:

code --install-extension ai-engineer-coach-*.vsix

Of sleep het gewoon naar het VS Code-venster. Na installatie roep je het commandopalet op (Ctrl+Shift+P of Cmd+Shift+P) en zoek je naar AI Engineer Coach: Open Dashboard.

Waarom het de moeite waard is om te proberen

Het belangrijkste voordeel is privacy. Alle analyse vindt lokaal plaats op je machine. De extensie werkt in read-only modus en stuurt niets naar "huis." Het gebruikt de ingebouwde model-API's van VS Code alleen wanneer je zelf op de "analyseer"-knop drukt.

De tool is specifiek. Het zal geen code voor je schrijven, maar het zal je aan het denken zetten: "Voer ik het model te veel rommel?" Voor degenen die willen overstappen van eenvoudige chat naar bewust Agentic SDLC, is dit een geweldig startpunt.

Ik raad vooral aan om de Coding Moments-sectie te bekijken. Het is een galerij van screenshots van je sessies waarmee je letterlijk door je ontwikkelingsgeschiedenis kunt scrollen en begrijpen op welk punt er iets misging.

Voor wie is het

Het project zal zeker aanspreken bij degenen die van cijfers houden en hun workflows willen optimaliseren. Als je het gevoel hebt dat Copilot soms vastloopt, ligt het probleem misschien niet bij het model maar bij hoe je er taken aan toewijst. Deze "coach" helpt om zulke bottlenecks te vinden.

Het enige nadeel is de noodzaak van handmatig bouwen, maar voor een ontwikkelaar is dat waarschijnlijk geen barrière. Bovendien vind je er binnenin een Rule Editor waar je je eigen analyseregels in Markdown kunt schrijven en ze direct op je data kunt testen. Een constructor voor degenen die hun tools graag aanpassen.