Fiche de notes invisible pour entretiens techniques - Décryptage d'OpenCluely

Imaginez ceci : vous êtes lors d'un entretien technique en ligne. Vous partagez votre écran sur Zoom, et votre esprit se vide sur une rotation d'arbre binaire. Googler sur un second moniteur est risqué, et détourner le regard de la caméra soulève immédiatement des soupçons chez l'intervieweur.

OpenCluely a récemment gagné en popularité sur GitHub. C'est un assistant de bureau visible pour vous à l'écran mais complètement masqué des logiciels d'enregistrement d'écran et de partage d'écran.

Ce que l'application peut faire

OpenCluely se positionne comme une alternative gratuite à Cluely. Elle fonctionne comme une application Electron qui crée un calque invisible au-dessus de vos fenêtres.

L'objectif principal de l'application est son interaction avec les logiciels de visioconférence. Lorsque vous activez le partage d'écran dans Zoom, Google Meet, Microsoft Teams, ou lancez un enregistrement dans OBS, le flux vidéo omet simplement la fenêtre de l'assistant.

Les informations sont transmises de deux manières :

• Vous prenez une capture d'écran du problème, et le modèle analyse l'image.
• Vous énoncez votre question dans le microphone, et le texte est reconnu en temps réel.

La réponse apparaît caractère par caractère dans une petite fenêtre flottante ou un chat au fur et à mesure de sa génération.

Comment l'invisibilité est obtenue

Les développeurs ont exploité les API du système d'exploitation pour protéger le contenu de la capture.

Sur macOS, cela est géré par le paramètre NSWindowSharingNone. Windows utilise l'indicateur WDA_EXCLUDEFROMCAPTURE. Electron définit ces options pour la fenêtre de l'application, de sorte que les captureurs d'écran ne voient que ce qui se trouve sous le calque.

Linux raconte une autre histoire. X11 et Wayland n'ont pas d'indicateur similaire pour le gestionnaire de fenêtres. Les auteurs mettent honnêtement en garde dans la documentation : sous Linux, le calque sera visible par tous les participants à la réunion. Comme solution partielle, ils suggèrent de diffuser non pas l'ensemble du bureau, mais une fenêtre spécifique avec votre éditeur de code.

Fonctionnalités vocales et multimodales sans étapes supplémentaires

Pour le traitement du contenu visuel, OpenCluely envoie les captures d'écran directement à Gemini. Aucune reconnaissance OCR intermédiaire n'est impliquée. Le modèle multimodal prend l'image avec le code ou l'énoncé du problème et construit la réponse directement.

Les auteurs ont également travaillé sur la parole. Azure Speech ou Whisper local peuvent être sélectionnés comme moteur vocal.

Whisper local est configuré automatiquement par un script au premier lancement. L'entrée vocale ne coupe pas le flux audio sur un minuteur strict. L'algorithme suit les pauses naturelles dans la parole, assemblant une longue phrase en une seule requête. Un filtre distinct supprime les hallucinations de Whisper lorsqu'il essaie de fabriquer des mots inexistants pendant un silence complet.

Raccourcis clavier pour le contrôle

Pour éviter d'attirer l'attention avec les mouvements du curseur, le contrôle est basé sur le clavier :

• Cmd/Ctrl + Shift + S ouvre la sélection de zone pour la capture d'écran.
• Cmd/Ctrl + Shift + V masque ou affiche instantanément toutes les fenêtres de l'assistant.
• Cmd/Ctrl + Shift + I ou Alt + A active le mode clic transparent afin que la souris ignore la fenêtre d'indice et clique sur les éléments en dessous.
• Alt + R démarre ou arrête l'enregistrement du microphone.

Installation et spécificités de la plateforme

L'application nécessite une clé API Gemini pour fonctionner. Vous pouvez en obtenir une gratuitement dans Google AI Studio et la saisir dans les paramètres de l'application ou dans le fichier .env.

Des installateurs pré-construits sont disponibles pour Windows (sous forme de .exe) et Linux (paquets .deb et .AppImage).

macOS raconte une autre histoire. Il n'y a pas de fichier .dmg prêt à l'emploi dans les versions. L'application n'est pas signée avec un certificat Apple, donc le système de sécurité Gatekeeper intégré la bloque au lancement normal. Les propriétaires de Mac devront compiler le projet depuis les sources.

Le processus de compilation est simple. Vous aurez besoin de Node.js et Git installés.

git clone https://github.com/TechyCSR/OpenCluely.git
cd OpenCluely
./setup.sh

Le script setup.sh gère toute la routine : installe les dépendances NPM, configure un environnement virtuel Python, télécharge le modèle Whisper et génère le fichier .env initial.

Cela vaut-il la peine d'être utilisé

L'utilisation d'un tel logiciel dans de véritables entretiens se situe dans une zone grise éthique. Si l'intervieweur commence à poser des questions éclairantes sur le code ou vous demande d'expliquer vos décisions, un indice généré ne vous sauvera probablement pas.

L'application est bien adaptée à la pratique des entretiens, à la résolution de problèmes LeetCode sous contrainte de temps et à la réduction de l'anxiété concernant les sections algorithmiques.

Parmi les points forts du projet : le code source ouvert, l'absence de télémétrie cachée, la capacité de traiter la voix localement et une intégration soignée avec les API système.