Scheda di appunti invisibile per colloqui tecnici - Analisi di OpenCluely

Immagina questo: sei in un colloquio tecnico online. Stai condividendo lo schermo su Zoom e il tuo cervello va in blackout su una rotazione di albero binario. Cercare su Google con un secondo monitor è rischioso, e distogliere lo sguardo dalla telecamera fa immediatamente sospettare l'intervistatore.

OpenCluely ha recentemente guadagnato popolarità su GitHub. È un assistente desktop visibile sullo schermo ma completamente nascosto dal software di registrazione e condivisione dello schermo.

Cosa può fare l'app

OpenCluely si posiziona come alternativa gratuita a Cluely. Funziona come app Electron che crea un overlay invisibile sopra le tue finestre.

Il focus principale dell'app è come interagisce con il software di videoconferenza. Quando attivi la condivisione dello schermo su Zoom, Google Meet, Microsoft Teams, o inizi a registrare su OBS, il flusso video semplicemente non include la finestra dell'assistente.

Le informazioni vengono fornite in due modi:

• Scatti uno screenshot del problema e il modello analizza l'immagine.
• Poni la tua domanda al microfono e il testo viene riconosciuto in tempo reale.

La risposta appare carattere per carattere in una piccola finestra mobile o chat mentre viene generata.

Come viene raggiunta l'invisibilità

Gli sviluppatori hanno sfruttato le API del sistema operativo per proteggere il contenuto dalla cattura.

Su macOS, questo è gestito dal parametro NSWindowSharingNone. Windows usa il flag WDA_EXCLUDEFROMCAPTURE. Electron imposta queste opzioni per la finestra dell'app, quindi gli screen grabber vedono solo ciò che sta sotto l'overlay.

Linux è una storia diversa. X11 e Wayland non hanno un flag simile del gestore di finestre. Gli autori avvertono onestamente nella documentazione: su Linux, l'overlay sarà visibile a tutti i partecipanti alla riunione. Come soluzione parziale, suggeriscono di trasmettere non l'intero desktop, ma una finestra specifica con il tuo editor di codice.

Voce e capacità multimodali senza passaggi extra

Per l'elaborazione di contenuti visivi, OpenCluely invia screenshot direttamente a Gemini. Non c'è coinvolgimento di riconoscimento OCR intermedio. Il modello multimodale prende l'immagine con il codice o l'enunciato del problema e costruisce la risposta direttamente.

Gli autori hanno anche lavorato sulla voce. Azure Speech o Whisper locale possono essere selezionati come motore vocale.

Whisper locale viene configurato automaticamente da uno script al primo avvio. L'input vocale non interrompe il flusso audio con un timer rigido. L'algoritmo traccia le pause naturali nel parlato, assemblando una frase lunga in una singola richiesta. Un filtro separato rimuove le allucinazioni di Whisper quando cerca di fabbricare parole inesistenti durante il silenzio completo.

Tasti di scelta rapida per il controllo

Per evitare di attirare l'attenzione con i movimenti del cursore, il controllo è basato sulla tastiera:

• Cmd/Ctrl + Shift + S apre la selezione dell'area per lo screenshot.
• Cmd/Ctrl + Shift + V nasconde o mostra istantaneamente tutte le finestre dell'assistente.
• Cmd/Ctrl + Shift + I o Alt + A abilita la modalità click-through in modo che il mouse ignori la finestra dei suggerimenti e faccia clic sugli elementi sottostanti.
• Alt + R avvia o ferma la registrazione del microfono.

Installazione e specifiche della piattaforma

L'app richiede una chiave API Gemini per funzionare. Puoi ottenerne una gratuitamente in Google AI Studio e inserirla nelle impostazioni dell'app o nel file .env.

Sono disponibili programmi di installazione pre-costruiti per Windows (come .exe) e Linux (pacchetti .deb e .AppImage).

macOS è una storia diversa. Non c'è un file .dmg pronto all'uso nei rilasci. L'app non è firmata con un certificato Apple, quindi il sistema di sicurezza Gatekeeper integrato la blocca dall'avvio normale. I proprietari di Mac dovranno compilare il progetto dal codice sorgente.

Il processo di compilazione è semplice. Avrai bisogno di Node.js e Git installati.

git clone https://github.com/TechyCSR/OpenCluely.git
cd OpenCluely
./setup.sh

Lo script setup.sh gestisce tutta la routine: installa le dipendenze NPM, configura un ambiente virtuale Python, scarica il modello Whisper e genera il file .env iniziale.

Vale la pena usarlo

Usare un tale software in colloqui reali è in una zona grigia etica. Se l'intervistatore inizia a fare domande di chiarimento sul codice o ti chiede di spiegare le tue decisioni, un suggerimento generato difficilmente ti salverà.

L'app è adatta per la pratica dei colloqui, la risoluzione di problemi LeetCode sotto vincoli di tempo e la riduzione dell'ansia riguardo alle sezioni sugli algoritmi.

Tra i punti di forza del progetto ci sono il codice open source, nessuna telemetria nascosta, la capacità di elaborare la voce localmente e un'attenta integrazione con le API di sistema.