Unsichtbare Karteikarte für technische Interviews – OpenCluely im Detail

Stell dir das vor: Du bist in einem Online-technischen Interview. Du teilst deinen Bildschirm in Zoom, und dein Gedächtnis setzt bei einer Binärbaum-Rotation aus. Googeln auf einem zweiten Monitor ist riskant, und wegzuschauen von der Kamera weckt sofort Verdacht beim Interviewer.

OpenCluely hat kürzlich auf GitHub an Popularität gewonnen. Es ist ein Desktop-Assistent, der auf dem Bildschirm für dich sichtbar ist, aber für Bildschirmaufnahme- und Bildschirmfreigabe-Software vollständig verborgen bleibt.

Was die App kann

OpenCluely positioniert sich als kostenlose Alternative zu Cluely. Es läuft als Electron-App, die einen unsichtbaren Overlay über deinen Fenstern erstellt.

Der Hauptfokus der App liegt auf der Interaktion mit Videokonferenz-Software. Wenn du die Bildschirmfreigabe in Zoom, Google Meet, Microsoft Teams aktivierst oder die Aufnahme in OBS startest, enthält der Videostream das Assistenten-Fenster einfach nicht.

Informationen werden auf zwei Arten bereitgestellt:

• Du machst einen Screenshot des Problems, und das Modell analysiert das Bild.
• Du sprichst deine Frage ins Mikrofon, und der Text wird in Echtzeit erkannt.

Die Antwort erscheint Zeichen für Zeichen in einem kleinen schwebenden Fenster oder Chat, während sie generiert wird.

Wie Unsichtbarkeit erreicht wird

Die Entwickler nutzten Betriebssystem-APIs, um Inhalte vor der Erfassung zu schützen.

Unter macOS wird dies durch den NSWindowSharingNone Parameter gehandhabt. Windows verwendet das WDA_EXCLUDEFROMCAPTURE Flag. Electron setzt diese Optionen für das App-Fenster, sodass Bildschirmaufnahmen nur das sehen, was sich unter dem Overlay befindet.

Linux ist eine andere Geschichte. X11 und Wayland fehlt ein ähnliches Fenster-Manager-Flag. Die Autoren warnen ehrlich in der Dokumentation: Unter Linux ist der Overlay für alle Meeting-Teilnehmer sichtbar. Als Teillösung schlagen sie vor, nicht den gesamten Desktop zu streamen, sondern ein bestimmtes Fenster mit deinem Code-Editor.

Sprach- und multimodale Fähigkeiten ohne zusätzliche Schritte

Für die Verarbeitung visueller Inhalte sendet OpenCluely Screenshots direkt an Gemini. Es ist keine zwischengeschaltete OCR-Texterkennung beteiligt. Das multimodale Modell nimmt das Bild mit Code oder Problembeschreibung und baut die Antwort direkt auf.

Die Autoren arbeiteten auch an der Spracherkennung. Azure Speech oder lokales Whisper kann als Sprach-Engine ausgewählt werden.

Lokales Whisper wird beim ersten Start automatisch durch ein Skript konfiguriert. Spracheingabe trennt den Audiostream nicht auf einem strengen Timer. Der Algorithmus verfolgt natürliche Pausen in der Sprache und setzt einen langen Satz zu einer einzigen Anfrage zusammen. Ein separater Filter entfernt Whisper-Halluzinationen, wenn es versucht, während vollständiger Stille nicht existierende Wörter zu erfinden.

Tastenkürzel zur Steuerung

Um keine Aufmerksamkeit durch Cursorbewegungen zu erregen, ist die Steuerung tastaturbasiert:

• Cmd/Ctrl + Shift + S öffnet die Flächenauswahl für den Screenshot.
• Cmd/Ctrl + Shift + V blendet alle Assistenten-Fenster sofort aus oder ein.
• Cmd/Ctrl + Shift + I oder Alt + A aktiviert den Click-Through-Modus, sodass die Maus das Hinweis-Fenster ignoriert und auf Elemente darunter klickt.
• Alt + R startet oder stoppt die Mikrofonaufnahme.

Installation und Plattform-Besonderheiten

Die App benötigt einen Gemini API-Schlüssel zum Funktionieren. Du kannst einen kostenlos in Google AI Studio erhalten und ihn in den App-Einstellungen oder in der .env Datei eingeben.

Vorgefertigte Installer sind für Windows (als .exe) und Linux (Pakete .deb und .AppImage) verfügbar.

macOS ist eine andere Geschichte. Es gibt keine fertige .dmg Datei in den Releases. Die App ist nicht mit einem Apple-Zertifikat signiert, daher blockiert das integrierte Gatekeeper-Sicherheitssystem sie am normalen Start. Mac-Besitzer müssen das Projekt aus dem Quellcode erstellen.

Der Build-Prozess ist unkompliziert. Du brauchst Node.js und Git installiert.

git clone https://github.com/TechyCSR/OpenCluely.git
cd OpenCluely
./setup.sh

Das setup.sh Skript erledigt die gesamte Routine: Es installiert NPM-Abhängigkeiten, richtet eine Python virtuelle Umgebung ein, lädt das Whisper-Modell herunter und generiert die initiale .env.

Lohnt es sich, es zu verwenden

Die Verwendung solcher Software in echten Interviews befindet sich in einer ethischen Grauzone. Wenn der Interviewer anfängt, klärende Fragen zum Code zu stellen oder dich bittest, deine Entscheidungen zu erklären, wird ein generierter Hinweis dich wahrscheinlich nicht retten.

Die App eignet sich gut für Interview-Übungen, das Lösen von LeetCode-Problemen unter Zeitdruck und die Reduzierung von Angst vor Algorithmus-Abschnitten.

Zu den Stärken des Projekts gehören Open-Source-Code, keine versteckte Telemetrie, die Fähigkeit, Sprache lokal zu verarbeiten, und sorgfältige Integration mit System-APIs.