Ein unauffälliger KI-Assistent direkt über Ihrem Bildschirm

Kürzlich bin ich auf ein interessantes Open-Source-Projekt namens cue gestoßen. Es ist eine kleine Anwendung, die als halbtransparentes Fenster über allen anderen Programmen schwebt, Gespräche mithört, Ihren Bildschirm beobachtet und Echtzeit-Hinweise gibt. Das Interessanteste daran ist nicht einmal die LLM-Integration, sondern wie sich das Tool bei Bildschirmfreigabe in Zoom, Google Meet oder Teams versteckt.

Wenn Sie kostenpflichtige Dienste wie Cluely oder Interview Coder kennen, wird Ihnen das Konzept vertraut vorkommen. Der Entwickler von cue hat sich entschieden, eine kostenlose Open-Source-Alternative (GPL-3.0-Lizenz) zu bauen, bei der Sie Ihren eigenen API-Schlüssel einbinden und Drittanbieter-Abonnements vermeiden.

So funktioniert dieser Assistent

Die Anwendung teilt eingehende Informationen in drei unabhängige Streams auf.

Erster Stream — Ihr Bildschirm. Das Tool macht einen Screenshot, wenn Sie eine Tastenkombination drücken oder eine Anfrage senden.

Zweiter Stream — Ihr Mikrofon. cue lauscht der Stimme des Computerbesitzers und transkribiert Sprache in Text.

Dritter Stream — Systemaudio (das, was die anderen Teilnehmer über Ihre Kopfhörer sagen). Unter Windows funktioniert die Systemaudio-Erfassung über Loopback ohne zusätzliche Konfiguration. Unter macOS ab Version 14.4 wird ScreenCaptureKit über Chromium-Flags verwendet.

Die Kanäle der Teilnehmer und des Benutzers werden separat verarbeitet, sodass das Modell genau weiß, wer welche Zeile gesagt hat. Anschließend wird der Kontext an das ausgewählte Sprachmodell gesendet, und die Antwort wird Wort für Wort direkt in das schwebende Fenster gestreamt.

Was cue alles kann

Die Benutzeroberfläche sieht aus wie ein kompaktes Glas-Panel. Der Bereich darum herum ist klickbar, sodass es nicht stört, wenn Sie Buttons in Ihrem Code-Editor oder Browser drücken.

Hier sind die wichtigsten Nutzungsszenarien:

• Aufgaben auf dem Bildschirm aufschlüsseln. Sie drücken eine Tastenkombination (standardmäßig Strg+H unter Windows oder Cmd+H unter macOS), und die App erfasst den Bildschirm mit Code oder Aufgabenbeschreibung und gibt Lösungsschritte, funktionierenden Code sowie Zeit- und Speicherkomplexitätsschätzungen aus.
• Dialoghinweise in Echtzeit. Die Schaltfläche „Was sollte ich sagen?