So verbinden Sie ein neuronales Netzwerk mit einem echten Browser über Browser Harness

Jeder, der versucht hat, das Web mit Sprachmodellen zu automatisieren, kennt diesen Schmerz. Der Agent beginnt fröhlich Buttons zu klicken, bleibt aber beim ersten nicht-standardisierten Eingabefeld oder kniffligen Captcha hängen. Traditionelle Frameworks bieten einen starren Satz von Tools: klicken, tippen, scrollen. Wenn die erforderliche Aktion nicht im Code des Agenten vorhanden ist, scheitert die Aufgabe.

Das browser-use Team verfolgt im browser-harness Projekt einen anderen Ansatz. Anstatt alle möglichen Webseiten-Szenarien im Voraus zu antizipieren, haben sie einen Wrapper erstellt, der ein LLM mit Ihrem echten Browser über das Chrome DevTools Protocol (CDP) verbindet und dem Modell die Fähigkeit gibt, fehlende Funktionen bei Bedarf zu schreiben.

Was ist die Idee hinter dem selbstlernenden Wrapper

Ein regulärer Browser-Agent arbeitet isoliert. Er erhält einen isolierten headless Browser ohne gespeicherte Sitzungen, Cookies oder Autorisierungen. Dadurch geht die Hälfte der Zeit dafür drauf, sich einzuloggen.

Browser Harness verbindet sich direkt mit Ihrem laufenden Chrome über den Debug-Port. Das Modell sieht sofort offene Tabs, Ihre Profile und die funktionierende Umgebung.

Der interessanteste Teil liegt in der Code-Handling-Mechanik:

1. Der Agent erhält eine Aufgabe, zum Beispiel das Herunterladen der letzten zwanzig Videos von einem Social-Media-Profil oder das Ausfüllen eines komplexen Formulars mit einer Datei-Drop-Zone.
2. Das Modell prüft die lokale Datei agent-workspace/agent_helpers.py. Wenn es keine geeignete Funktion für die Arbeit mit dem Element gibt, schreibt der Agent selbst ein Hilfsskript.
3. Das Skript wird sofort im Seitenkontext ausgeführt. Wenn es erfolgreich funktioniert, wird die Funktion im Workspace gespeichert.
4. Bei der nächsten ähnlichen Aufgabe erfindet der Agent das Rad nicht neu, sondern verwendet die zuvor geschriebene Hilfsfunktion.

Gleichzeitig bleibt der Kern der Bibliothek selbst im src/browser_harness/ Ordner vor Änderungen geschützt. Das Modell erweitert nur seinen eigenen lokalen Workspace, sodass das Risiko, die Kernlogik zu brechen, minimal ist.

Wie der Start funktioniert

Das Projekt ist eng mit agentic Development Environments wie Claude Code oder Codex integriert. Um zu starten, geben Sie Ihrem Assistant einfach einen fertigen Installationsprompt:

Install or upgrade browser-harness to the latest stable version with uv using Python 3.12, register the skill from `browser-harness skill`, and connect it to my browser. Ask whether I want local browser recordings enabled; default to no and preserve my existing preference on upgrades. Follow https://github.com/browser-use/browser-harness/blob/main/install.md if setup or connection fails.

Nach dem Ausführen des Befehls öffnet sich der chrome://inspect/#remote-debugging Tab. Dort müssen Sie das Remote-Debugging-Kästchen aktivieren, damit der Agent Zugang zum CDP WebSocket erhält:

Der gesamte Stack wird von drei klaren Dateien zusammengehalten:

• Die install.md Anleitung übernimmt die initiale Verbindung zum Browser über den Debug-Port.
• Die SKILL.md Datei beschreibt Interaktionsmuster mit Seiten für das LLM.
• Module im src/browser_harness/ Verzeichnis halten einen persistenten Socket aufrecht und leiten Befehle weiter.

Was steckt drin und welche Technologien werden verwendet

Unter der Haube verwendet das Projekt Python 3.12 und den uv Paketmanager. Die Sitzungsverwaltung nutzt eine direkte WebSocket-Verbindung zu CDP, ohne schwere Wrapper wie Selenium.

Dieser Ansatz bietet zwei praktische Vorteile:

• Minimale Latenz bei der Übertragung von Input-Events, Scrollen und Klicks.
• Voller Zugriff auf DOM, Netzwerkanfragen und Browser-Speicher, ohne zusätzliche Bridges einrichten zu müssen.

Wenn Sie Dutzende von Aufgaben parallel ausführen müssen, bieten die Ersteller die Browser Use Cloud Infrastruktur mit fertigen Proxies, Bot-Detektor-Schutz und Captcha-Lösung an. Für alltägliche lokale Ausführungen in Ihrem eigenen Browser ist das jedoch mehr als ausreichend.

Praktische Anwendungsfälle

Wo ein solches Tool wirklich Zeit spart:

• Daten sammeln von privaten Dashboards, wo es keine öffentliche API gibt und Zwei-Faktor-Authentifizierung eingerichtet ist. Sie autorisieren einmal manuell und übergeben den routinemäßigen Berichts-Export an den Agenten.
• Massive Medien-Downloads. Der Agent öffnet die Seite, scrollt durch den Feed, findet die notwendigen Video-Player-Selektoren und speichert Dateien in einem lokalen Ordner.
• Layouts und Benutzerszenarien testen. Der Agent durchläuft die User Journey, schreibt selbst fehlende Checks und speichert sie in Helpers.
• Wiederkehrende Formulare in Corporate CRM-Systemen ausfüllen, wenn Sie einen Stapel Daten aus einer Tabelle übertragen müssen.

Lohnt es sich, es zu probieren

Wenn Sie aktiv agentic CLI-Tools wie Claude Code nutzen und es leid sind, Daten manuell von Seiten in das Terminal zu kopieren, ist das Projekt definitiv einen Versuch wert. Das Konzept, bei dem der Agent sein Toolkit durch persistente Helper selbst erweitert, wirkt viel tragfähiger als das endlose Aufblähen des System-Prompts.

Als Nachteil sei angemerkt, dass das Projekt sorgfältige Aufmerksamkeit für Sicherheit erfordert: Indem Sie einem LLM Zugang zu Ihrem Hauptbrowser gewähren, teilen Sie alle offenen Sitzungen. Für Experimente ist es daher klüger, ein separates Chrome-Profil ohne verknüpfte Bankkarten und kritische Dienste zu erstellen. Beginnen Sie mit einfachen Parsing-Szenarien, beobachten Sie, wie der Agent seine ersten Funktionen in agent_helpers.py generiert, und bewerten Sie, wie gut dieses Format in Ihren gewohnten Stack passt.