KI-Agenten zum Testen von Hypothesen und Ausführen von Benchmarks mit OpenResearch

Machine-Learning- und algorithmische Experimente folgen typischerweise einem repetitiven Zyklus. Man liest ein neues Paper auf arXiv, kommt auf eine Architekturmodifikation, erstellt einen neuen Git-Branch, startet das Training und wartet auf die Plots. Wenn die Idee nicht funktioniert hat, verwirft man die Änderungen und versucht es erneut. Nach ein paar Wochen sammeln sich ein Dutzend aufgegebene Branches im Repository an, und der Kopf ist voll von verwickelten Parametern und Metriken.

Das alphaXiv-Team hat OpenResearch (Utility orx) veröffentlicht. Das Projekt zielt darauf ab, diesen Zyklus zu automatisieren. Die Idee ist, Coding-Agenten wie Claude Code, Codex oder OpenCode in Forscher zu verwandeln, die eigenständig Literatur studieren, Code in isolierten Branches modifizieren, Tests ausführen und Artefakte protokollieren.

Wie es funktioniert

OpenResearch verfolgt einen Local-First-Ansatz. Die gesamte SQLite-Datenbank, der Ausführungsverlauf, Logs und der Experimentbaum befinden sich lokal auf deinem Rechner. Der Quellcode ist in Rust geschrieben, sodass die CLI schnell läuft und keine schwere Runtime mit sich bringt.

Die Entwickler bieten ein Cloud-Konto nur für Team-Zusammenarbeit oder das Anmieten ihres vorkonfigurierten Server-Pools an. Für persönliche Ausführungen muss nichts irgendwohin gesendet werden.

Das Tool adressiert vier Haupt-Herausforderungen der automatisierten Forschung:

• Parallele Branches via Git Worktree. Wenn du einem Agenten mehrere Aufgaben gleichzeitig gibst, wird das Projekt nicht zum Chaos aus Konflikten. Jede Richtung erhält einen isolierten Working Tree.
• Experimentbaum. Jede Ausführung ist eng mit einem Commit, Diffs, Metriken und generierten Dateien verknüpft. Ergebnisse werden in unveränderlicher Form gespeichert.
• Flexible Infrastrukturauswahl. Derselbe Code-Snapshot läuft auf einer lokalen CPU, einem Remote-Server via SSH oder in Slurm-, Ray-, Kubernetes- und Modal-Clustern.
• Integration mit wissenschaftlichen Quellen. Der Agent kann nach Papers anhand von Schlüsselwörtern suchen und Publikationen direkt via DOI oder arXiv-Identifier herunterladen.

Einen Workspace starten

Du kannst das Tool auf macOS oder Linux mit einem Terminal-Skript installieren:

curl -LsSf https://openresearch.sh/install.sh | sh
orx up

Der Befehl orx up startet einen lokalen Server und öffnet das Web-Dashboard unter der Adresse http://127.0.0.1:4791. Wenn du grafische Oberflächen ohne Browser bevorzugst, gibt es eine fertige Desktop-Anwendung im Projekt.

Wenn du schwere Berechnungen auf einer Remote-GPU-Maschine ausführen musst, wird der Workspace via SSH gestartet:

orx up --remote user@gpu-box

In diesem Modus lauscht der Dienst auf dem lokalen Interface auf dem Remote-Server. Du musst keine Ports nach außen öffnen. Aber behalte einen Detail im Hinterkopf: Es gibt keine eingebaute Authentifizierung auf der Remote-Instanz, sodass jeder Benutzer mit Zugriff auf diese Maschine sich mit dem offenen Port verbinden kann.

Agenten verbinden

Um dem Agenten, den du verwendest, Befehle für die Arbeit mit dem Repository zu geben, führe die Skills-Installation aus:

orx install-skills

Anschließend versteht der Agent den Kontext von Forschungsaufgaben und führt spezifische Befehle aus:

# Поиск релевантных статей
orx discover keyword "mixture of experts routing"

# Загрузка конкретной публикации
orx paper 2401.12345

# Запуск эксперимента и просмотр логов
orx exp run exp_01h8abc
orx logs run_01h8xyz

Im autonomen Suchmodus (autoresearch) formuliert der Agent selbst eine Hypothese, nimmt Code-Änderungen vor, führt einen Durchlauf aus, liest Metriken aus den Logs und entscheidet, wie es weitergeht.

Datenschutz und Telemetrie

Release-Builds der CLI senden standardmäßig anonymisierte Nutzungsstatistiken, die mit einer zufälligen Installations-ID gesalzen werden. Dies umfasst keine Dateipfade, Repository-Namen, Tokens oder Prompt-Inhalte.

Wenn du keine Metriken-Sammlung benötigst, kann die Telemetrie mit einem Befehl einfach deaktiviert werden:

orx telemetry off

In Builds, die direkt aus dem Quellcode kompiliert wurden, ist das Senden von Analysen standardmäßig deaktiviert.

Einschränkungen und Fallstricke

Das Projekt ist frisch, mit rund 600 Stars im Repository. Die Dokumentation ist an manchen Stellen knapp, sodass du in den Code eintauchen musst, um den Zweck bestimmter Parameter zu verstehen.

Der zweite Punkt betrifft autonome Zyklen. Wenn du einen Agenten über Nacht sich selbst überlässt, kann er leicht dein gesamtes API-Token-Guthaben ausgeben, während er versucht, Bibliotheksinkompatibilitäten in Tests zu beheben. Es ist klüger, das Setup zuerst mit kurzen Iterationen und expliziten Limits für die Anzahl der Schritte zu testen.

Für wen ist das Projekt gedacht

OpenResearch lohnt sich für ML-Ingenieure und Forscher, die es leid sind, manuell Tabellen mit Ausführungsergebnissen zu pflegen und Branches in Git zu wechseln. Das Tool bietet ein praktisches Framework, das Terminal, Remote-Server-Ausführung und Paper-Lesefähigkeiten in einem einzigen Workflow vereint.

Der Quellcode ist unter der MIT-Lizenz offen, und das Repository ist auf GitHub verfügbar: alphaXiv/openresearch-cli.