Wie Forscher die Fähigkeit neuronaler Netze testen, echte Exploits zu schreiben

neuronale Netze schreiben bereits anständige Tests, finden typische Bugs und generieren Boilerplate-Code. Aber wenn es um praktische Informationssicherheit geht, gehen die Meinungen auseinander. Einige behaupten, dass LLM-Agenten schon bald komplexe Systeme autonom hacken lernen werden, während andere sie skeptisch abwinken. Um von spekulativen Debatten zu messbaren Zahlen zu gelangen, haben Forscher von Berkeley und anderen Teams den offenen Benchmark ExploitGym veröffentlicht.

Lassen Sie uns aufschlüsseln, wie dieses Projekt funktioniert, warum Sie isolierte Infrastruktur rund um neuronale Netze benötigen und was dieses Repository für Sicherheitsforscher und KI-Entwickler bietet.

Was ist ExploitGym

ExploitGym ist eine Testumgebung mit 869 echten Schwachstellen unterschiedlicher Komplexität. Die Stichprobe umfasst keine synthetischen Übungsaufgaben aus Lehrbüchern, sondern echte Fälle: Benutzerprogramme, die Google V8-Engine und den Linux-Kernel.

Das Experiment ist straightforward: Wir geben einem autonomen Agenten Zugriff auf eine Umgebung und eine Aufgabe, um ein Flag durch Bug-Ausnutzung zu erhalten. Das Hauptziel des Projekts ist die objektive Messung, wie gut moderne LLMs Angriffsaktionen auf realer Software reproduzieren und automatisieren können.

Das Repository enthält nicht die Exploits selbst, sondern ein vollständiges Test-Framework zu deren Ausführung: Docker-Images mit verwundbaren Umgebungen, einen Job-Controller, einen Proxy zur Überwachung von API-Anfragen an neuronale Netze und eine isolierende Firewall.

Wie die Benchmark-Architektur funktioniert

Die Autoren haben die Sicherheit beim Starten von Agenten mit aller Strenge angegangen. Wenn Sie einem Sprachmodell ein Terminal und den Befehl „schreibe einen Exploit" geben und es dann ins offene Internet entlassen, ist das eine schlechte Idee.

Die Systemarchitektur besteht aus vier Komponenten:

1. Controller. Das Backend, das Aufgaben an den Agenten vergibt, Tokens generiert und eingereichte Flags verifiziert. Es gibt keine hartcodierten Secrets im Repository: Der Controller generiert Salt und Keys dynamisch beim Start.
2. LLM Proxy. Eine Proxy-Schicht zwischen dem Agenten und den Modell-APIs (OpenAI, Anthropic und andere). Sie protokolliert den Token-Verbrauch, zeichnet Reasoning-Schritte auf und verfolgt Versuche des Agenten, über den Aufgabenbereich hinauszugehen.
3. Squid Firewall. Ein Container mit Squid blockiert unkontrollierten Zugriff des Agenten auf externe Netzwerke, sodass das Ausführen von Hunderten unverifizierter Skripte innerhalb der Sandbox-Grenzen bleibt.
4. Task-Container. Für jede Schwachstelle wird ein separates Docker-Image mit den notwendigen Binaries, dem GDB-Debugger und Hilfsprogrammen wie socat und netcat gebaut.

Schnellstart und Ausführung von Tests

Der Umgebungsaufbau hängt vom uv-Paketmanager und Docker ab. Für den grundlegenden Start benötigen Sie Python 3.10+, Docker und installierte API-Provider-Keys.

Ziehen Sie zunächst Dependencies und bauen Sie Artefakte:

# Установка зависимостей через uv
uv sync --extra proxy

# Сборка артефактов и распаковка данных
bash scripts/setup/setup_data.sh

# Проверка корректности установки
bash scripts/setup/validate.sh

Dann starten Sie die Firewall und laden Images für die Testaufgaben-Stichprobe herunter:

# Образ файрвола
docker pull ubuntu/squid:latest

# Загрузка Docker-образов для выбранного списка задач
uv run scripts/setup/pull_images.py data/task_ids/sample.txt

Anschließend startet das Pre-Flight-Check-Skript pre_run.py, das Controller, Firewall und Proxy hochfährt. Das Skript gibt generierte Umgebungsvariablen im Terminal aus, die der Agent benötigt:

export OPENAI_API_KEY="ваш-ключ"
export ANTHROPIC_API_KEY="ваш-ключ"

# Запуск инфраструктуры
uv run scripts/setup/pre_run.py data/task_ids/sample.txt

# Экспорт сгенерированных секретов контроллера
export CYBERGYM_ADMIN_KEY=...
export CYBERGYM_SERVER_SALT=...
export CYBERGYM_SERVER_FLAG_SEED=...
export CYBERGYM_SERVER_API_KEY=...

# Старт тестового агента
uv run examples/run_agent.py --help

Wenn der Agent die Schwachstelle erfolgreich ausnutzt und die Zieldatei liest, zählt der Controller die Lösung als gültig.

Praktischer Nutzen für Entwickler

Der Benchmark ist für zwei Gruppen von Spezialisten nützlich:

1. KI-Agenten-Entwickler. Wenn Sie ein System für Code-Schreiben oder autonomes Debugging aufbauen, bietet ExploitGym einen harten Stresstest. Die Fähigkeit, einen komplexen Kernel-Memory-Bug zu entwirren, erfordert tiefen Kontext vom Modell, Debugger-Arbeit und den Aufbau langer Ketten logischer Schlussfolgerungen.
2. Cybersecurity-Forscher. Die Plattform ermöglicht die Bewertung realer Risiken der Nutzung von LLMs in offensiven Szenarien ohne Spekulation. Aus den Benchmark-Daten können Sie verstehen, welche Schwachstellenklassen neuronale Netze bereits autonom bearbeiten und wo sie hoffnungslos in Halluzinationen steckenbleiben.

Zusammenfassung

ExploitGym ist interessant als Beispiel für Engineering-Infrastruktur zum sicheren Testen autonomer Agenten. Wenn Sie Model-Benchmarking für Code-Analyse durchführen oder die Grenzen von LLM-Fähigkeiten in der Systemprogrammierung erkunden, lohnt es sich definitiv, das Projekt zu klonen und an Beispielen aus data/task_ids/sample.txt auszuführen.