Como Pesquisadores Testam a Capacidade de Redes Neurais de Escrever Exploits Reais

Redes neurais já escrevem testes decentes, encontram bugs típicos e geram boilerplate. Mas quando se trata de segurança da informação prática, as opiniões divergem. Alguns afirmam que agentes de LLM logo aprenderão a hackear sistemas complexos de forma autônoma, enquanto outros os descartam com ceticismo. Para passar de debates especulativos para números mensuráveis, pesquisadores da Berkeley e de outras equipes lançaram o benchmark aberto ExploitGym.

Vamos detalhar como este projeto funciona, por que você precisa de infraestrutura isolada ao redor de redes neurais, e o que este repositório oferece a pesquisadores de segurança e desenvolvedores de IA.

O Que é o ExploitGym

ExploitGym é um ambiente de teste com 869 vulnerabilidades reais de complexidade variada. A amostra inclui não exercícios didáticos sintéticos, mas casos reais: utilitários de usuário, motor Google V8 e o kernel Linux.

O experimento é direto: damos a um agente autônomo acesso a um ambiente e uma tarefa para obter uma flag através da exploração de bugs. O objetivo principal do projeto é medir objetivamente o quanto LLMs modernas conseguem reproduzir e automatizar ações de atacantes em software real.

O repositório não contém os exploits em si, mas uma estrutura completa para executá-los: imagens Docker com ambientes vulneráveis, um controlador de tarefas, um proxy para monitorar requisições de API para redes neurais, e um firewall de isolamento.

Como Funciona a Arquitetura do Benchmark

Os autores abordaram a segurança do lançamento de agentes com total rigor. Se você der a um modelo de linguagem um terminal e o comando "escreva um exploit", liberá-lo na internet aberta é uma má ideia.

A arquitetura do sistema consiste em quatro componentes:

1. Controller. O backend que emite tarefas para o agente, gera tokens e verifica flags submetidas. Não há segredos hardcoded no repositório: o controller gera salt e chaves dinamicamente na inicialização.
2. LLM Proxy. Uma camada de proxy entre o agente e as APIs de modelos (OpenAI, Anthropic e outros). Ele registra o consumo de tokens, salva os passos de raciocínio e rastreia tentativas do agente de sair do escopo da tarefa.
3. Squid Firewall. Um container com Squid que bloqueia o acesso não controlado do agente a redes externas, para que a execução de centenas de scripts não verificados permaneça dentro dos limites do sandbox.
4. Task containers. Para cada vulnerabilidade, uma imagem Docker separada é construída com os binários necessários, depurador GDB e utilitários auxiliares como socat e netcat.

Início Rápido e Execução de Testes

A construção do ambiente depende do gerenciador de pacotes uv e do Docker. Para inicialização básica, você precisará de Python 3.10+, Docker e chaves de provedores de API instaladas.

Primeiro, baixe as dependências e construa os artefatos:

# Установка зависимостей через uv
uv sync --extra proxy

# Сборка артефактов и распаковка данных
bash scripts/setup/setup_data.sh

# Проверка корректности установки
bash scripts/setup/validate.sh

Depois levante o firewall e baixe as imagens para a amostra de tarefas de teste:

# Образ файрвола
docker pull ubuntu/squid:latest

# Загрузка Docker-образов для выбранного списка задач
uv run scripts/setup/pull_images.py data/task_ids/sample.txt

Após isso, o script de verificação pré-voo pre_run.py é iniciado, que levanta o controller, firewall e proxy. O script emitirá variáveis de ambiente geradas no terminal que o agente precisará:

export OPENAI_API_KEY="ваш-ключ"
export ANTHROPIC_API_KEY="ваш-ключ"

# Запуск инфраструктуры
uv run scripts/setup/pre_run.py data/task_ids/sample.txt

# Экспорт сгенерированных секретов контроллера
export CYBERGYM_ADMIN_KEY=...
export CYBERGYM_SERVER_SALT=...
export CYBERGYM_SERVER_FLAG_SEED=...
export CYBERGYM_SERVER_API_KEY=...

# Старт тестового агента
uv run examples/run_agent.py --help

Se o agente explorar com sucesso a vulnerabilidade e ler o arquivo alvo, o controller conta a solução como válida.

Valor Prático para Desenvolvedores

O benchmark será útil para dois grupos de especialistas:

1. Desenvolvedores de agentes de IA. Se você está construindo um sistema para escrita de código ou depuração autônoma, o ExploitGym fornece um teste de estresse rigoroso. A capacidade de desembaraçar um bug complexo de memória do kernel requer contexto profundo do modelo, trabalho com depurador e construção de longas cadeias de inferência lógica.
2. Pesquisadores de cibersegurança. A plataforma permite avaliar riscos reais do uso de LLMs em cenários ofensivos sem especulação. A partir dos dados do benchmark, você pode entender quais classes de vulnerabilidade redes neurais já manipulam de forma autônoma, e onde elas se atolam sem esperança em alucinações.

Resumo

ExploitGym é interessante como exemplo de engenharia de infraestrutura para teste seguro de agentes autônomos. Se você está fazendo benchmarking de modelos para análise de código ou explorando os limites das capacidades de LLMs em programação de sistemas, o projeto definitivamente vale a pena clonar e executar em exemplos do data/task_ids/sample.txt.