Jak badacze testują zdolność sieci neuronowych do pisania prawdziwych exploitów

Sieci neuronowe już teraz piszą całkiem niezłe testy, znajdują typowe błędy i generują szablony kodu. Ale jeśli chodzi o praktyczne bezpieczeństwo informacji, zdania są podzielone. Jedni twierdzą, że agenci LLM wkrótce nauczą się samodzielnie hakować złożone systemy, inni odmachują z przekąsem. Aby przejść od spekulacji do mierzalnych liczb, badacze z Berkeley i inne zespoły udostępnili otwarty benchmark ExploitGym.

Przyjrzyjmy się, jak działa ten projekt, dlaczego potrzebujesz izolowanej infrastruktury wokół sieci neuronowych oraz co ten repozytorium daje badaczom bezpieczeństwa i deweloperom AI.

Czym jest ExploitGym

ExploitGym to środowisko testowe z 869 prawdziwymi podatnościami o różnym stopniu złożoności. Próba obejmuje nie syntetyczne ćwiczenia z podręczników, lecz rzeczywiste przypadki: narzędzia użytkownika, silnik Google V8 i jądro Linux.

Eksperyment jest prosty: dajemy agentowi autonomicznemu dostęp do środowiska i zadanie polegające na zdobyciu flagi poprzez wykorzystanie błędu. Głównym celem projektu jest obiektywny pomiar tego, jak dobrze współczesne LLM mogą odtwarzać i automatyzować działania atakujących na prawdziwym oprogramowaniu.

Repozytorium nie zawiera samych exploitów, lecz pełnoprawne środowisko do ich uruchamiania: obrazy Docker z podatnymi środowiskami, kontroler zadań, proxy do monitorowania żądań API do sieci neuronowych oraz izolującą zaporę sieciową.

Jak działa architektura benchmarku

Autorzy podeszli do bezpieczeństwa uruchamiania agentów z pełną rygorystycznością. Jeśli dasz modelowi językowemu terminal i polecenie „napisz exploit