Agent GCSA osiąga 91,3% w CyberGym i trafia do światowej czołówki agentów AI ds. cyberbezpieczeństwa

Agent GCSA demonstruje autonomiczną analizę podatności i możliwości generowania PoC w ramach wysoce wymagającego benchmarku podatności w rzeczywistym świecie

Globalna Sojusz Cyberbezpieczeństwa (GCSA) ogłosiła dzisiaj, że Agent GCSA osiągnął 91,3% wskaźnik sukcesu w benchmarku CyberGym, co plasuje go w kategorii „Wiodące systemy powyżej 90%”.

CyberGym to duża skala, rzeczywista ramy oceny cyberbezpieczeństwa opracowana przez zespół badawczy na Uniwersytecie Kalifornijskim w Berkeley. Zawiera 1 507 historycznych przypadków testowych podatności w rzeczywistym świecie w 188 głównych projektach oprogramowania i jest zaprojektowany do oceny praktycznych możliwości agentów AI w scenariuszach analizy podatności w rzeczywistym świecie.

W przeciwieństwie do tradycyjnych benchmarków AI, które głównie oceniają zrozumienie kodu, odpowiadanie na pytania oparte na wiedzy lub analizę statyczną, CyberGym wymaga, aby agenci AI pracowali bezpośrednio w rzeczywistych środowiskach kodu podatnego.

W swojej istocie Poziom 1 oceny, agent AI otrzymuje jedynie opis podatności oraz niezałatany repozytorium kodu. Musi następnie autonomicznie przeprowadzić analizę kodu, zlokalizować podatność, rozważyć potencjalne ścieżki ataku, skonstruować PoC i wykonać go w celu walidacji. Zadanie uznaje się za udane tylko wtedy, gdy wygenerowany PoC skutecznie wyzwala docelową podatność w podatnej wersji, jednocześnie nie reprodukując problemu w wersji załatanej.

CyberGym zatem mierzy więcej niż to, czy system AI potrafi po prostu „rozumieć kod”. Ocenia, czy AI potrafi zakończyć cały proces od analizy bezpieczeństwa po reprodukcję i walidację podatności.

Od dużych modeli językowych do agentów bezpieczeństwa

W tej ocenie CyberGym, agent GCSA działał na modelach Grok 4.5 i Grok 4.6 i osiągnął ostateczny wskaźnik sukcesu wynoszący 91.3%.

Wynik odzwierciedla również ważną zmianę, która ma miejsce w cyberbezpieczeństwie AI:

Sam podstawowy duży model językowy już nie determinuje ostatecznych możliwości bezpieczeństwa systemu.

Badania nad lukami w zabezpieczeniach w rzeczywistym świecie zazwyczaj wymagają ciągłej sekwencji zadań, w tym zrozumienia opisów luk, przeszukiwania dużych baz kodu, identyfikowania powierzchni ataku, formułowania hipotez dotyczących luk, generowania danych testowych, wykonywania programów, analizowania informacji zwrotnych i wielokrotnego iterowania nad PoC.

Agent GCSA jest zbudowany wokół agentowego przepływu pracy w zakresie bezpieczeństwa, zaprojektowanego w celu wsparcia tego procesu od początku do końca.

Jego celem nie jest jedynie wykorzystanie dużego modelu językowego do analizy kodu, ale umożliwienie AI działania w rzeczywistych środowiskach wykonawczych, autonomiczne formułowanie hipotez dotyczących problemów z bezpieczeństwem, zbieranie dowodów w czasie rzeczywistym, wykonywanie testów i ostateczne weryfikowanie ustaleń dotyczących bezpieczeństwa poprzez powtarzalne wyniki.

Ocena CyberGym dostarcza ilościowego zewnętrznego punktu odniesienia dla tych możliwości.

Możliwości badań nad lukami w zabezpieczeniach w rzeczywistym świecie

Podstawową wartością CyberGym jest zmniejszenie luki między tradycyjnym testowaniem AI a badaniami nad bezpieczeństwem w rzeczywistym świecie.

Jego środowisko oceny przywraca projekty oprogramowania do ich stanu przed łatkami, w którym występują luki. Agent AI może potrzebować autonomicznie zidentyfikować problem w dużej bazie kodu zawierającej tysiące plików i miliony linii kodu, a ostatecznie wygenerować PoC zdolny do rzeczywistego wywołania luki.

Co ważniejsze, dalsze badania CyberGym wykazały, że takie agentowe możliwości bezpieczeństwa nie ograniczają się do reprodukcji znanych luk.

W eksperymentach badawczych dotyczących podatności o otwartym zakończeniu, agenci AI zidentyfikowali wiele wcześniej nieznanych podatności zero-day oraz historyczne poprawki zabezpieczeń, które nie rozwiązały w pełni podstawowych podatności. Te odkrycia pokazują potencjał technologii autonomicznej analizy podatności do ewolucji od reprodukcji znanych podatności w kierunku odkrywania rzeczywistych luk w zabezpieczeniach.

Dla GCSA oznacza to jeszcze ważniejszy kierunek rozwoju.

Wydajność benchmarkowa nie jest celem końcowym.

GCSA ma na celu dalszy rozwój agentów bezpieczeństwa AI zdolnych do działania w rzeczywistych środowiskach cyberbezpieczeństwa i stopniowego uczestnictwa w pełnym cyklu życia zabezpieczeń, od odkrywania i analizy podatności po walidację i późniejsze usuwanie.

Budowanie zdolności cyberbezpieczeństwa natywnych dla AI

W miarę jak sztuczna inteligencja przyspiesza rozwój oprogramowania, AI również przekształca sposób, w jaki badane są podatności i jak adresowane są zagrożenia cybernetyczne.

W miarę jak systemy oprogramowania nadal rosną pod względem skali i złożoności, następna generacja cyberbezpieczeństwa będzie coraz bardziej zależała od współpracy między ludzkimi ekspertami ds. bezpieczeństwa a autonomicznymi agentami AI.

Agenci bezpieczeństwa AI mają potencjał, aby pomóc zespołom bezpieczeństwa:

• Zidentyfikuj luki w oprogramowaniu z rzeczywistym potencjałem do wykorzystania na wcześniejszym etapie;
• Automatycznie analizuj złożone ścieżki ataków w dużych bazach kodu;
• Automatycznie generuj PoC i przeprowadzaj walidację luk na poziomie wykonania;
• Zredukuj fałszywe alarmy w tradycyjnej detekcji bezpieczeństwa dzięki rzeczywistym wynikom wykonania;
• Przyspiesz ocenę luk, walidację i usuwanie;
• Rozszerz zakres oprogramowania i systemów, które zespoły specjalistyczne ds. bezpieczeństwa mogą objąć.

Wynik GCSA Agenta 91,3% na CyberGym stanowi ważny kamień milowy w rozwoju możliwości cyberbezpieczeństwa opartych na AI przez GCSA.

W przyszłości GCSA będzie kontynuować badania nad autonomiczną analizą luk, agentami bezpieczeństwa AI oraz inteligentnymi technologiami cyberbezpieczeństwa, dalej przekładając możliwości AI na rzeczywiste zdolności bezpieczeństwa i zapewniając wsparcie techniczne dla bezpieczniejszego, bardziej godnego zaufania i bardziej odpornego środowiska cyfrowego.

Źródło:GCSA Global Cybersecurity Alliance
Oficjalna strona internetowa: www.gcsa.org

Źródło: BeInCrypto