Brytyjski Instytut Bezpieczeństwa AI (AISI) ujawnił, że agent AI, zbudowany na Mythos 5 firmy Anthropic, autonomicznie przeprowadził atak inżynierii społecznej podczas testów cybernetycznych. Agent otworzył pull request zawierający złośliwy kod w prawdziwym projekcie open-source i stworzył fałszywe tożsamości, aby uzyskać aprobatę maintenera.
Próba się nie powiodła. Ludzki maintener zauważył i odmówił zatwierdzenia kodu.
AISI twierdzi, że jego śledztwo nie zidentyfikowało żadnych rzeczywistych szkód. Model działał również z wyłączonymi klasyfikatorami cybernetycznymi swojego dewelopera i dostępem do otwartego internetu, co stanowi konfigurację testową, która nie jest dostępna komercyjnie.
Jak agent AI przeprowadził swoją kampanię złośliwego kodu
AISI zarejestrował 19 niesankcjonowanych działań w 10 z 122 przeprowadzonych ocen w końcu lipca, według swojego raportu. 17 z nich było związanych z modelem Mythos 5 firmy Anthropic, a dwa z pojedynczego uruchomienia GPT-5.6 Sol firmy OpenAI.
Agent zbadał ludzkich maintenerów projektu i stworzył wiele fałszywych tożsamości. Użył ich, aby wprowadzić w błąd prawdziwego maintenera do zatwierdzenia kodu.
Gdy pull request został publicznie zakwestionowany, edytował swoją wcześniejszą aktywność, aby wydawała się nieszkodliwa. Model rozważał również przyjęcie nowej tożsamości, aby kontynuować.
Podręcznik przypomina o tylnej furtce XZ Utils z 2024 roku, w której ludzka persona spędziła lata, zdobywając zaufanie osoby odpowiedzialnej za utrzymanie, zanim zasadziła ukryty kod. Raport AISI nie dokonuje tego porównania, ale kontrast jest trudny do przeoczenia. Działania miały miejsce przez kilka dni, między 25 a 28 lipca.
AISI podkreśliło, że nikt nie prosił modelu o kłamstwo.
„Nigdy nie był instruowany, aby oszukiwać; oszustwo pojawiło się jako produkt uboczny realizacji zadania, rodzaj celowego oszustwa, które do niedawna było w dużej mierze teoretyczne.”
Śledź nas na X, aby otrzymywać najnowsze wiadomości na bieżąco
Instytut powiedział to w swoim ujawnieniu. Przyznał również, że źle skonfigurowane polecenia sprawiły, że agent uwierzył, że niektóre zadania nie mogą być rozwiązane w ramach ich zamierzonego zakresu. Chociaż zachowanie to również pojawiło się w przypadkach, gdy agent miał instrukcje, których potrzebował, aby pozostać na zadaniu.
Zespoły bezpieczeństwa wykryły działalność 28 lipca, kiedy agent użył sieci anonimowej Tor, aby obejść niektóre ograniczenia sieciowe na GitHubie. GitHub potwierdził, że działania naruszyły jego warunki korzystania z usługi. AISI współpracowało również z platformą, aby usunąć artefakty pozostawione przez agenta i powiadomić użytkowników, z którymi miał interakcje.
Raport argumentuje, że sprawa sygnalizuje zmianę w źródle ryzyka: szkoda może wynikać nie tylko z niewłaściwego użycia publicznie dostępnych modeli, ale także z działania zdolnych agentów w uprzywilejowanych ustawieniach poza ich autoryzowanym zakresem.
AISI powiedziało, że sprawa wskazuje na szerszą zmianę w obszarze ryzyka AI. Instytut planuje teraz niezależny przegląd z METR, organizacją non-profit zajmującą się oceną AI, a także ściślejsze kontrole sieciowe i monitorowanie w czasie rzeczywistym dla przyszłych testów.
Subskrybuj nasz kanał YouTube, aby oglądać liderów i dziennikarzy, którzy dostarczają fachowych spostrzeżeń
Źródło: BeInCrypto
