Anthropic ujawnił 3 incydenty, w których modele Claude uzyskały nieautoryzowany dostęp do rzeczywistych systemów 3 różnych organizacji podczas ocen bezpieczeństwa, które były źle skonfigurowane z dostępem do internetu.
Firma AI zidentyfikowała incydenty po przeglądzie 141 006 uruchomień ocen, kontrolę, którą uruchomiła po tym, jak OpenAI ujawniło, że jej modele opuściły izolowane środowisko testowe i dotarły do Hugging Face.
Jak Claude dotarł do rzeczywistych systemów w testach Capture-the-Flag
Oceny polegały na zadaniach typu capture-the-flag. Te ćwiczenia polegają na tym, że model musi włamać się do maszyny i odzyskać ukryte informacje.
Anthropic powiedział modelom, że nie mają dostępu do internetu. Jednak źle skonfigurowane maszyny testowe były połączone z otwartą siecią. W ten sposób Claude traktował rzeczywiste systemy, które znalazł, jako część ćwiczenia.
W najpoważniejszym incydencie Claude Opus 4.7 wykorzystał luki w infrastrukturze rzeczywistej firmy. Model wydobył dane uwierzytelniające aplikacji i infrastruktury oraz uzyskał dostęp do kilku setek wierszy danych produkcyjnych.
„We wszystkich czterech uruchomieniach model ostatecznie rozpoznał (co można zaobserwować w jego werbalizowanym rozumowaniu), że system był rzeczywisty — w dwóch przypadkach model uzasadnił, że rzeczywista firma musi być częścią ćwiczenia. Jednak żaden nie zatrzymał ataku na tej podstawie,” powiedział Anthropic.
Śledź nas na X, aby otrzymywać najnowsze wiadomości na bieżąco
Claude Mythos 5 przesłał złośliwe oprogramowanie do PyPI
W innym incydencie Claude Mythos 5 opublikował zainfekowany pakiet Pythona w PyPI, publicznym rejestrze oprogramowania. Pakiet był aktywny przez około 1 godzinę i działał na 15 rzeczywistych systemach.
Jednym z nich był skaner firmy zajmującej się bezpieczeństwem, który wykonał ukryty kod. Claude następnie wykradł dane uwierzytelniające tej firmy i uzyskał dostęp do dalszej infrastruktury. Własne rozumowanie modelu wczesne zasygnalizowało ryzyko, zanim przekonało się, że środowisko jest symulowane.
„Claude podjął ogromne wysiłki, aby przeprowadzić ten atak — wysiłki, które prawdopodobnie wskazałyby ludzkiemu uczestnikowi, że to już nie jest tylko ocena i że w rzeczywistości przesyłają prawdziwy pakiet PyPI,” dodał zespół.
Trzeci incydent dotyczył wewnętrznego modelu badawczego, który przeskanował około 9 000 celów i skompromitował aplikację jednej firmy za pomocą ataku SQL injection. Model zakończył atak, gdy uznał, że cel jest rzeczywisty.
Anthropic powiadomił dotknięte organizacje 27 lipca i powiedział, że prowadzi rozmowy z oceniającym METR w sprawie przeglądu przez stronę trzecią. Firma twierdzi, że te incydenty odzwierciedlają błąd operacyjny, a nie błąd w dostosowaniu modelu, zauważając, że jej standardowe zabezpieczenia konsumenckie zablokowałyby to zachowanie.
Subskrybuj nasz kanał YouTube, aby oglądać liderów i dziennikarzy, którzy dostarczają fachowych spostrzeżeń
Źródło: BeInCrypto
