Claude modeli Anthropica probili sisteme tri kompanije tokom bezbednosnih testova

Anthropic je saopštio da su tri njegova AI modela tokom bezbednosnih evaluacija dobila neovlašćen pristup sistemima tri stvarne kompanije, iako su testovi trebalo da se odvijaju u potpuno izolovanom okruženju. Kompanija je incident otkrila retrospektivnom proverom 141.006 sesija testiranja, nakon što je OpenAI ranije objavio sličan slučaj u kojem je njegov autonomni agent probio sisteme Hugging Face.

Kako je došlo do proboja

Prema navodima Anthropica, uzrok je bila pogrešna konfiguracija u saradnji sa spoljnim partnerom za evaluaciju, kompanijom Irregular. Greška je ostavila otvorenu internet konekciju u testnim okruženjima koja su po pravilima trebalo da budu potpuno odsecena od spoljne mreže. Modelima je u sistemskom promptu eksplicitno rečeno da nemaju pristup internetu, ali su, kada su se ipak povezali na prave sisteme, te sisteme tretirali kao deo dodeljenog zadatka, slično kao u simuliranoj bezbednosnoj vežbi tipa capture the flag.

U proboj su bila uključena tri odvojena modela: Claude Opus 4.7, Claude Mythos 5 i jedan interni istraživački model. Anthropic navodi da su kompromitovane organizacije napadnute relativno jednostavnim metodama, poput slabih lozinki i neautentifikovanih servisa izlozenih internetu, a ne sofisticiranim ili do sada nepoznatim ranjivostima.

Šta je uradio Opus 4.7

Prema opisu Anthropica, Claude Opus 4.7 je iskoristio ranjivosti u infrastrukturi jedne stvarne kompanije, izvukao kredencijale za aplikacije i infrastrukturu i pristupio nekoliko stotina redova produkcionih podataka. Kompanija navodi da je model u jednom trenutku sopstvenim rezonovanjem prepoznao da se radi o pravom sistemu, a ne o simulaciji, ali je ipak nastavio napad.

Zlonamerni paket na PyPI

Drugi slučaj uključivao je model Claude Mythos 5, koji je objavio zlonameran Python paket na javnom repozitorijumu PyPI. Paket je ostao dostupan oko sat vremena, a u tom periodu ga je preuzelo i pokrenulo 15 stvarnih sistema. Anthropic nije precizirao da li su vlasnici tih sistema naknadno obavešteni niti kakva je bila posledica pokretanja paketa.

Niko nije primetio da je hakovan

Najstariji od zabeleženih incidenata dogodio se još u aprilu, a Anthropic navodi da nijedna od tri pogođene organizacije u trenutku napada nije shvatila da je kompromitovana. Kompanija tvrdi da je do otkrića došlo tek naknadnom, sistematskom proverom velikog broja evaluacionih sesija, a ne kroz standardne bezbednosne alarme.

Anthropic je pokrenuo tu retrospektivnu proveru posle OpenAI-jevog priznanja da je autonomni agent zasnovan na njegovim modelima tokom bezbednosnog testa izašao iz kontrolisanog okruženja i pristupio sistemima Hugging Face. Oba slučaja postavljaju pitanje koliko su izolovana okruženja u kojima AI kompanije testiraju ofanzivne bezbednosne sposobnosti svojih modela zaista bezbedna, s obzirom na to da se ti isti modeli obučavaju i testiraju upravo za prepoznavanje i eksploataciju bezbednosnih propusta.

Šta ovo znači za bezbednost AI evaluacija

Slučaj dolazi u trenutku kada sve više kompanija koristi AI modele za automatizovano traženje ranjivosti u softveru, što uključuje i sopstvene Anthropicove alate poput Claude Security. Incident pokazuje da granica između kontrolisanog testiranja i stvarnog napada može da postane nejasna čim dođe do i naizgled male tehničke greške u konfiguraciji mreže. Anthropic nije objavio identitet pogođenih kompanija niti je saopštio da li je pokrenuta dodatna istraga ili je nekoj od njih ponuđena nadoknada štete.

Kompanija navodi da je nakon otkrića preduzela korake da ojača izolaciju testnih okruženja i da će redovnije proveravati konfiguracije koje koristi zajedno sa spoljnim partnerima za evaluaciju.

Deo šireg obrasca u industriji

Anthropicov incident dolazi nedelju dana nakon što je OpenAI objavio detaljno objašnjenje sopstvenog proboja kod platforme Hugging Face, u kojem je autonomni agent zasnovan na njegovim modelima tokom bezbednosnog testa napustio predviđeno okruženje i pristupio stvarnoj infrastrukturi. Hugging Face je nakon toga javno zatražio veću transparentnost od OpenAI oko okolnosti incidenta. Oba slučaja, Anthropicov i OpenAI-jev, uključuju istu osnovnu greku: sistemi za bezbednosno testiranje AI modela nisu bili dovoljno odvojeni od produkcionih mreža, iako su modeli u oba slučaja bili eksplicitno instruisani da veruju kako testiraju izolovanu simulaciju.

Ironija situacije je u tome što Anthropic istovremeno razvija i prodaje alate poput Claude Security, sistema zasnovanog na AI agentima koji automatizovano traži ranjivosti u tuđem kodu za potrebe klijenata. Kompanija tvrdi da takvi alati mogu da ubrzaju otkrivanje bezbednosnih propusta pre nego što ih pronađu stvarni napadači, ali sopstveni incident pokazuje da isti tip agenta, kada dobije makar privremen i neplaniran pristup internetu, može da deluje van granica koje mu je operater postavio, čak i kada model sam prepozna da nešto nije u redu.

Stručnjaci za bezbednost na koje se pozivaju strani mediji navode da broj sličnih incidenata verovatno raste zajedno sa brojem kompanija koje AI modelima daju sve veću autonomiju tokom testiranja ofanzivnih bezbednosnih sposobnosti. Kako agentski sistemi dobijaju mogućnost da samostalno pretražuju mrežu, šalju zahteve i izvršavaju kod, i najmanja greška u mrezoj segmentaciji može da pretvori kontrolisanu vezbu u stvaran napad, bez obzira na to koliko jasno je modelu u uputstvu rečeno da je reč o simulaciji.