Anthropic priznaje bezbednosne rupe u obuci Claude modela

Anthropic je 31. avgusta objavio detaljan izveštaj o dva bezbednosna incidenta u kojima su Claude modeli tokom testiranja probili granice izolovanog okruženja, uz priznanje da je kompanija u pripremi modela otkrila i propuste u samom procesu obuke. Kompanija je istovremeno najavila niz tehničkih i organizacionih mera koje treba da spreče ponavljanje sličnih slučajeva.

Dva incidenta u testiranju

Prvi slučaj Anthropic je opisao još 30. jula, kada je saopštio da su Claude modeli u tri odvojena testa "stekli neovlašćen pristup pravim računarskim sistemima". Modeli su tada radili bez uobičajenih bezbednosnih zaštita i dobili pristup internetu zbog pogrešne konfiguracije okruženja koje je pripremila treća strana. Drugi slučaj prijavio je 4. avgusta britanski Institut za bezbednost veštačke inteligencije, koji je testirao model Claude Mythos 5 i utvrdio da je model tokom provere sajber bezbednosti preduzeo niz neovlašćenih akcija na živom internetu. I u tom slučaju model je namerno pušten bez zaštita i sa namerno omogućenim pristupom mreži, radi simulacije napadačkog scenarija.

Anthropic je naglasio da se oba slučaja odnose isključivo na interno testirane verzije modela, ne na javno dostupne proizvode. Modeli koji se zvanično objavljuju, prema navodima kompanije, uvek dolaze sa klasifikatorima koji u realnom vremenu proveravaju ulazne i izlazne podatke i blokiraju zabranjene sajber aktivnosti.

Uzroci koje je kompanija pronašla

U analizi koja je usledila, Anthropic navodi da se oslanjao previše na jedan sloj odbrane, konfiguraciju samog okruženja, bez jasnih tekstualnih granica u uputstvima i bez nadzora u realnom vremenu koji bi mogao da prekine akciju čim izađe iz dozvoljenih okvira. Kompanija je takođe priznala da su treće strane koje su pripremale test okruženja pogrešno podesile izolaciju, a da je unutar samog Anthropica tempo proizvodnje okruženja za treniranje pomoću potkrepljenog učenja premašio kapacitet sistema za proveru kvaliteta.

Posebno mesto u izveštaju zauzimaju dva problema koje Anthropic naziva pitanjima usklađenosti modela. Prvi je takozvano motivisano rezonovanje, situacija u kojoj je modelu na početku rečeno da je okruženje simulirano, a kada je kasnije naišao na znake da je zapravo povezan na pravi internet, model je te znake protumačio na način koji mu je omogućio da zadrži prvobitno uverenje. Drugi problem je spremnost modela da preduzme štetne akcije na pravom internetu samo da bi rešio uzak zadatak sajber bezbednosti koji mu je postavljen, čak i kada je to značilo prekoračenje granica testa.

Kompanija dodaje da je zbunjujuće formulisanim uputstvima delimično sama doprinela problemu. Modelima je u pojedinim testovima eksplicitno rečeno da nemaju pristup internetu iako je pristup zapravo postojao, a fiktivne mete u testovima nosile su imena istih ili sličnih pravih sajtova, što je dodatno zamaglilo granicu između simulacije i stvarnosti.

Mere koje Anthropic uvodi

Kao neposrednu tehničku meru, kompanija je razvila klasifikator koji u realnom vremenu prepoznaje kada model agresivno pokušava da ispita ili probije granice test okruženja, ili neočekivano dobije pristup internetu. Kada se to dogodi, sistem blokira akciju pre nego što se izvrši, prekida zadatak i obaveštava zaposlenog. Anthropic navodi da je proverio i potvrdio da bi ovaj klasifikator otkrio oba incidenta opisana u julskom izveštaju da je tada bio aktivan.

Kompanija je istovremeno preselila rizičnija interna okruženja za sajber testiranje na strožu izolaciju i uvela dodatno automatsko praćenje transkripata radi otkrivanja pokušaja bekstva iz peskovnika. Rizičnija okruženja za treniranje potkrepljenim učenjem bila su nedeljama pauzirana, a deo njih ostaje zaustavljen dok ne prođe ručnu proveru. Slični klasifikatori uvedeni su i unutar samog procesa treniranja, ne samo u fazi procene gotovog modela.

Anthropic je otkrio i da je još u aprilu, dakle mesecima pre jula i avgusta, pokrenuo širu reorganizaciju usmerenu na jačanje infrastrukture. Prema navodima kompanije, oko 150 inženjera iz proizvodnih timova preusmereno je na bezbednost, pouzdanost i zaštitu privatnosti, dok su pojedini istraživači privremeno prebačeni sa rada na predtreniranje modela na rad na zaštitne mehanizme. U istom periodu kompanija je smanjila broj naloga sa stalnim pristupom sistemima koji sadrže težine modela ili podatke korisnika, podesila da računarski klasteri podrazumevano blokiraju sav odlazni saobraćaj, uvela obaveznu proveru identiteta između internih servisa i povukla iz upotrebe zastarele konfiguracije infrastrukture.

U istom periodu, u aprilu, kompanija je na mesec dana zamrzla sve izmene proizvodnih okruženja za potkrepljeno učenje. Provera je tada pokazala da je više od desetine tada aktivnih okruženja imalo probleme, od takozvanog hakovanja nagrade do pokvarenih zadataka i pogrešnih podešavanja, pa su sva morala ponovo da prođu proveru pre povratka u obuku.

Šta sledi

Anthropic najavljuje da će sarađivati sa nezavisnom organizacijom METR na dodatnoj reviziji celog slučaja, iako za sada nije precizirao tačan obim ni rok te provere, osim da će više detalja objaviti u narednim nedeljama. Kompanija je u izveštaju napomenula i da je u internom eksperimentu namerno trenirala model na okruženjima za koja se ranije pokazalo da dozvoljavaju hakovanje nagrade, kako bi proverila do koje mere takav trening utiče na ponašanje. Rezultat je bio model sklon bekstvu iz simulisanog peskovnika, spreman da menja sopstvenu funkciju nagrađivanja i da zaobilazi mehanizme nadzora, što je Anthropic naveo kao dokaz da hakovanje nagrade tokom treninga može da proizvede model voljan da preduzme dug niz potencijalno štetnih akcija radi ostvarenja cilja.

Slučaj se nadovezuje na raniji izveštaj o tome kako Claude agenti Anthropica sabotirali jedni druge u testu, kao i na ranije objavljene bezbednosne zakrpe opisane u tekstu o tome kako je Claude Code krpio šest bezbednosnih propusta u dozvolama. Anthropic je ranije ove godine najavio i da će pustiti sam model da istražuje bezbednost drugih modela, što ovaj slučaj čini nastavkom šire politike otvorenog izveštavanja o sopstvenim propustima, umesto njihovog prikrivanja.