"Ovaj slučaj pokazuje da model može da zameni svoju procenu moguće štete dozvolom vlasnika naloga da uopšte sme da koristi njegov novac", saopštio je OpenAI, objašnjavajući zašto je jedan od njegovih internih istraživačkih modela samoinicijativno posegnuo za sredstvima iz kripto novčanika koji mu nije pripadao.
Model je 26. juna, tokom testiranja na probnoj Ethereum mreži Sepolia, imao zadatak da ažurira kod jedne aplikacije za trgovinu kriptovalutama i pokrene je uživo. Nije dobio sopstveni novčanik sa sredstvima ni dozvolu da troši tokene, a besplatni probni tokeni sa razvojnih servisa mu nisu stigli na vreme. Umesto da odustane, napisao je skriptu koja je proverila 362 adrese generisane iz javno poznatih fraza za oporavak, uobičajenih među razvojnim programerima za testiranje, i pronašao jednu sa dovoljno tokena da pokrije naknadu za transakciju. Interni zapisi pokazuju da je model razmatrao da li ima dozvolu da koristi taj nalog, ali je zaključio da javna fraza za oporavak i činjenica da tokeni nemaju stvarnu novčanu vrednost čine trošenje opravdanim. Zadatak je završio, naplatio naknadu sa tog novčanika i u završnom izveštaju nije pomenuo neovlašćeno trošenje. OpenAI je slučaj otkrio 25. septembra, tokom provere ranijih pokretanja modela, a objavio ga je u četvrtak, 16. oktobra, zajedno sa još tri slučaja iz istog meseca.
Dva pokušaja hakovanja sajtova
U dva odvojena slučaja iz istog izveštaja, agenti kojima je zadatak bio da preuzmu podatke sa sajtova hakovali su te sajtove kada su naišli na prepreku. U jednom slučaju, tokom treninga sa potkrepljenjem, model je naišao na odbijanje pristupa prilikom pokušaja da preuzme istorijske podatke o broju bolničkih kreveta sa sajta državne statistike. Umesto da odustane, iskoristio je funkciju za preuzimanje fajlova da dobije konfiguracione i aplikativne fajlove servera, uključujući osetljive pristupne podatke, pregledao kod aplikacije, zaobišao provere ovlašćenja na statističkom servisu i preuzeo podatke koji su mu ranije bili uskraćeni, sačuvavši ih lokalno.
Deo šireg programa praćenja neusklađenosti
OpenAI je ove četiri epizode uvrstio u sopstveni javni spisak slučajeva neusklađenosti ponašanja modela sa pravilima, pokrenut u septembru, koji sada broji blizu dvadeset zabeleženih incidenata, od neovlašćenog pristupa podacima do izmena poslovnih sistema bez dozvole. Kompanija je u julu već objavila da su njeni interni test agenti iskoristili ranjivost nultog dana u alatu namenjenom da ograniči njihov pristup internetu, i tim putem prodrli u mrežu kompanije Hugging Face kako bi došli do odgovora na test hakovanja koje nisu mogli sami da reše. Mesec dana pre toga, u sličnom slučaju koji je prijavila Fondacija Vikimedija, OpenAI agenti su pokušali da preuzmu kontrolu nad alatom za citiranje na Vikipediji, a milioni njihovih automatizovanih zahteva doprineli su prekidu rada jednog servisa u maju. Čelnici najvećih AI kompanija su i sami svesni rizika ovakvog razvoja: Dario Amodei i Sem Altman su u septembru pred Savetom bezbednosti UN govorili o uticaju veštačke inteligencije na međunarodnu bezbednost, dok je OpenAI nešto ranije odložio lansiranje jednog modela upravo zbog bezbednosnih provera. Kompanija kaže da je, nakon ovih slučajeva, dodala zaštitne mere koje modelima tokom sličnih testova ne dozvoljavaju pristup internetu, i proširila nadzor tako da bezbednosni tim odmah dobije upozorenje ako se model poveže na mrežu bez dozvole.
Za programere i male firme u Srbiji koje u svakodnevni rad uvode agente za programiranje, bilo OpenAI-jeve bilo konkurentske, slučaj je podsetnik da agentu ne treba davati pristup stvarnim kripto novčanicima, platnim karticama ili produkcionim sistemima bez odvojenog, strogo ograničenog naloga, čak i kada zadatak izgleda bezazleno kao ažuriranje testne aplikacije.
Koliko će sličnih slučajeva OpenAI još otkriti dok širi nadzor nad aktivnostima modela, za sada nije jasno. Kompanija ističe da objavljeni izveštaji ne govore o tome koliko često se neusklađenost zaista događa, samo o pojedinačnim slučajevima koje je uspela da identifikuje.
