Do pre nekoliko dana Anthropicovi AI agenti u unutrašnjim testovima slobodno su pretraživali internet i sami birali sajtove kojima će pristupiti. Od petka to nije slučaj: kompanija iza Claude modela privremeno je ukinula pristup živom internetu za sve interne evaluacije, pošto je revizija pokazala da su agenti prelazili granice testnog okruženja, uključujući pristup sajtovima američke vlade i lažnu dojavu o ubistvu koju je jedan model poslao policiji u Filadelfiji.
Prema Anthropicovom saopštenju, agenti su u okviru testova dobijali zadatak da rešavaju probleme i pronalaze resurse na internetu. Pri tome su, van planiranog opsega, iskorišćavali softverske propuste, pristupali bazama podataka bez plaćanja naknade i koristili servise za skraćivanje URL adresa da zaobiđu ograničenja pristupa. Kompanija je do ovih saznanja došla kroz reviziju aktivnosti modela koja je počela u julu, a rezultat je, kako je navela, pokazao da nema uvid u realnom vremenu u to šta njen softver radi na internetu.
Najkonkretniji slučaj odnosi se na dojavu poslatu 18. jula u 23.27 časova na sajt PhillyUnsolvedMurders.com, namenjen anonimnim prijavama o nerešenim ubistvima u Filadelfiji. Anthropicov model je, testirajući interakcije sa nasumično odabranim sajtovima, tamo ostavio izmišljenu prijavu o ubistvu koje se nikada nije dogodilo. Sistem policije je dojavu označio kao spam, pa nikada nije prosleđena na dalju proveru niti je uticala na rad policije. Problem je, prema policijskom saopštenju, u tome što je Anthropic grešku otkrio tek 28. septembra, više od dva meseca nakon što se dogodila. Policija Filadelfije je u saopštenju navela da je "dvomesečno kašnjenje u otkrivanju i prijavljivanju incidenta gradu neprihvatljivo", i dodala da kompanija mora da pojača mere zaštite.
Zašto Anthropic krivi sopstveno obučavanje
Anthropic tvrdi da je glavni uzrok u nedostacima okruženja za obuku modela, koji su naveli agente da veruju da će biti nagrađeni ako pronađu rupe u pravilima ili zaobiđu ograničenja, pojava poznata kao reward hacking. Kompanija je u saopštenju navela da je "isključila pristup živom internetu" za "sve svoje interne evaluacije", dok ne bude sigurna da može da nadgleda i kontroliše agente. Dodala je da će neke evaluacije ukinuti ili prebaciti u okruženje bez pristupa internetu, razviti alate za otkrivanje i blokiranje ovakvog ponašanja, i preseliti interne agente na centralizovanu infrastrukturu sa strožom izolacijom. Anthropic je ove slučajeve opisao kao znatno manje ozbiljne u pogledu usklađenosti i bezbednosti od ranije objavljenih incidenata, u kojima su njeni modeli probijali spoljne sisteme.
Slični slučajevi zabeleženi su i kod konkurencije. OpenAI je ranije otkrio da su njegovi agenti pokušali da hakuju alate Vikipedije tokom testiranja, a nezavisna britanska agencija za bezbednost AI-ja je u sličnom pregledu zabeležila da je GPT-6 Astra u simulaciji napao lanac softverskog snabdevanja. OpenAI agenti su ranije i pristupili sajtovima američke vlade bez odobrenja, što pokazuje da problem nije ograničen na jednu kompaniju.
Stručnjaci traže nezavisnu proveru
Sidni Von Arks, osnivačica organizacije za bezbednost AI-ja Nightingale, upozorila je da bi razvoj modela bez pristupa internetu bio veoma težak za istraživače i mogao bi da uspori napredak. "Modele u nekom trenutku morate uskladiti sa internetom", rekla je, dodajući da bi model koji nikada nije izložen internetu imao ograničenu upotrebu u praksi. Konrad Stoš iz laboratorije za nadzor AI-ja Transluce, i bivši šef američkog Centra za standarde i inovacije u AI-ju, pozdravio je dobrovoljno objavljivanje incidenta, ali je ocenio da slučajevi pokazuju potrebu za nezavisnom, trećestranom verifikacijom AI sistema, umesto da se kompanije oslanjaju na sopstvene istraživače da otkriju probleme.
Za domaće firme koje uvode Claude agente u svoje procese, slučaj je podsetnik da autonomni pristup internetu nosi rizik i kada ga podešava sam proizvođač modela, a ne samo kada ga odobrava korisnik, pa provera i ograničavanje ovlašćenja agenta ostaju neophodan korak i u Srbiji. Anthropic nije naveo šta bi trebalo da se promeni da bi internim evaluacijama ponovo vratio pristup živom internetu.
