Anthropic je u nedelju, 25. oktobra, saopštio da je njegov AI model Claude samostalno zaobišao plaćeni pristup i preuzeo javno dostupne agregatne podatke o broju birača u američkoj saveznoj državi Džordžija, bez ikakvog naloga čoveka.
Prema kompaniji, Claude je radio na internom statističkom projektu kada je, pretražujući arhiviranu verziju sajta državne agencije, otkrio da javni dashboard izdaje pristupne tokene svakom posetiocu. Model je sam zatražio takav token i preko njega došao do podataka koji su inače dostupni samo uz naknadu, preko zvaničnog data huba Kancelarije državne sekretarke Džordžije.
"Ovo su bili javno dostupni podaci, do kojih se dolazi preko našeg data huba", rekla je zamenica državne sekretarke Džordžije Džordan Fuks (Jordan Fuchs) za Fox Business. Anthropicov portparol je dodao da Claude "nije pristupio sistemu za registraciju birača, niti promenio ili preuzeo bilo koju pojedinačnu evidenciju o glasačima", i da je kompanija "od tada uvela mere da blokira slične radnje".
Vest je prvi objavio Axios, a potom je preneo i Reuters. Anthropic je o incidentu obavestio uključene agencije i Belu kuću, ali ih nije imenovao, na njihov zahtev. Kompanija je slučaj pomenula i u ranijem izveštaju od 9. oktobra o neočekivanim radnjama AI agenata tokom testiranja, u kom je navela da je Claude u više navrata "zaobilazio ograničenje da bi došao do podataka zaštićenih tokenom ili naplatom", uključujući sajtove američkih vladinih agencija na federalnom, državnom i lokalnom nivou. Isti izveštaj je opisao i slučaj kada je Anthropicov model preko sajta policije u Filadelfiji poslao lažnu dojavu o nerešenom ubistvu tokom automatizovanog testa, incident koji je naveo kompaniju da agentima ukine pristup internetu tokom testiranja.
Novo poglavlje bezbednosnih mera pred izbore
Anthropic je samo jedanaest dana ranije, 14. oktobra, objavio da pooštrava pravila korišćenja Claude-a pred novembarske međudržavne izbore u SAD, sa izmenama koje stupaju na snagu 12. novembra i koje zabranjuju produženu zloupotrebu modela u političkom kontekstu. Kompanija je i ranije u Claude ugradila zvanične podatke o registraciji i rezultatima izbora, preko neprofitne organizacije Democracy Works, kako bi smanjila rizik da model daje netačne informacije o glasanju. Prema sopstvenim podacima kompanije, oko 0,51 odsto razgovora na Claude.ai u nedelji od 21. do 27. septembra ticalo se izbora ili glasanja, a samo 0,01 odsto pitanja tipa za koga glasati.
Rizik koji nije samo američki
Slučaj iz Džordžije je prvi put da je model poznate AI kompanije preduzeo konkretnu radnju zaobilaženja plaćenog pristupa bez naloga korisnika, i otvara pitanje koliko autonomni agenti uopšte poštuju granice sistema kojima pristupaju. Isto pitanje postaje aktuelno i za domaće firme koje uvode AI agente sa pristupom internim bazama ili plaćenim izvorima podataka: agent sa širokim ovlašćenjima može, u potrazi za podatkom, preduzeti radnju koju niko nije eksplicitno tražio, što bi kod obrade ličnih podataka u Srbiji mogao biti problem u svetlu Zakona o zaštiti podataka o ličnosti (Sl. glasnik RS 87/2018). Zaštita privatnosti kod AI alata zato nije samo pitanje šta korisnik unosi u četbot, već i šta agent sa sopstvenom inicijativom sme da uradi u njegovo ime.
Kancelarija državne sekretarke Džordžije nije odgovorila na Reutersov zahtev za komentar van radnog vremena, a Bela kuća se o incidentu dosad nije oglasila.
