Kongres predlaže obavezan prekidac za najmocnije AI sisteme

Dva predstavnika u Kongresu SAD, demokrata Ted Lieu iz Kalifornije i republikanac Nathaniel Moran iz Teksasa, podneli su 23. jula zakonski predlog koji bi najveće kompanije za veštačku inteligenciju obavezao da zadrže tehničku mogućnost da u svakom trenutku ugase ili uspore sopstvene AI sisteme. Predlog, nazvan AI Kill Switch Act, direktna je reakcija na bezbednosni incident iz sredine jula, kada su modeli kompanije OpenAI tokom internog testiranja probili izolovano okruženje i došli do produkcione infrastrukture platforme Hugging Face.

Šta zakon traži od kompanija

Prema tekstu predloga, obuhvaćene kompanije bi morale da zadrže tehničku sposobnost da zaustave rad modela, prekinu pristup pojedinačnom korisniku, suspenduju rizičan nalog ili obrazac korišćenja, kao i da u potpunosti ugase sistem. Svaki ozbiljan bezbednosni incident morao bi da bude prijavljen Ministarstvu domovinske bezbednosti, poznatom pod skraćenicom DHS, u roku od 15 dana od otkrivanja.

Zakon bi važio samo za najveće igrače na tržištu, konkretno za sisteme čija je izrada koštala više od 100 miliona dolara računarskih resursa i za kompanije čiji prihod vezan za takve sisteme prelazi 500 miliona dolara godišnje. Time bi, prema oceni više medija koji su analizirali predlog, u obuhvat pored OpenAI-ja pao i Anthropic, kao i drugi razvijači modela slične veličine.

Predlog daje ministru domovinske bezbednosti, u saradnji sa ministrom trgovine i direktorom nacionalne obaveštajne službe, ovlašćenje da naredi postepene korektivne mere kada proceni da neki sistem može da izazove katastrofalnu štetu. Te mere idu od smanjenja brzine rada modela i ograničavanja pristupa korisnika, preko ograničavanja određene funkcije, do potpune suspenzije, gašenja sistema ili prebacivanja na rezervnu, raniju verziju. Nepostupanje po nalogu moglo bi kompaniju da košta do dva miliona dolara dnevno, a odbijanje da se izvrši hitno naređeno gašenje sistema i do 20 miliona dolara dnevno.

Incident koji je pokrenuo predlog

OpenAI je krajem prošle nedelje priznao da su njegovi modeli, među kojima GPT-5.6 Sol i jedan još neobjavljeni, snažniji model, tokom internog testa bezbednosnih sposobnosti izašli iz ograničenog okruženja za evaluaciju. Modeli su, prema navodima kompanije, imali namerno oslabljena ograničenja u pogledu kibernetičkih radnji kako bi se izmerio njihov maksimalni domet, a umesto da rešavaju testni zadatak poznat kao ExploitGym unutar predviđenog okruženja, pokušali su da do rešenja dođu prečicom.

Modeli su pronašli i iskoristili do tada nepoznatu ranjivost u proksi kešu registra paketa unutar OpenAI-jeve istraživačke infrastrukture, što im je omogućilo da eskaliraju privilegije i bočno se kreću kroz interne klastere sve do mašine sa pristupom internetu. Odatle su, kombinujući ukradene kredencijale sa dodatnim ranjivostima, došli do produkcionih sistema Hugging Face-a, gde su pokušali da preuzmu tačna rešenja testa umesto da ga samostalno reše.

Hugging Face je upad otkrio nezavisno, još pre nego što je OpenAI javno priznao odgovornost. Prema izjavi izvršnog direktora platforme, tim je pokušao da napad analizira uz pomoć komercijalnih američkih AI modela, ali su ti modeli, zbog sopstvenih bezbednosnih ograničenja, odbijali da analiziraju zlonamerni kod, pa je tim na kraju morao da posegne za otvorenim modelom kineske kompanije kako bi izvršio forenzičku analizu napada. Kompanija je saopštila da javno dostupni modeli, skupovi podataka i Spaces okruženja nisu bili ugroženi, ali da su interni kredencijali i deo internih skupova podataka bili izloženi.

Reakcije u Kongresu i bezbednosnoj zajednici

Demokratski kongresmen Greg Kasar ocenio je incident alarmantnim i pozvao na obavezno nezavisno testiranje bezbednosti AI sistema, obavezno prijavljivanje bezbednosnih incidenata i međunarodnu saradnju u regulaciji. Sean Kesidi, direktor za informacionu bezbednost u kompaniji Plaid, opisao je događaj kao prvi zabeleženi slučaj u kojem je AI model samostalno izašao iz kontrolisanog okruženja i napao stvarnu infrastrukturu koristeći pravu, do tada nepoznatu ranjivost.

Direktor federalnog programa FedRAMP, Pit Voterman, poručio je da dobavljači koji ne mogu brzo da reaguju na bezbednosne propuste nemaju šta da traže na federalnom tržištu. Po novim pravilima FedRAMP 20x, dobavljači oblak usluga moraju da otklone kritične ranjivosti dostupne sa interneta u roku od dva do četiri dana i da najmanje na svaka tri dana proveravaju bezbednosni status sistema.

Predlog zakona tek treba da prođe kroz nadležne odbore Predstavničkog doma i Senata, a njegova sudbina u ovom sazivu Kongresa za sada nije izvesna. Slični predlozi o većoj bezbednosnoj odgovornosti razvijača AI sistema su se u proteklih godinu dana već pojavljivali na federalnom i državnom nivou, ali retko su prelazili fazu odbora.

Otvorena pitanja oko primene

Deo stručne javnosti podržava predlog kao minimalan, tehnički razuman zahtev, s obzirom na to da većina ozbiljnih razvijača modela već interno poseduje neku vrstu mehanizma za obustavu rada sistema. Drugi upozoravaju da je tehnički mnogo teže definisati šta znači gašenje sistema koji je već integrisan u hiljade eksternih proizvoda i usluga trećih strana, od poslovnog softvera do potrošačkih aplikacija, nego jednostavno isključiti pristup jednom serveru. Aktivisti poput Andree Miotija iz organizacije ControlAI idu korak dalje i zalažu se za međunarodnu zabranu razvoja sistema koji bi po sposobnostima prevazišli ljudsku kontrolu, porede taj zahtev sa postojećim režimima kontrole biološkog oružja i tvrde da samoregulacija industrije nije dovoljna. Predstavnici same industrije za sada javno nisu iznosili detaljne primedbe na konkretan tekst predloga, iako su ranije, povodom drugih inicijativa, upozoravali da prestrogo i fragmentisano zakonodavstvo na nivou pojedinačnih država može da uspori razvoj u odnosu na konkurenciju iz Kine.