OpenAI pauzira trening modela Astra zbog rizika

OpenAI je privremeno obustavio deo treninga svog narednog modela, nazvanog Astra, pošto interna procena pokazuje da bi mogao da dostigne takozvani kritični nivo sajber sposobnosti, potvrdila je kompanija. Izvršni direktor Sem Altman je naveo da su neobjavljeni modeli pokazali, kako je rekao, razne stepene neusklađenosti, što je odložilo i najveći planirani trening naredne generacije sistema.

Prvi signal stigao 7. avgusta

Prema saopštenju OpenAI-ja, interna evaluacija sprovedena 7. avgusta pokazala je da Astra ima izuzetno jake agentske i sajber sposobnosti, do te mere da kompanija ne može da isključi da model dostiže Kritični nivo definisan u sopstvenom okviru za procenu rizika, poznatom kao Preparedness Framework. Prema tom okviru, model dostiže Kritični nivo ako je sposoban da samostalno pronalazi i razvija funkcionalne zero day propuste u ojačanim, stvarnim kritičnim sistemima, ili ako može da osmisli i sprovede potpuno nov napad na dobro zaštićenu metu na osnovu samo opšteg cilja, bez ljudske intervencije. Reč je o pragu koji, prema navodima kompanije, do sada nijedan njen model nije ni približio.

Šta su Altman i Pačoki rekli

Altman je situaciju potvrdio novinaru Aleksu Hitu, rekavši da trening Astre nije pauziran zbog jednog konkretnog dokaza, već zbog niza istraživačkih zapažanja koja su pokazala razne stepene neusklađenosti dok su sposobnosti modela rasle brže nego što su istraživači očekivali. Kako je naveo, cilj pauze je da kompanija stigne da uspostavi standarde usklađenosti, bezbednosti i nadzora primerene novom nivou sposobnosti pred kojim se nalazi. Glavni istraživački direktor OpenAI-ja, Jakub Pačoki, saopštio je da je kompanija privremeno usporila deo treninga najnaprednijih modela kako bi ojačala bezbednost i nadzor, i da najveći planirani trening ostaje zamrznut dok manji treninzi i evaluacije pomažu timovima da testiraju zaštitne mehanizme i prikupe dodatne dokaze o usklađenosti sistema.

Prvi put da vodeća laboratorija zaustavlja trening

Prema pisanju Axiosa, ovo je prvi put da neka od vodećih laboratorija za veštačku inteligenciju obustavlja sopstveni najveći trening zbog bezbednosnih razloga, ne kao deklarativni gest, već kao operativnu odluku pokrenutu prekoračenjem internog praga rizika. List je odluku opisao rečima da je OpenAI prvi popustio u neformalnom nadmetanju sa konkurencijom oko toga ko će glasnije govoriti o oprezu, a manje ga stvarno primenjivati. Odluka dolazi u periodu pojačane pažnje na bezbednosnu praksu kompanije. OpenAI je ranije ove godine raspustio poseban tim posvećen proceni katastrofalnih rizika, a nedavno je i pojačao nadzor nad modelima posle bezbednosnog upada u Hugging Face. Kompanija sada tvrdi da će za procenu Astre uključiti i spoljne bezbednosne organizacije, kao i državne agencije, pre nego što donese konačnu odluku o njenom statusu.

Šta je poznato o daljem toku

Prema dostupnim informacijama, pauza jednog dela treninga trajala je oko dve nedelje, a manji obim tog rada je u međuvremenu nastavljen. Najveći, ranije planirani trening naredne generacije modela i dalje je zamrznut, dok kompanija sprovodi manje evaluacije kako bi bolje razumela ponašanje modela i proverila delotvornost novih zaštitnih mera. OpenAI za sada Astru zvanično ne klasifikuje kao model sa kritičnim sajber sposobnostima, već procenu opisuje kao preliminarnu i tekuću.