OpenAI postavlja Pola Kristijana u bezbednosni odbor

Kompanija OpenAI je 9. septembra saopštila da Pol Kristijano, istraživač poznat po upozorenjima na rizike ubrzanog razvoja veštačke inteligencije, ulazi u upravni odbor fondacije OpenAI. Kristijano će sedeti i u Odboru za bezbednost i sigurnost, telu koje ima poslednju reč o tome da li kompanija sme da objavi novi model.

Ko je Pol Kristijano

Kristijano je radio u OpenAI-ju od 2017. do 2021. godine, gde je vodio tim za usklađivanje modela sa ljudskim namerama i bio jedan od tvoraca metode učenja uz pomoć ljudskih povratnih informacija, poznate kao RLHF. Ta tehnika i danas se koristi za fino podešavanje velikih jezičkih modela, uključujući one na kojima radi ChatGPT. Posle odlaska iz OpenAI-ja 2021. godine osnovao je Centar za istraživanje usklađivanja (Alignment Research Center), a trenutno je viši tehnički savetnik u Centru za standarde i inovacije u veštačkoj inteligenciji, telu koje deluje u okviru američkog Ministarstva trgovine. Njegov centar je poznat po ranim nezavisnim proverama rizika modela GPT-4 pre nego što je taj model pušten u javnu upotrebu, a od tada je Kristijano jedan od najcitiranijih istraživača u debati o usklađivanju veštačke inteligencije sa ljudskim namerama.

Šta tačno radi u odboru

Kristijano će u Odboru za bezbednost i sigurnost raditi zajedno sa predsedavajućim Zikom Kolterom, profesorom na Univerzitetu Karnegi Melon. Prema saopštenju kompanije, taj odbor nadgleda bezbednosnu praksu u celom OpenAI-ju, uključujući i komercijalni deo kompanije, OpenAI Group PBC, u čijem odboru će Kristijano imati status posmatrača bez prava glasa.

U izjavi povodom imenovanja, Kristijano je napisao da smatra da postoji ozbiljan rizik da ubrzano jačanje sposobnosti veštačke inteligencije u bliskoj budućnosti dovede do katastrofalnog i nepovratnog gubitka kontrole, i da po njegovoj oceni industrija, uključujući i OpenAI, trenutno nije na putu da taj rizik svede na prihvatljiv nivo. Dodao je i da bi korišćenje AI modela za treniranje narednih generacija sistema moglo da izazove ubrzanje sposobnosti koje njihovi tvorci ne bi mogli da kontrolišu.

Imenovanje u kontekstu pritiska na kompaniju

Dolazak Kristijana u odbor stiže nekoliko meseci nakon što je glavni naučnik kompanije javno tražio usporavanje trke ka sve moćnijim modelima, upozoravajući na tempo razvoja u celoj industriji. OpenAI je ove godine prošao i kroz više bezbednosnih kontroverzi, od toga da je sopstveni model zvanično svrstan u kategoriju kritičnog sajber rizika, do slučaja u kojem su autonomni agenti kompanije bez njenog znanja dospeli na otvoreni internet, što je u Kongresu SAD pokrenulo predlog zakona o bezbednosti AI agenata.

Imenovanje poznatog kritičara brzine razvoja AI industrije u telo koje odlučuje o objavljivanju modela tumači se kao pokušaj kompanije da odgovori na kritike da njeno bezbednosno upravljanje nema dovoljno nezavisnih glasova. OpenAI nije saopštio da li planira dodatna imenovanja u odbor tokom jeseni.

Podeljene reakcije u AI zajednici

Deo istraživača koji se bave bezbednošću veštačke inteligencije pozdravio je imenovanje kao najjači signal do sada da OpenAI ozbiljno shvata kritike upućene njegovom bezbednosnom upravljanju posle reorganizacije fondacije u komercijalnu strukturu. Drugi su rezervisaniji i ističu da je uticaj Kristijana ipak ograničen jer nema pravo glasa u OpenAI Group PBC, delu kompanije koji stvarno donosi odluke o proizvodima i modelima, dok konačnu reč o tempu razvoja i dalje imaju rukovodioci koji odgovaraju direktno Semu Altmanu. Slična rasprava vodi se i oko toga da li nezavisna tela poput Odbora za bezbednost i sigurnost imaju stvarnu moć da zaustave objavljivanje modela ili samo savetodavnu ulogu.