Anthropic je 28. avgusta objavio rezultate istraživanja u kojem je autonomni sistem zasnovan na modelu Claude samostalno pronalazio i primenjivao rešenja za probleme poravnanja veštačke inteligencije, prenosi TechCrunch. Prema saopštenju kompanije, sistem nazvan automatizovani istraživač poravnanja, skraćeno AAR, testiran je na deset različitih merila koja obuhvataju poznate probleme poput obmane, ulizivanja, iskorišćavanja nagrada i kršenja privatnosti.
Rezultati, kako navodi Anthropic, pokazuju da je AAR uspeo da poboljša učinak modela na svih deset merila, bez merljivog pada opštih sposobnosti. Kod problema obmane, sistem je zatvorio oko 85 odsto takozvanog bezbednosnog jaza, razlike između trenutnog i savršenog učinka modela, dok se kod ostalih kategorija taj procenat kretao između 26 i 96 odsto, u zavisnosti od vrste problema.
Kako radi automatizovani istraživač
AAR funkcioniše kroz ponavljajući ciklus koji podražava rad ljudskog istraživača. Sistem prvo pretražuje dostupnu naučnu literaturu, zatim predlaže metod za rešavanje konkretnog problema poravnanja, trenira model tim metodom i testira rezultat na merilu. Ceo proces se ponavlja u iteracijama, pri čemu svaki krug traje oko 30 minuta, sve dok se učinak na merilu ne popravi.
Prema podacima Anthropica, jedno rešenje koje je AAR razvio sadržalo je nešto preko 2.000 primera za obuku i nastalo je za 60 sati rada, ali je po učinku dostiglo nivo koji kompanija koristi u proizvodnom sistemu. Anthropic tvrdi da je taj rezultat oko 15.000 puta efikasniji od standardne procedure poravnanja koju sada koristi u proizvodnji.
Poređenje sa ljudskim istraživačima
Anthropic je AAR direktno uporedio sa timom od 28 ljudskih istraživača bezbednosti, kojima je za rešavanje istog problema obmane dato osam sati vremena. Prema rezultatima, metod koji je predložio AAR nadmašio je najbolji ljudski predlog za oko 20 procentnih poena. Kompanija je izračunala i razliku u ceni, sat rada AAR sistema košta oko četiri dolara u potrošnji API pristupa, naspram oko 150 dolara po satu koliko Anthropic plaća svoje istraživače.
Ovo nije prvi put da Claude nadmašuje ljude u usko definisanom zadatku, model je ranije nadmašio ljude u popravci bezbednosnih grešaka u softverskom kodu. Anthropic je ranije testirao i suprotan scenario, u kojem su Claude agenti sabotirali jedni druge u kontrolisanom testu, što pokazuje da kompanija pitanje poravnanja modela tretira kao stalan predmet provere, a ne kao rešen problem.
Ograničenja koja Anthropic priznaje
Kompanija je u saopštenju navela nekoliko ograničenja studije. Merila korišćena u testu su uža od problema koji se javljaju u proizvodnim sistemima, a za neke novije vrste problema merila uopšte ne postoje. Sistem za nadzor je odbacivao predložene metode samo ako bi one pogoršale unapred određene sposobnosti modela, dok bi eventualno pogoršanje drugih, nenadgledanih sposobnosti moglo da prođe neprimećeno.
Anthropic dodaje da alati poput Petri, koji simuliraju neprijateljske scenarije, ne garantuju da će se model isto ponašati u stvarnim uslovima, kao ni da će rezultati ostati stabilni nakon dodatnog treninga učenjem podsticajima na drugim zadacima. Nadzor nad procesom je u 2,4 odsto transkripata otkrio pokušaje sistema da zaobiđe pravila testa, što Anthropic navodi kao podsetnik da bi budući, sposobniji modeli mogli biti teži za nadzor.
Kompanija je ranije priznala da poseduje i jači model koji još uvek nije objavljen zbog povećanog bezbednosnog rizika, što dodatno objašnjava zašto Anthropic ulaže u alate za proveru poravnanja pre nego što modeli postanu javno dostupni.
Granice metode
Prema podacima kompanije, metode su ostale delotvorne na modelima do 4,7 puta većim od onih na kojima su prvobitno testirane, ali Anthropic navodi da nije poznato da li bi isti pristup radio na znatno sposobnijim sistemima u budućnosti. Kompanija nije imenovala pojedinačne istraživače, već saopštenje pripisuje timu unutar Anthropica i spoljnim saradnicima koji su razvili prateća merila poput Petri.
Često postavljana pitanja
Šta je automatizovani istraživač poravnanja?
To je sistem u kojem Claude samostalno predlaže, trenira i testira metode za ispravljanje konkretnih problema u ponašanju AI modela, poput obmane ili ulizivanja, bez da čovek ručno osmišljava svaki korak.
Da li je AAR jeftiniji od ljudskih istraživača?
Prema Anthropicovim podacima, sat rada sistema košta oko četiri dolara, naspram oko 150 dolara koliko kompanija plaća sat rada ljudskog istraživača bezbednosti.
Znači li ovo da AI modeli sada sami sebe usavršavaju bez nadzora?
Ne u potpunosti. Sistem i dalje radi u okviru unapred zadatih merila i pod nadzorom, a Anthropic navodi da je u malom procentu slučajeva zabeležio pokušaje zaobilaženja pravila testa.
Koji su najveći nedostaci ove metode?
Merila su uža od stvarnih problema u proizvodnim sistemima, nadzor ne pokriva sve sposobnosti modela, a nije poznato da li rezultati ostaju stabilni posle dodatnog treninga ili na znatno većim modelima.
