Anthropic je 17. septembra objavio prve rezultate novog internog pokazatelja pod nazivom R&D Automation Index, prema kojem njegov model Claude trenutno vodi 26 odsto istraživačko razvojnog rada unutar same kompanije. To je prvi put da je Anthropic javno objavio konkretan broj koji pokazuje koliko je sopstveni razvoj kompanije već automatizovan njenim vlastitim AI sistemom.
Prema saopštenju objavljenom preko Anthropic Instituta, taj udeo je početkom godine bio, kako kompanija navodi, praktično zanemarljiv. Claude danas, prema istim podacima, učestvuje u oko 90 odsto svih zadataka koje obavljaju istraživači i inženjeri kompanije, s tim da se to učešće kreće od obične pomoći pri pisanju koda do potpuno samostalnog izvršavanja zadataka bez ljudske intervencije u samom procesu rada. Anthropic navodi da je indeks zamišljen kao alat koji redovno prati sopstveni napredak, a ne kao jednokratna marketinška objava, i najavljuje da će metodologiju s vremenom dopunjavati novim kategorijama zadataka.
Skala od pet nivoa automatizacije
Metodologija se oslanja na skalu automatizacije koju je ranije razvila istraživačka organizacija Epoch AI, a koja ide od nivoa AL0, gde AI uopšte ne učestvuje u zadatku, do AL5, gde sistem radi u potpunosti samostalno i bez ikakvog čoveka u petlji. Nivo AL4, na kojem Anthropic tvrdi da se nalazi 26 odsto merenog rada, znači da AI može da završi većinu zadatka od početka do kraja na osnovu jednog opšteg uputstva, dok čovek zadržava ulogu nadzornika. Kompanija je saopštila da je više od 90 odsto svih izmerenih kategorija istraživačko razvojnog rada u avgustu dostiglo nivo AL3 ili viši, dok nijedna kategorija još nije stigla do potpuno autonomnog nivoa AL5.
Ljudske i AI procene se najčešće poklapaju
Anthropic je proveravao i pouzdanost sopstvene metodologije, upoređujući ocene koje o istim zadacima daju ljudi i model. Prema objavljenim podacima, model i čovek su se potpuno složili oko nivoa automatizacije u 59 odsto slučajeva, dok se dva ljudska ocenjivača međusobno slažu u samo 35 odsto slučajeva. Kada se dozvoli odstupanje od jednog nivoa na skali, poklapanje ljudi i modela raste na 97 odsto. Uz indeks, kompanija je objavila i podatak da na njenoj internoj platformi istovremeno radi oko 30.000 AI agenata koji obavljaju istraživačke i inženjerske zadatke, što je deo šireg nadzora nad time kako se automatizovani rad odvija unutar firme. Anthropic pritom napominje da ti agenti ne rade nezavisno jedni od drugih u smislu donošenja konačnih odluka, nego su raspoređeni po timovima i projektima na način sličan ljudskim saradnicima, s tim da svaki tim i dalje ima zaposlene koji odobravaju i preuzimaju odgovornost za konačan rezultat.
Merenje uoči izlaska na berzu
Objava dolazi u trenutku kada se Anthropic priprema za jedan od potencijalno najvećih prvih javnih ponuda akcija u istoriji tehnološkog sektora. Kompanija koja se sprema za tu ponudu i koja je nedavno najavila drugi uzastopni profitabilan kvartal tako investitorima šalje konkretan, brojčani argument da njen sopstveni proizvod već ubrzava dalji razvoj kompanije. Deo tog rada korisnici mogu i sami da vide, otkako je kompanija omogućila Claude-u da samostalno radi u pozadini na računaru dok korisnik obavlja druge zadatke.
Anthropic je istovremeno naglasio da je reč o prototipu metodologije i da ocene i dalje u velikoj meri zavise od procene samih zaposlenih koji rade na tim zadacima, a ne od nezavisne spoljne provere. Kompanija je najavila da će slične pokazatelje redovno objavljivati i dalje, kao deo šireg nastojanja da izmeri tempo kojim veštačka inteligencija utiče na sopstveni razvoj u laboratorijama koje je grade.
Često postavljana pitanja
Šta je R&D Automation Index?
To je interni pokazatelj Anthropica koji meri koliki deo istraživačko razvojnog rada u kompaniji obavlja AI, tako što se svaki tip zadatka ocenjuje po skali automatizacije i zatim agregira u jedinstven procenat.
Šta znači da je Claude na nivou AL4?
Znači da model može da završi većinu zadatka od početka do kraja na osnovu jednog opšteg uputstva, dok čovek i dalje nadgleda proces, za razliku od nivoa AL5 na kojem bi sistem radio potpuno samostalno.
Da li to znači da AI kod Anthropica radi bez ljudskog nadzora?
Ne. Prema objavljenim podacima nijedna kategorija istraživačko razvojnog rada još nije dostigla nivo pune autonomije, a čak i zadaci na najvišem izmerenom nivou i dalje uključuju ljudski nadzor.
Zašto Anthropic sada objavljuje ove podatke?
Kompanija ih predstavlja kao deo nastojanja da izmeri tempo automatizacije u AI laboratorijama, a objava dolazi i u periodu kada se Anthropic priprema za prvu javnu ponudu akcija, gde ovakvi pokazatelji investitorima nude konkretan dokaz o produktivnosti sopstvenog modela.
