Kompanija Anthropic objavila je 13. jula istraživanje u kojem tvrdi da vrednosti koje njen model Claude ispoljava u razgovorima nisu jednake za sve, već se menjaju u zavisnosti od toga koja se verzija modela koristi i na kom jeziku korisnik piše. Nalazi se oslanjaju na analizu više od 300.000 anonimizovanih razgovora sa platforme Claude.ai i predstavljaju nastavak ranije studije pod nazivom „Values in the Wild”.
Prema navodima istraživačkog tima, ista pitanja mogu da dobiju osetno drugačiji ton i prioritete u zavisnosti od jezika. Model, kako se navodi, na hindiju deluje toplije, na ruskom i engleskom stavlja veći naglasak na tačnost, a na arapskom se češće priklanja željama korisnika i kraćim odgovorima. Anthropic naglašava da ne zna pouzdano zbog čega do tih razlika dolazi.
Kako je merenje sprovedeno
Istraživači su analizirali 309.815 razgovora vođenih na platformi Claude.ai, raspoređenih na tri verzije modela, Sonnet 4.6, Opus 4.6 i Opus 4.7, i na dvadeset najčešće korišćenih jezika. Time je, prema objašnjenju kompanije, dobijeno oko 5.000 razgovora po svakoj kombinaciji modela i jezika, što je uzorak dovoljan da se izmere sistematske razlike, a ne pojedinačni ispadi.
Iz razgovora je izdvojeno 3.307 različitih vrednosti koje model ispoljava, od strpljenja i preciznosti do obazrivosti i podrške. Da bi taj obiman skup sveli na nešto merljivo, istraživači su primenili tehnike smanjenja dimenzionalnosti i vrednosti saželi u četiri glavne ose. Kompanija istovremeno upozorava da te četiri ose objašnjavaju svega petnaest odsto ukupne razlike u ponašanju modela, pa ih treba čitati kao okvir, a ne kao potpunu sliku.
Četiri ose vrednosti
Prva osa suprotstavlja popustljivost i opreznost, odnosno spremnost da se izađe u susret korisniku naspram nastojanja da se izbegne moguća šteta. Druga meri toplinu naspram strogosti, to jest emocionalnu podršku naspram insistiranja na tačnosti. Treća razdvaja dubinu i sažetost, odnosno detaljno objašnjenje naspram kratkog odgovora. Četvrta osa suprotstavlja iskrenost i izvršenje, gde iskrenost znači isticanje nesigurnosti i ograničenja, a izvršenje znači uglađen i samouveren odgovor.
Razlike među verzijama modela
Studija pokazuje da se i same verzije Claude modela međusobno razlikuju po tome čemu daju prednost. Sonnet 4.6, prema nalazima, naginje popustljivosti, toplini i sažetosti, češće koristi humor i potvrđuje ideje korisnika. Opus 4.7, sa druge strane, više naginje opreznosti, dubini i strogosti, sam ističe rizike i spremnije dovodi u pitanje pretpostavke sagovornika. Opus 4.6 opisan je kao verzija koja spaja strogost, popustljivost i sažetost, uz sklonost da ostane u okviru onoga što je traženo.
Te razlike nisu slučajne, već su, kako navodi Anthropic, posledica različitih pristupa u obuci i podešavanju svakog modela. Za korisnike to znači da izbor verzije nije samo pitanje brzine ili cene, nego i toga kakav odnos model uspostavlja u razgovoru, koliko lako pristaje na zahtev, a koliko upozorava na moguće probleme.
Vrednosti se pomeraju sa jezikom
Najviše pažnje privlači deo istraživanja koji se bavi jezicima. Prema rezultatima, toplina je najizraženija u razgovorima na hindiju, dok strogost i naglasak na tačnosti dostižu vrhunac na ruskom i engleskom. Arapski se izdvaja po popustljivosti i kratkim odgovorima, holandski po iskrenosti i isticanju nesigurnosti, a indonežanski po orijentaciji na izvršenje zadatka.
Anthropic izričito navodi da ne može sa sigurnošću da kaže odakle te razlike dolaze. Kao moguća objašnjenja pominju se neravnoteža u podacima na kojima je model obučavan, kulturne norme sadržane u tekstovima na pojedinim jezicima i namerne odluke prilikom podešavanja. Istraživači dodaju da razlike možda ne ostaju samo na nivou tona, već da u nekim slučajevima mogu da menjaju i prioritete modela, što je zaključak koji sami opisuju kao uznemirujuć.
Za govornike jezika koji nisu među najzastupljenijima u podacima, a srpski spada u tu grupu, ovakvi nalazi otvaraju konkretno pitanje. Ako se ponašanje modela menja od jezika do jezika, onda ni iskustvo korisnika u regionu nije nužno isto kao ono koje kompanija meri na engleskom. Studija ne obuhvata srpski jezik, pa se o tome za sada može govoriti samo posredno.
Ograničenja i otvorena pitanja
Kompanija je uz nalaze navela nekoliko ograničenja. Pored toga što četiri ose pokrivaju samo deo ukupne varijacije, istraživači ističu da nisu merili kako te razlike zapravo utiču na ishode za korisnike. Drugim rečima, utvrđeno je da se ponašanje modela razlikuje, ali ne i da li je neki od tih obrazaca bolji ili gori u praksi.
Metod se oslanja na automatsko označavanje vrednosti u razgovorima, pa deo procene i dalje počiva na tumačenju samog sistema koji se ispituje. Anthropic okvir predstavlja kao alat za praćenje ponašanja modela tokom vremena i kao osnovu za buduća merenja, a ne kao konačan sud o tome koje vrednosti model treba da ima. Rezultati se uklapaju u širi napor kompanije da metodama tumačenja modela pokaže šta se dešava unutar sistema koje razvija.
Često postavljana pitanja
Šta je Anthropic tačno izmerio u ovom istraživanju?
Kompanija je analizirala 309.815 anonimizovanih razgovora na platformi Claude.ai, na tri verzije modela i dvadeset jezika, i izdvojila 3.307 vrednosti koje je sažela u četiri ose. Cilj je bio da se utvrdi da li se i kako vrednosti modela razlikuju po verziji i jeziku.
Zašto se vrednosti modela menjaju sa jezikom?
Anthropic navodi da ne zna pouzdan uzrok. Kao moguća objašnjenja pominju se neravnoteža u podacima za obuku, kulturne norme u tekstovima na pojedinim jezicima i odluke prilikom podešavanja modela. Kompanija ističe da su te razlike zabeležene, ali ne i potpuno objašnjene.
Da li je srpski jezik obuhvaćen istraživanjem?
Nije. Studija pokriva dvadeset najčešće korišćenih jezika, među kojima srpski nije. Zbog toga se zaključci o ponašanju modela na srpskom mogu izvoditi samo posredno.
Šta ovi nalazi znače za korisnike?
Nalazi ukazuju da izbor verzije modela i jezik razgovora mogu da utiču na to koliko je odgovor sažet, oprezan ili topao. Anthropic istovremeno napominje da nije merio kako te razlike utiču na stvarne ishode, pa se ne može reći da je neki obrazac bolji od drugog.
