Metod kompanije Anthropic za obuku modela da budu korisni i bezbedni vođeni skupom pisanih principa.
Constitutional AI je pristup obuci koji je razvila Anthropic, u kome se model usmerava skupom jasnih pisanih principa, takozvanim ustavom, umesto da se oslanja isključivo na ljudsko ocenjivanje svakog odgovora. Model uči da sam kritikuje i popravlja svoje odgovore prema tim principima.
Kako radi u praksi
Postupak ima dva koraka. U prvom model dobija zadatak, napiše odgovor, a zatim mu se traži da taj odgovor oceni prema principima i da ga prepiše ako ga krši. Tako nastaje skup parova „slabiji odgovor i popravljena verzija". U drugom koraku se na tim parovima model dodatno obučava, pa popravljeno ponašanje postane podrazumevano, bez potrebe da čovek ocenjuje svaki slučaj.
Principi su napisani običnim jezikom i javno dostupni, u duhu „biraj odgovor koji je manje štetan", „ne pomaži u nezakonitoj radnji", „poštuj slobodu izbora sagovornika". Praktična posledica je da model na osetljivo pitanje ne odbija razgovor bez objašnjenja, već obično objasni šta može da uradi, a šta ne i zašto.
Zašto je bitno i gde se sreće
Klasična obuka na ljudskim ocenama je skupa, spora i teško dosledna, jer hiljade ocenjivača ne primenjuju isti kriterijum. Pisani principi taj kriterijum čine vidljivim i proverljivim: može se raspravljati o samom tekstu principa, a ne samo o rezultatu. Zbog toga je ovaj pristup uticao na širu praksu, pa se slične ideje danas sreću i kod drugih laboratorija.
Za korisnika je najvažnija posledica predvidljivost. Metod je deo onoga što asistent Claude čini pouzdanim u poslovnoj upotrebi, jer se ponašanje modela u graničnim situacijama može opisati i testirati.
Ista logika se preliva i na sisteme koje firme same grade. Kada tim napiše kratak spisak pravila za svog agenta, na primer šta nikada ne sme da pošalje napolje i kada mora da pita čoveka, dobija merilo prema kom se ponašanje agenta može proveravati testovima, umesto da se ocenjuje po utisku.
Česta zabluda
Prva zabluda je da ustav znači cenzuru ili politički stav ugrađen u model. Principi se pretežno tiču štete, poštenja i poštovanja sagovornika, a njihov tekst je javan, pa svako može da proveri šta u njemu piše.
Druga zabluda je da model tokom razgovora čita ustav i proverava svaki svoj odgovor. Ustav deluje u fazi obuke, u razgovoru model već nosi naučeno ponašanje, a ono što vi napišete u promptu ne menja te temelje. Treća zabluda je da ovakva obuka ukida greške: model i dalje može da halucinira ili da pogreši u proceni, jer se principi tiču toga šta je prihvatljivo, ne toga šta je činjenično tačno.