Anthropic objavio FlashProve za proveru AI modela

Sedamdeset do devedeset puta sporiji rad je cena koju AI model mora da plati da bi dokazao da je stvarno onaj za koji se predstavlja. Istraživački tim Anthropica objavio je 2. novembra FlashProve, otvoren sistem koji kriptografski potvrđuje da je određeni odgovor doista proizveo tačno onaj model čije ime stoji uz njega, a ne jeftinija zamena ili neko koji se lažno predstavlja kao taj model.

Rad su napisali istraživači Anthropicovog Frontier Red Tima, uz saradnike sa univerziteta EPFL i MIT i kompanija StarkWare i Succinct. Objavljen je kao istraživački prototip pod licencom Apache 2.0, zajedno sa tehničkim izveštajem, izvornim kodom i formalnim matematičkim dokazima, kompanija iza asistenta Claude ovakve radove redovno objavljuje javno.

Kada korisnik ili firma pošalje upit AI modelu, trenutno nema način da provere da je odgovor stvarno obradio model koji dobavljač navodi. U tekstu objavljenom na Anthropicovom sajtu, istraživači to formulišu direktno: „Korisnik koji danas postavi upit modelu nema način da provere da su odgovori stigli baš od modela za koji razvijač tvrdi da odgovara, a ne od modela koji je servis za usmeravanje tiho zamenio zbog troškova, ili čak od napadača koji je izmenio tok tokena.“ Autori rada navode i konkretan primer, programer može da tvrdi da je njegova biblioteka skenirana na bezbednosne propuste modelom specijalizovanim za sajber bezbednost, ili da je poslovni plan dobio odobrenje odgovarajućeg modela. Pitanje koje postavljaju je jednostavno, kako korisnik da provere takve tvrdnje.

Kako sistem dokazuje da je odgovor stigao od pravog modela

Sistem radi u dve faze. U prvoj, takozvanoj offline fazi, dobavljač modela objavljuje kratak kriptografski otisak, nazvan commitment, koji jednoznačno određuje koji skup težina (parametara) modela stoji iza odgovora, a da pri tome ne otkriva same težine. Ta faza traje oko 39 minuta po modelu, a jedan otisak važi za otprilike 16 miliona upita. U drugoj, online fazi, za svaki odgovor se generiše matematički dokaz da je baš taj model, sa tim otiskom, proizveo baš te izlazne tokene. Ko god ima otisak, upit i odgovor, može da provere dokaz, bez uvida u same težine modela.

Tehnika se zove zkSNARK, kratica za kriptografski dokaz koji ne otkriva ništa osim da je tvrdnja istinita, bez uvida u parametre modela ili međukorake računanja. Slična tehnika se već koristi u nekim blokčein sistemima. Istraživači su test izveli na modelu Llama 4 Maverick kompanije Meta, koji ima 400 milijardi parametara od kojih se po tokenu aktivira oko 17 milijardi. Dokazivanje radi na jednoj grafičkoj kartici H100 sa 24 procesorska jezgra, dok je za proveru dokaza na strani korisnika dovoljan običan procesor bez grafičke kartice, provera je trajala 17 sekundi na 24 jezgra.

Zašto je identitet modela postao problem

Anthropic navodi četiri oblasti u kojima bi provera identiteta modela mogla da bude korisna. Prva je sprečavanje prevare oko troškova, kada dobavljač tiho prebaci korisnika na jeftiniji model, ili obrnuto, kada se u testiranje ubaci skuplji model da bi rezultati izgledali bolje. Druga je otkrivanje neovlašćenog upletanja, na primer kompromitovanog servera ili modela koji se lažno predstavlja kao slabiji od stvarnog. Treća je provera porekla odluke, poput tvrdnje da je kod zaista proverio frontier model specijalizovan za bezbednost. Četvrta je regulatorna, kada nadzorno telo želi da potvrdi da provajder koristi samo odobrene modele.

Anthropic je ranije ove godine odložio obuku novog modela zbog krađe težina, pa ne čudi što FlashProve čuva same parametre modela u potpunoj tajnosti i otkriva samo kratak kriptografski otisak. Deo tehničke specifikacije FlashProve-a napisao je, prema navodima iz teksta, sam Claude, što se uklapa u obrazac iz ranijih Anthropicovih radova, poput slučaja kada je Claude osmislio kvantna kola sa znatno manje logičkih kapija nego inženjeri. Potreba za nezavisnom proverom uklapa se i u širi Anthropicov pravac, kompanija je ranije dozvolila nezavisnoj organizaciji METR da objavljuje nalaze o Claude-u bez prethodnog odobrenja.

Cena provere: do devedeset puta sporiji rad

Cena ove sigurnosti je, za sada, visoka. Prema radu, dokazivanje je između 66 i 94 puta sporije od običnog izvršavanja istog modela na popularnom okviru vLLM, zavisno od opterećenja. Paket od 24 upita obrađen je u 223 sekunde, što je oko 110 tokena u sekundi, dok jedan dokaz zauzima manje od 19 megabajta. FlashProve nije prvi pokušaj da se jezički modeli dokazuju kriptografski, ali je prvi koji dostiže brzinu preko sto tokena u sekundi uz otvoren kod.

Za firmu u Srbiji koja plaća premium cenu za pristup najjačem modelu nekog dobavljača, ali nema način da provere da li je upit zaista obradio taj model ili jeftinija zamena, ovakav dokaz bi jednog dana mogao da stoji uz račun kao potvrda da je plaćena usluga stvarno isporučena.

Istraživački prototip, ne proizvod

Anthropic je jasan da FlashProve, uprkos imenu koje zvuči kao gotov proizvod, ostaje istraživački rad. „Ovaj istraživački tekst predstavlja posredni napredak, a ne završenu istraživačku agendu“, navode autori, dodajući da sistem svesno objavljuju otvoreno da bi ga drugi mogli preuzeti i poboljšati. U tekstu se izričito kaže da trenutno ne postoje planovi da se FlashProve primeni ni u Anthropicu ni u bilo kojoj drugoj kompaniji.

Sistem ima i ograničenja. Dokaz važi samo za determinističko, takozvano greedy dekodiranje, dok odgovori generisani sa slučajnim uzorkovanjem, uobičajenim kada čet botovi variraju odgovore, mogu da se razlikuju od dokazane verzije. Pokriva samo prozor do 1.024 tokena po zahtevu i pretpostavlja da model ima arhitekturu tipa mešavine eksperata, dok napadi preko tajmovanja ostaju potpuno van domašaja ovog izdanja.

Autori poručuju da bi pristup trebalo da se prenese i na druge modele i arhitekture, uz napomenu da je trenutni troškovni teret, red veličine od stotinu puta sporiji rad, i dalje prevelik za svakodnevnu, masovnu primenu.