Anthropic je u novom izdanju Claude Code, verziji 2.1.269 objavljenoj 11. septembra, dodao komandu claude plugin eval koja programerima omogućava da automatski provere da li njihovi dodaci i veštine za Claude Code zaista rade ono što tvrde. Kompanija je saopštila da komanda pokreće plugin protiv skupa test upita, ocenjuje odgovore i poredi rezultat sa situacijom u kojoj dodatak uopšte nije učitan.
Problem koji Anthropic pokušava da reši je star koliko i sam ekosistem dodataka za Claude Code: programer napiše veštinu ili MCP server, ona radi u trenutku kada je testira ručno, a zatim tiho prestane da se aktivira posle izmene prompta, nadogradnje modela ili refaktorisanja koda. Do sada nije postojao standardan način da se to otkrije pre nego što korisnik naiđe na problem.
Kako komanda proverava dodatke
Prema zvaničnoj dokumentaciji, claude plugin eval svaki test slučaj pokreće šest puta, po tri puta sa učitanim dodatkom i tri puta bez njega, a razlika između te dve grupe pokazuje šta dodatak stvarno donosi. Za ocenjivanje odgovora koriste se takozvani graderi, od kojih su četiri besplatna: regex proverava da li odgovor sadrži određeni obrazac, tool_order i tool_used proveravaju da li je i kojim redosledom pozvan određeni alat, a file_exists proverava da li je nastao očekivani fajl. Preostala dva gradera, llm i baseline, naplaćuju poziv modelu koji sudi o kvalitetu odgovora prema zadatom kriterijumu.
Rezultat provere je tabela sa skorovima i samostalan izveštaj u HTML formatu, u kojem programer vidi tačno u kojim test slučajevima dodatak popravlja odgovor, a u kojima ne menja ništa ili čak šteti.
Kapija za automatsku proveru
Uz obične parametre, komanda podržava i --threshold, --max-cost-usd i --trust-plugin, čime se pretvara u kapiju unutar sistema za kontinuiranu integraciju. Tim koji održava dodatak može podesiti prag ispod kog se promena automatski odbija, ograničiti koliko sme da košta jedno pokretanje provere i odrediti da li se dodatku veruje bez dodatne potvrde. Izlazni kodovi komande su napravljeni tako da ih CI alati mogu direktno čitati kao uspeh ili neuspeh.
Za korišćenje nove komande potrebna je verzija Claude Code 2.1.269 ili novija, što se proverava komandom claude --version, a nadogradnja se pokreće komandom claude update.
Deo šireg talasa izmena u alatu
Isto izdanje donosi i /output-style, komandu za listanje i prebacivanje između stilova ispisa, koja radi i preko Remote Control funkcije i u headless sesijama u oblaku. Anthropic poslednjih meseci redovno dodaje kontrole namenjene timovima, ne pojedinačnim korisnicima: ranije je uveo centralno upravljanje MCP serverima za firme i restriktovani režim rada agenata. Provera dodataka pre nego što stignu do korisnika uklapa se u isti pravac, s tim što je ovog puta meta kvalitet samog ekosistema dodataka, a ne ponašanje glavnog modela.
Anthropic nije saopštio da li planira da uvede obaveznu proveru za dodatke koji se objavljuju kroz zvaničnu listu, niti da li će rezultati eval testova biti javno vidljivi uz svaki dodatak. Za sada je alat na raspolaganju programerima da ga sami uključe u sopstveni proces razvoja.
Često postavljana pitanja
Šta tačno radi komanda claude plugin eval?
Pokreće test upite sa učitanim dodatkom i bez njega, ocenjuje odgovore pomoću šest tipova gradera i prikazuje razliku u kvalitetu koju dodatak unosi.
Da li je provera besplatna?
Četiri od šest gradera, regex, tool_order, tool_used i file_exists, ne koštaju ništa. Graderi llm i baseline naplaćuju poziv modelu koji sudi o odgovoru.
Koja verzija Claude Code je potrebna?
Verzija 2.1.269 ili novija. Trenutna verzija se proverava komandom claude --version, a nadogradnja komandom claude update.
Može li se provera ubaciti u CI proces?
Da, uz parametre --threshold, --max-cost-usd i --trust-plugin komanda vraća izlazne kodove koje CI alati mogu koristiti za automatsko odbijanje promena ispod zadatog praga.
Šta je /output-style?
Nova komanda iz istog izdanja koja služi za listanje i prebacivanje između stilova ispisa Claude Code alata, uključujući rad preko Remote Control funkcije i u headless sesijama.
