Anthropic je 18. avgusta objavio rezultate istraživanja u kojem je njegov model Claude samostalno dizajnirao proteine, uz stopu uspešnosti veću od one koja se smatra uobičajenom u struci. Prema saopštenju kompanije, dizajni su testirani na 15 bioloških meta, a za 14 od njih model je pronašao bar jedno jedinjenje koje se uspešno vezuje za cilj. Rezultate su u laboratoriji proverili spoljni partneri, kompanije Adaptyv Bio i Twist Bioscience, koje se bave sintezom i testiranjem proteina.
Reč je o proteinskim mini vezivačima, malim veštački osmišljenim molekulima koji se hvataju za tačno određeni ciljni protein. Takvi molekuli se koriste u istraživanju bolesti i razvoju terapija, iako Anthropic naglašava da mini vezivači sami po sebi još nisu standardan terapeutski oblik, već korak koji prethodi daljem farmaceutskom razvoju.
Kako je test izveden
Za dizajn proteina korišćeni su model Mythos Preview u ranoj, istraživačkoj verziji i Opus 4.8, dok je za analizu hemijskih podataka korišćen Opus 5. Modeli su radili samostalno, sa pristupom internetu i korpusu naučnih radova o dizajnu proteina, kao i sa pristupom specijalizovanim modelima za predviđanje strukture i savijanja proteina koji rade na GPU jedinicama. Sistem je imao i konektore ka Google Drive, Slack, Gmail i naučnoj bazi BioRxiv, kako bi mogao da pretražuje literaturu i beleži međukorake.
Anthropic navodi da je kampanja dizajna trajala uz budžet od najviše 12.500 sati rada NVIDIA H100 grafičkih procesora kada je model radio na više meta paralelno, odnosno do 2.500 sati po jednoj meti kada je testiran na pojedinačnom cilju. U toku kampanje generisano je ukupno 1.320 predloženih dizajna proteina, od kojih je u laboratorijskom testu potvrđeno 354 kao stvarni vezivači za zadatu metu.
Rezultati po metama i poređenje sa prosekom struke
Meta na kojima je model testiran uključivale su, između ostalih, receptor PD-L1 koji je značajan u imunoterapiji raka, protein TREM2 povezan sa Alchajmerovom bolešću, faktor RBX1, citokin TNFα i receptor faktora rasta EGFR. Prema Anthropicovim podacima, uobičajena stopa uspeha u dizajnu proteina u struci iznosi između 10 i 15 odsto, dok je Claude u testu sa više meta paralelno postigao stopu od 26,7 odsto sa modelom Mythos Preview, odnosno 22,6 odsto sa Opus 4.8. Kada je testiran na samo jednoj meti, Mythos Preview je dostigao stopu od 35,1 odsto.
| Režim testa | Model | Stopa uspeha |
|---|---|---|
| Prosek u struci | ne primenjuje se | 10 do 15 odsto |
| Više meta paralelno | Opus 4.8 | 22,6 odsto |
| Više meta paralelno | Mythos Preview | 26,7 odsto |
| Jedna meta | Mythos Preview | 35,1 odsto |
| Meta RBX1 | Mythos Preview | 40 odsto |
Najizraženija razlika zabeležena je kod mete RBX1, gde je Claude ostvario stopu uspeha od 40 odsto, naspram 3,7 odsto koliko su u ranijem javnom takmičenju iz oblasti dizajna proteina prosečno postizali učesnici. Kod citokina TNFα, Opus 4.8 je uspeo da dizajnira vezivače koji reaguju unakrsno na srodne molekule, dok Mythos Preview na istom zadatku nije uspeo. S druge strane, kod proteina koji vezuje maltozu, takozvanog MBP, nijedan od 90 predloženih dizajna nije potvrđen kao uspešan, što Anthropic navodi kao primer meta na kojima model još ne uspeva dosledno. Prema kompaniji, kod najmanje šest meta postignuti su vezivači visokog afiniteta, a kod najmanje četiri od njih dizajni su dostigli ili premašili do sada najbolje objavljene rezultate u naučnoj literaturi.
Ovo nije prvi put da Anthropic ističe napredak Claude modela na zahtevnim naučnim i matematičkim zadacima. Ranije ovog meseca kompanija je saopštila da je istraživačka verzija modela ostvarila i najveći pojedinačni pomak u dokazivanju Rimanove hipoteze, jednog od najpoznatijih nerešenih problema u matematici.
Dodatni test na analitičkoj hemiji
Pored dizajna proteina, istraživanje je obuhvatilo i zadatak obrade sirovih podataka iz nuklearne magnetne rezonance i tečne hromatografije sa masenom spektrometrijom, standardnih metoda za proveru kvaliteta u hemijskim laboratorijama. Prema Anthropicu, model Opus 5 je analizu NMR podataka završio za 23 minuta, a LC-MS analizu za 19 minuta. Broj vodonikovih atoma koje je model odredio odstupao je od laboratorijskih rezultata za manje od 0,08, dok je izmerena čistoća uzorka iznosila 96,4 odsto, naspram 96,33 odsto koliko je pokazala laboratorijska analiza.
Ograničenja i bezbednosne brane
Anthropic upozorava da rezultati zahtevaju dodatnu proveru. Kompanija najavljuje da će naknadna karakterizacija u laboratoriji potvrditi tačne stope uspeha i merenja afiniteta, a u saopštenju ostaje i neobjašnjeno zašto je Opus 4.8 na zadatku sa TNFα uspeo tamo gde Mythos Preview nije. Istovremeno, mogućnost dizajniranja proteina ostaje namerno ograničena u modelu Claude Fable 5, jer Anthropic tu vrstu funkcije tretira kao osetljivu sa stanovišta biološke bezbednosti. Kompanija je ranije ublažila deo tih bezbednosnih filtera u Fable 5 kako bi smanjila broj lažnih blokada legitimnih naučnih upita, ali dizajn proteina i dalje spada u kategoriju funkcija sa dodatnim ograničenjima.
Anthropic dizajn proteina i analitičku hemiju predstavlja kao deo šire strategije pozicioniranja Claude modela u naučnim i istraživačkim primenama, uz farmaceutske i biotehnološke kompanije kao potencijalne korisnike. Da li će stope uspeha ostati na ovom nivou van kontrolisanih uslova kampanje i da li će nezavisni naučni timovi ponoviti slične rezultate, ostaje da se vidi u narednim mesecima.
