Kompanija OpenAI objavila je 15. jula model pod imenom GPT-Red, sistem obučen da pronalazi bezbednosne propuste u drugim jezičkim modelima. Prema saopštenju kompanije, model je korišćen u obuci GPT-5.6 Sol i doveo je do znatno manjeg broja propusta pri napadima ubacivanjem instrukcija, poznatim kao prompt injection. GPT-Red ostaje interni alat i neće biti dostupan korisnicima ni programerima.
Reč je o pokušaju da se posao koji su do sada radili ljudski istraživači bezbednosti prebaci na mašinu i pusti da radi u razmerama koje ljudski timovi ne mogu da isprate. OpenAI navodi da je u automatizovano testiranje uloženo više od 700.000 sati rada grafičkih procesora.
Šta je prompt injection i zašto je važan
Ubacivanje instrukcija je napad u kome se zlonamerni nalog sakrije u sadržaj koji model čita, na primer u veb stranicu, dokument ili imejl. Model taj tekst ne razlikuje pouzdano od naloga korisnika, pa može da izvrši instrukciju napadača umesto da je tretira kao običan podatak.
Problem dobija na težini otkako jezički modeli prestaju da budu samo sagovornici i postaju agenti koji sami pretražuju internet, čitaju fajlove, šalju poruke i pozivaju druge alate. Model koji samo odgovara na pitanje može najviše da napiše nešto pogrešno. Agent koji ima pristup poštanskom sandučetu ili repozitorijumu koda može, ako ga neko prevari, da izvrši radnju sa stvarnim posledicama. Zbog toga se ova klasa napada poslednjih godina izdvojila kao jedna od glavnih prepreka širem poveravanju poslova agentima, i to je problem koji priznaje cela industrija, ne samo OpenAI.
Kako je model obučavan
OpenAI opisuje metod kao suparničko samoigranje, oblik učenja uslovljavanjem u kome se dva modela obučavaju istovremeno. Jedan, napadač, dobija nagradu kada uspe da izazove otkaz kod drugog modela. Drugi, branilac, uči da napad odbije, ali tako da pri tome uredno završi zadatak koji mu je zadat.
Kako branilac postaje otporniji, napadaču prestaju da rade jednostavni trikovi, pa mora da traži složenije. Time se, prema navodima kompanije, dobija petlja u kojoj svaka strana gura drugu naviše, bez potrebe da čovek stalno smišlja nove napade. OpenAI je taj mehanizam nazvao zamajcem za bezbednost i tvrdi da današnji modeli tako mogu da učine sutrašnje otpornijim.
Brojke koje je kompanija objavila
Prema podacima OpenAI, GPT-Red je uspeo u 84 odsto scenarija posrednog ubacivanja instrukcija, dok su ljudski timovi u istom testu uspeli u 13 odsto slučajeva. Kompanija dalje navodi da GPT-5.6 Sol beleži šest puta manje otkaza na njihovom najtežem merilu za direktno ubacivanje instrukcija u poređenju sa najboljim proizvodnim modelom od pre četiri meseca, i da model podleže u 0,05 odsto direktnih napada koje generiše GPT-Red. Za uspešnost na merilima koja pokrivaju programerske alate i pregledanje veba kompanija navodi cifru preko 97 odsto.
Vredi napomenuti da su sve ove brojke merene na testovima koje je sastavila sama kompanija i da ih nezavisni istraživači za sada nisu potvrdili. Poređenje sa ljudskim timovima takođe zavisi od toga koliko su vremena ti timovi imali i kako je zadatak postavljen, a te pojedinosti nisu detaljno objavljene.
Novi tip napada koji je sistem pronašao
Jedan nalaz iz objave izdvaja se kao konkretan doprinos. GPT-Red je otkrio napad koji je OpenAI nazvao lažnim lancem razmišljanja. Napadač ubacuje izmišljene korake u lanac razmišljanja ciljanog modela, pa model nastavlja da rezonuje kao da je te zaključke sam doneo i postupa po podmetnutim podacima.
Prema podacima kompanije, taj napad je bio uspešan u preko 95 odsto slučajeva na modelu GPT-5.1, dok je na GPT-5.6 Sol, posle obuke uz GPT-Red, pao ispod 10 odsto. Otkriće je zanimljivo i zato što pokazuje da automatizovani sistem može da naiđe na klasu napada koju ljudski istraživači nisu opisali, a ne samo da ponavlja poznate obrasce u većem broju.
Ograničenja koja kompanija priznaje
OpenAI u objavi navodi da GPT-Red nije zamena za ljudske istraživače, već dopuna, i da ljudi i dalje pronalaze napade koje sistem promaši. Kompanija navodi dve konkretne slabosti. Model nije naročito uspešan u napadima koji se odvijaju kroz duži razgovor napadača i mete, niti u napadima koji koriste slike umesto teksta.
Ostaje i pitanje koje kompanija u objavi ne rešava do kraja. Model koji je izričito obučavan da napada predstavlja alat sa ofanzivnim sposobnostima, pa je zadržan kao interni, bez pristupa spolja. To smanjuje rizik od zloupotrebe, ali istovremeno znači da tvrdnje o njegovoj snazi niko izvan kompanije ne može da proveri. Slično važi i za tvrdnju da uobičajene sposobnosti modela nisu oštećene ovim treningom, jer način na koji je to mereno nije objavljen u detalje.
Šta to znači u praksi
Za one koji grade agente nad ovim modelima, poruka je ograničena. Otpornija osnova smanjuje verovatnoću uspešnog napada, ali stopa različita od nule na testovima kompanije i dalje znači da se odbrana ne sme svesti na poverenje modelu. Uobičajene mere ostaju iste kao i pre ove objave, dakle ograničavanje dozvola koje agent ima, odvajanje podataka iz spoljnih izvora od instrukcija korisnika i traženje potvrde pre radnji koje se teško poništavaju.
Šire posmatrano, objava se uklapa u obrazac koji se ponavlja u industriji. Bezbednosni posao koji je do skoro tražio uske stručnjake sve češće se prepušta modelima, uz obrazloženje da ljudski timovi ne mogu da pokriju broj scenarija koji nastaje. Da li je taj prelaz opravdan, pokazaće nezavisne provere kojih za sada nema.
Često postavljana pitanja
Da li je GPT-Red dostupan korisnicima?
Nije. OpenAI navodi da je model interni i da neće biti pušten korisnicima ni programerima, jer je namerno obučavan da pronalazi i izvodi napade.
Šta je ubacivanje instrukcija?
To je napad u kome se zlonamerni nalog sakrije u sadržaj koji model čita, na primer u veb stranicu ili dokument. Model može da ga izvrši kao da je stigao od korisnika.
Znači li ovo da su agenti sada bezbedni?
Ne. Kompanija navodi da model podleže u 0,05 odsto direktnih napada iz njihovog testa, što nije nula, a sistem po sopstvenom priznanju slabije pokriva napade kroz duži razgovor i napade preko slika.
Da li su brojke nezavisno proverene?
Nisu. Svi navedeni rezultati potiču iz merila koja je sastavila OpenAI i objavljeni su u saopštenju kompanije.
