Pre nedelju dana Google je predstavio Gemini 4 Argon kao model kojim preuzima vrh industrije. Sada, prema pisanju agencije Bloomberg, deo zaposlenih kompanije tvrdi da taj model u svakodnevnom radu ne dostiže nivo koji sugerišu objavljeni rezultati testova, posebno u programerskim zadacima.
Gemini 4 Argon je zvanično najavljen 30. septembra, a Google ga je prvo pustio ograničenom krugu bezbednosnih stručnjaka kroz program Fairwind, pre šireg puštanja razvijačima, firmama i običnim korisnicima. Model izlazni limit podiže na milion tokena, sa prethodnih 64.000, a kompanija ga predstavlja kao vrhunski na testovima DeepSWE v1.1 za softverski inženjering, gde je, prema objavljenim podacima, postigao 77,9 odsto, na Vals Indeksu za ekonomski uticaj u finansijama i pravu, na AutomationBench za samostalno izvršavanje poslovnih zadataka i na CWE bench testu za otkrivanje bezbednosnih propusta, gde je deli prvo mesto sa rezultatom od 68 odsto. Najavljen je i kao snažan u analizi dugih video snimaka.
Razlika između testova i svakodnevnog rada
Prema Bloombergovom izveštaju od 1. oktobra, zaposleni koji su ranije dobili pristup modelu primetili su da Gemini 4 Argon dobro prolazi na standardizovanim merenjima, ali da, kako prenosi agencija, model se „muči da obavi određene programerske zadatke”, kao i sa izradom prednjeg dela veb sajtova. Jedan zaposleni je rekao da u kompaniji postoji „širok konsenzus” da je Gemini 4 na vrhu industrije, dok su drugi, prema istom izveštaju, izrazili bojazan da će model i dalje zaostajati za konkurentskim sistemima Anthropica i OpenAI. U izveštaju se navodi da standardizovani testovi ne hvataju nužno haotične, nepredvidive situacije koje se javljaju kada zaposleni model stvarno koriste na svakodnevnim zadacima. Agenti.rs je ranije pisao da je Google potvrdio da je Gemini 4 ušao u završnu fazu obuke krajem septembra, samo nekoliko dana pre zvaničnog lansiranja.
Odgovor Googlea
Google je agenciji Bloomberg saopštio da bi bilo netačno reći da Gemini 4 slabo radi u oblastima kao što je programiranje. Kompanija se pozvala i na izjavu Koraja Kavukčuoglua, šefa Google DeepMind, koji je rekao da je „sigurno da ćemo uvek biti na vrhu razvoja”. Razlika u ocenama unutar same kompanije ukazuje da standardizovani testovi, koliko god bili opsežni, ne hvataju uvek haotične situacije iz stvarne upotrebe, a slični prigovori već su upućivani i konkurentskim modelima drugih kompanija.
Za korisnike u Srbiji Gemini 4 Argon za sada nije dostupan kroz običnu Gemini aplikaciju, nego samo poslovnim klijentima i razvijačima preko API-ja, po uvodnoj ceni od 2 dolara za milion ulaznih i 10 dolara za milion izlaznih tokena. Po srednjem kursu NBS od 5. oktobra, 105,05 dinara za dolar, to je oko 210, odnosno 1.050 dinara, bez PDV-a. To se poklapa sa trenutkom kada Google besplatnoj i Plus verziji Gemini aplikacije od 9. oktobra ukida pristup modelu Pro, pa najjači alati kompanije sve više ostaju rezervisani za plative planove i poslovne korisnike, uključujući i one u Srbiji koji razvijaju softver ili vode firme putem veb alata kompanije.
Google najavljuje da će širu dostupnost Gemini 4 Argona developerima, firmama i običnim korisnicima otvoriti „što je pre moguće”, bez konkretnog datuma. Dok se to ne dogodi, ostaje otvoreno pitanje da li će razlika između rezultata na testovima i iskustva iz svakodnevnog rada, na koju upućuju sopstveni zaposleni Googlea, ostati prisutna i kada model stigne do šireg kruga korisnika.
