Sedamsto sedamdeset miliona dolara, toliko je sredinom oktobra startapu TypeSafe AI, tvorcu modela za brzo odlučivanje Jev, uložio fond Andreessen Horowitz, nepunih mesec dana nakon što je taj model izašao iz skrivenosti. Dok ulagači kompaniju sada vrednuju na 7,5 milijardi dolara, OpenAI je ove nedelje svoj konkurentski alat, Decisions API, otvorio svim korisnicima, čime se zaoštrava trka oko sasvim nove kategorije veštačke inteligencije: modela koji ne vode razgovor i ne pišu tekst, nego samo brzo biraju između ponuđenih opcija.
Jev je u septembru predstavljen javnosti kao model tipa System One, specijalizovan za probabilističko donošenje odluka poput usmeravanja upita ili provere transakcija, za razliku od modela tipa System Two kakvi su ChatGPT, Claude ili Gemini, koji korak po korak obrazlažu sopstveno rezonovanje. Kompaniju je 2024. osnovao Diogo Almeida, bivši istraživač OpenAI-ja, zajedno sa Erikom Gafnijem i Sašom Šengom.
Sta OpenAI nudi i po koju cenu
OpenAI je Decisions API najavio na svom razvojnom danu 29. septembra, pustio ga u ograničenom pristupu 6. oktobra, a 22. oktobra ga otvorio svim korisnicima. Umesto da gradi poseban, uže kalibrisan model, OpenAI je samo preuredio postojeći GPT-6 Luna tako da brže i jeftinije odgovara, bez dodatnog treniranja. Rezultat je vreme odgovora skraćeno sa jedne do tri sekunde na otprilike 100 do 180 milisekundi. Javna verzija dodaje i glasovni i slikovni unos, a OpenAI je rasporedio resurse geografski da bi dodatno smanjio kašnjenje.
„Veliki pomak kod Decisions API je brzina”, rekao je za TechCrunch Nikunj Handa, zadužen za OpenAI-jeve API proizvode, dodajući da iza alata trenutno stoji „obična Luna koja odrađuje posao”. Cena iznosi 0,10 dolara po milionu ulaznih tokena, više nego duplo od Jev-ove cene od 0,042 dolara, dok nijedna od dve kompanije ne naplaćuje izlazne tokene. Među prvim klijentima su Box, Datadog, Ramp i Speak, čiji je predstavnik naveo da je vreme između koraka u aplikaciji skraćeno sa 1,4 sekunde na 0,13 sekundi.
Jev i novac koji sve brže stiže
Jev je do nedavno bio ograničen na tekst, ali je verzija 1.14, objavljena nedelju dana pre OpenAI-jevog poteza, dodala podršku za slike i takozvane smart if naredbe. Na nezavisnom Artificial Analysis Decision Index zauzima treće mesto, a prema podacima startapa najčešće je upitivan model te vrste na platformi OpenRouter. Upravo na talasu tog zamaha, TypeSafe je 9. oktobra objavio rundu od 870 miliona dolara, koju je predvodio Andreessen Horowitz uz učešće Sequoia Capital i ranijeg ulagača DCVC, a partner a16z Martin Kasado ulazi u upravni odbor. Koliko firmi zaista koristi Jev ostaje nejasno: sam TypeSafe tvrdi da ga koristi trećina kompanija sa liste Fortune 500, dok je vodeći ulagač istog dana naveo cifru od 25 odsto.
Ko se jos utrkuje i sta to znaci za firme
Pored OpenAI-ja i TypeSafe-a, polje se brzo puni. Amazon je 1. oktobra objavio otvoreni kod Strands Decider 2B pod Apache 2.0 licencom, iako je deo analitičara primetio da je AWS u sopstvenim poređenjima izostavio i Jev i sopstveni model koji tek planira da objavi. Cloudflare je preko svoje Workers AI platforme do 9. oktobra uveo modele Clef i Clef flash, zamišljene da rade bliže samoj aplikaciji, a tu su i noviji D1 Ultra kompanije Liquid i Elephant 1 kompanije Base Lab.
Ne veruju svi da će uštede biti onolike koliko tvrde proizvođači. „Model za odlučivanje može znatno da smanji troškove inferencije, ali ako firmi zatim trebaju dodatni inženjerski resursi za održavanje i obradu grešaka, finansijska korist može da bude manja nego što se očekivalo”, upozorio je Aditja Randžan, viši inženjer za podatke u lancu H-E-B. Za domaće firme koje obrađuju veliki broj sličnih, ponavljajućih odluka, poput provere online plaćanja ili usmeravanja upita korisničke podrške, ovakvi specijalizovani modeli u teoriji otvaraju prostor za jeftiniju automatizaciju od one koja se oslanja na opšte jezičke modele u poslovnom odlučivanju, iako je alat za sada prvenstveno okrenut velikim razvojnim timovima na Zapadu. Za razliku od AI agenata koji planiraju i koriste alate u više koraka, ovi modeli rade tačno suprotno: namerno se odriču objašnjenja i rezonovanja u zamenu za brzinu. Da li će ostati zaseban segment tržišta ili samo prelazna faza dok veliki modeli ne postanu dovoljno brzi i jeftini sami po sebi, tek treba da se pokaže.
Slika: ilustracija
