Najmanja jedinica teksta koju model obrađuje, otprilike reč ili deo reči.
Token je komad teksta na koji model deli ulaz i izlaz, najčešće cela reč, deo reči ili znak interpunkcije. Modeli ne čitaju slova kao ljudi, već rade nad nizovima tokena, i svaki odgovor nastaje tako što se predviđa token po token.
Kako radi u praksi
Podelu radi tokenizator, deo sistema koji tekst prevodi u brojeve po unapred naučenom rečniku. Česte reči dobiju jedan token, ređe se raspadaju na delove. Engleski tekst je u tim rečnicima najbolje pokriven, pa srpski, naročito sa dijakriticima i padežima, po pravilu troši više tokena za istu poruku. Gruba računica za srpski je oko dva do tri tokena po reči, dok se za engleski često uzima nešto manje od jednog i po.
Kada pošaljete pitanje, u račun ulaze i ulazni i izlazni tokeni. Kod agenata se to množi, jer se u svakom koraku ceo dosadašnji tok šalje ponovo: deset koraka nad velikim dokumentom ume da potroši višestruko više tokena nego što je sam dokument dugačak.
Zašto je bitno i gde se sreće
Token je jedinica mere za dve stvari koje svakodnevno određuju kako se gradi AI proizvod: veličinu kontekstnog prozora i cenu korišćenja API-ja. Cenovnici se izražavaju po milionu tokena, obično posebno za ulaz i za izlaz, jer je izlaz skuplji.
Zbog toga se u praksi rade optimizacije koje na prvi pogled deluju sitno: keširanje dela ulaza koji se ponavlja, sažimanje starijeg dela razgovora, slanje samo relevantnih odlomaka kroz RAG i izbor lakšeg modela za jednostavne korake. Na hiljadama poziva dnevno te odluke odlučuju da li je projekat isplativ.
Tokeni su i najbolji način da se AI trošak uopšte isprati. Umesto da se prati mesečni račun kao jedna stavka, meri se koliko tokena troši jedan zadatak, pa se lako vidi koji deo posla je skup i gde se isplati promeniti pristup ili model.
Česta zabluda
Najčešća zabluda je da je token isto što i reč. Nije, i razlika ume da bude velika baš u jezicima poput srpskog. Ista poruka na srpskom i engleskom neće koštati isto, što se lako previdi kada se budžet planira po broju karaktera.
Druga zabluda je da su tokeni samo tehnički detalj bez uticaja na kvalitet. Pošto model vidi tokene, a ne slova, loše mu idu zadaci koji traže rad sa pojedinačnim znakovima, na primer brojanje slova u reči ili obrtanje niza. Treća zabluda je da se plaća samo ono što korisnik otkuca: sistemsko uputstvo, priloženi dokumenti i celokupna istorija razgovora takođe se šalju u svakom pozivu i takođe se naplaćuju.