Najmanja jedinica teksta koju model obrađuje, otprilike reč ili deo reči.

Token je komad teksta na koji model deli ulaz i izlaz, najčešće reč, deo reči ili znak. Modeli ne „čitaju" slova kao ljudi, već rade nad nizovima tokena.

Tokeni su i jedinica mere: veličina kontekstnog prozora i cena korišćenja API-ja izražavaju se u tokenima.

Newsletter

Budi u toku sa AI revolucijom

Prijavite se na naš newsletter i primajte ekskluzivne članke o AI agentima direktno u inbox