Arhitektura neuronske mreže koja je omogućila moderne jezičke modele, zasnovana na mehanizmu pažnje.
Transformer je arhitektura neuronskih mreža predstavljena 2017. godine u radu „Attention Is All You Need", koja je postala temelj svih modernih velikih jezičkih modela. Njena ključna ideja je mehanizam pažnje (engl. attention), koji modelu omogućava da poveže udaljene delove teksta.
Kako radi u praksi
Svaki token u ulazu se pretvara u vektor, niz brojeva koji nosi njegovo značenje i položaj u tekstu. Mehanizam pažnje zatim za svaki token računa koliko su mu ostali tokeni važni, pa značenje jedne reči nastaje iz njenog odnosa prema celom tekstu. U rečenici „banka je zatvorila račun jer je klijent prekršio ugovor" model tako povezuje „je" sa „klijent", a „račun" sa „banka", bez pravila koja bi to unapred propisala.
Presudna praktična prednost je što se ta računica radi za sve tokene istovremeno. Ranije arhitekture su tekst obrađivale redom, reč po reč, pa su bile spore na velikim količinama podataka. Transformer se dobro uklapa u grafičke procesore, i upravo je to omogućilo obuku na razmerama koje su dovele do današnjih modela.
Zašto je bitno i gde se sreće
Zahvaljujući transformeru modeli mogu efikasno da uče iz ogromnih količina podataka i da razumeju kontekst, što je otvorilo put asistentima poput Claude i ChatGPT-a. Ista arhitektura, uz manje izmene, danas radi i sa slikama, zvukom i kodom, pa je osnova i multimodalnih modela.
Transformer je i razlog zašto se toliko govori o hardveru. Pošto obuka i posluživanje ovakvih modela traže veliku paralelnu računicu, kupovina čipova i gradnja data centara postali su glavna stavka u planovima AI kompanija.
Vredi znati i da se arhitektura od 2017. godine menjala u detaljima, ali ne u osnovi. Poboljšanja se uglavnom tiču brzine, dužine teksta koji model može da obradi i načina obuke, dok mehanizam pažnje ostaje isti temelj i kod modela koji danas pišu kod ili gledaju slike.
Česta zabluda
Prva zabluda je da su transformer i jezički model isto. Transformer je arhitektura, LLM je model obučen na tekstu koji tu arhitekturu koristi. Ista arhitektura pokreće i modele koji nemaju veze sa jezikom, na primer u obradi slika ili u predviđanju struktura proteina.
Druga zabluda je da pažnja znači razumevanje u ljudskom smislu. Reč je o matematičkoj težini koja kaže koliko jedan deo ulaza utiče na drugi, a ne o svesnom fokusu. Treća je pretpostavka da je duži tekst za transformer besplatan: računica pažnje raste brže od dužine teksta, i to je jedan od razloga zašto je veliki kontekstni prozor tehnički zahtevan i skup.