Arhitektura neuronske mreže koja je omogućila moderne jezičke modele, zasnovana na mehanizmu pažnje.
Transformer je arhitektura neuronskih mreža predstavljena 2017. godine koja je postala temelj svih modernih velikih jezičkih modela. Njena ključna ideja je mehanizam pažnje (engl. attention), koji modelu omogućava da poveže udaljene delove teksta.
Zahvaljujući transformeru modeli mogu efikasno da uče iz ogromnih količina podataka i da razumeju kontekst, što je otvorilo put asistentima poput Claude.
Povezani pojmovi