Kada AI model samouvereno iznese netačnu ili izmišljenu informaciju kao da je tačna.
Halucinacija je pojava u kojoj jezički model generiše tvrdnju koja zvuči uverljivo, ali nije tačna. Model predviđa verovatan nastavak teksta, a ne proverava činjenice, pa netačan podatak dolazi u istom sigurnom tonu kao i tačan.
Kako nastaje
Model je naučio kako izgleda tačan odgovor, ne i koji je tačan odgovor na svako pitanje. Kada mu podatka nema u sećanju ili je viđen retko i nedosledno, on popunjava prazninu najverovatnijim oblikom. Zato su tipične halucinacije baš one stvari koje imaju prepoznatljiv format: nepostojeći citat sa stranicom, izmišljen naziv funkcije u biblioteci, pogrešan datum ili broj člana zakona.
Poznat primer iz prakse su pravni podnesci u kojima su se našle presude koje nikada nisu donete, jer je model iz oblika naziva predmeta sastavio uverljivu referencu. Programeri istu pojavu vide kada model predloži metod koji ne postoji, ali se savršeno uklapa u imenovanje ostatka biblioteke.
Zašto je bitno i gde se sreće
Halucinacije su glavni razlog zašto AI ne treba puštati bez provere u pravne, medicinske i finansijske tokove, i zašto se u firmama uvek traži izvor uz odgovor. Kod agenata problem je ozbiljniji nego kod četa, jer se greška ne zaustavlja na tekstu: agent na osnovu izmišljenog podatka pošalje mejl ili upiše red u bazu.
Praktične mere su poznate: RAG koji odgovor vezuje za dokument, alati koji podatak dovlače umesto da ga model pamti, izričito uputstvo da model kaže kada nečega nema u materijalu i ljudska provera na mestima gde greška ima cenu.
Korisno je i znati kada da posumnjate. Rizik je najveći kod pitanja o retkim ili lokalnim temama, kod tačnih brojeva i datuma, kod imena ljudi i propisa i kod svega što se menjalo skoro. Kod takvih odgovora vredi tražiti izvor i otvoriti ga, jer i sam link ume da bude izmišljen.
Česta zabluda
Prva zabluda je da model laže ili izmišlja namerno. Nema namere, ima statistike: sistem koji uvek proizvodi tečan tekst nema ugrađen način da prepozna da tekst nije potkrepljen. Zato ni pitanje „jesi li siguran" ne pomaže mnogo, model će rado potvrditi ili se izviniti, u zavisnosti od toga kako ste ga pitali.
Druga zabluda je da jači model rešava problem. Bolji modeli halucinišu ređe i češće priznaju nesigurnost, ali pojava ostaje svojstvena načinu na koji ovi sistemi rade. Treća je verovanje da fino podešavanje na internim podacima ukida halucinacije, dok u praksi ono uči stil, a činjenice se mnogo pouzdanije donose pretragom.