Maksimalna količina teksta (tokena) koju model može da „vidi" odjednom dok generiše odgovor.
Kontekstni prozor je obim teksta, meren u tokenima, koji model može da uzme u obzir u jednom trenutku. U njega ulazi sve: uputstvo sistema, vaše pitanje, prethodna prepiska, priloženi dokumenti i odgovor koji model piše.
Kako radi u praksi
Model nema pamćenje između poziva. Svaki put mu se šalje ceo razgovor iznova, pa je kontekstni prozor u stvari radni sto koji ima ivicu. Kada razgovor preraste tu ivicu, aplikacija mora nešto da izbaci ili sažme, najčešće najstarije poruke, i tada korisnik dobija utisak da je asistent „zaboravio" ono što je rekao na početku.
Praktičan primer je analiza ugovora od stotinu strana. Ako ceo dokument stane u prozor, model može da uporedi član sa početka sa aneksom na kraju. Ako ne stane, dokument se deli na delove, model vidi jedan po jedan, i veze između udaljenih delova se lako izgube. Kod agenata je isto: svaki poziv alata i svaki rezultat troše prostor u prozoru, pa dug niz koraka polako guši prvobitno uputstvo.
Zašto je bitno i gde se sreće
Veličina prozora određuje koje zadatke uopšte možete da postavite: čitanje celog repozitorijuma, poređenje više izveštaja, dugotrajan agentni posao. Modeli poput Claude poznati su po veoma velikom kontekstnom prozoru, što se u praksi najviše oseti kod dugih dokumenata i kod rada nad kodom.
Kontekst je i stavka na računu. Pošto se naplaćuje po tokenu, slanje istog velikog dokumenta u svakoj poruci brzo poskupi, pa ozbiljne implementacije koriste keširanje ulaza, sažimanje starijeg dela razgovora i pretragu umesto slanja svega odjednom.
Za korisnika iz toga sledi jednostavno pravilo: kada razgovor postane predugačak i asistent počne da luta, bolje je otvoriti novi i u njega prepisati samo zaključke, nego nastavljati u istom. Isto važi i za priloge, gde jedan relevantan dokument daje bolji odgovor od deset ubačenih za svaki slučaj.
Česta zabluda
Najčešća zabluda je da veliki prozor znači da model podjednako dobro pamti sve što je u njemu. U praksi pažnja nije ravnomerna: ono što je na početku i na kraju konteksta ima veću težinu od materijala zakopanog u sredini. Zato se najvažnije uputstvo ne stavlja u sredinu duge prepiske i zato više fokusiranog materijala često daje bolji rezultat od svega odjednom.
Druga zabluda je da je veliki kontekst zamena za RAG. Ubacivanje svih dokumenata u prozor je skupo i sporo, a i dalje ne rešava pitanje verzija i izvora. Treća je mešanje konteksta i memorije: kontekst nestaje kada se sesija završi, a pamćenje između sesija je poseban sloj koji podatke čuva i vraća u kontekst kada zatrebaju.