Okno kontekstowe definiuje granicę możliwości modelu w pojedynczym wywołaniu. Wszystko, co model może uwzględnić — instrukcje, dostarczony kod, dokumentacja biblioteki, wyniki poprzednich wywołań narzędzi — musi zmieścić się w tym oknie łącznie z generowaną odpowiedzią. W modelach 2026 roku typowe rozmiary są dalekie od ograniczeń z lat 2022-2023, kiedy cztery tysiące tokenów stanowiło standard. Modele flagowe oferują od stu dwudziestu ośmiu tysięcy do dwustu tysięcy tokenów, wybrane (Claude Opus 4.7, Gemini 3.1 Pro) milion tokenów lub więcej.
Praktyczna wartość dużego okna nie sprowadza się do prostego „więcej znaczy lepiej”. Zjawisko zwane lost in the middle, udokumentowane w badaniach akademickich i przez samych producentów modeli, opisuje degradację jakości, gdy istotne informacje są umieszczone w środkowej części długiego kontekstu. Modele zwykle najlepiej pamiętają treść z początku i końca kontekstu, gorzej z jego środka. Im dłuższy kontekst, tym bardziej zauważalny ten efekt. Konsekwencja praktyczna: wrzucanie do kontekstu wszystkiego „na wszelki wypadek” nie jest strategią optymalną. Lepszym podejściem jest dobór selektywny, oparty o wyszukiwanie w bazie wiedzy (RAG, omawiany w rozdziale dziewiątym) lub ręczne wskazanie modelowi najistotniejszych fragmentów.
Drugim kluczowym parametrem jest temperature. Jego nazwa odnosi się do termodynamiki — wyższa temperatura oznacza wyższą losowość. Przy zerze model wybiera zawsze najbardziej prawdopodobny token, co czyni odpowiedź deterministyczną — dwukrotne wywołanie z tym samym kontekstem daje identyczny wynik. Przy wartościach rosnących model rozważa mniej prawdopodobne tokeny, co wprowadza różnorodność kosztem spójności. Wartości w przedziale 0,3-0,7 stanowią zwykle dobry kompromis dla kodu produkcyjnego, przy czym dolny zakres (0-0,3) jest rekomendowany dla zadań wymagających poprawności i spójności, górny (0,5-0,7) dla zadań eksploracyjnych.