Tokenizacja stanowi pomost między reprezentacją tekstową kodu, którą widzi deweloper, a reprezentacją wewnętrzną modelu. Proces ten nie jest neutralny — sposób, w jaki konkretny model dzieli kod na tokeny, istotnie wpływa na trzy wymiary praktyczne: koszt wywołania, efektywne wykorzystanie okna kontekstowego oraz jakość odpowiedzi.
Algorytm byte-pair encoding, dominujący w modelach produkcyjnych, działa nieintuicyjnie dla programisty przyzwyczajonego do leksyków i parserów. BPE nie dzieli tekstu na tokeny zgodnie z gramatyką języka programowania. Granicami tokenów nie są średniki, nawiasy ani słowa kluczowe, lecz sekwencje znaków najczęściej współwystępujące w korpusie treningowym. W rezultacie ten sam fragment kodu tokenizuje się inaczej w różnych modelach, a tokenizacja kodu różni się istotnie od tokenizacji tekstu naturalnego.
Praktyczne konsekwencje są wymierne. Sto linii Pythona przy typowym stylu formatowania kosztuje od ośmiuset do półtora tysiąca tokenów w tokenizerze Claude, nieco mniej w tokenizerach OpenAI, znacznie mniej w tokenizerach wyspecjalizowanych pod kod. Komentarze tokenizują się efektywnie, jak tekst naturalny — dwa do czterech znaków na token. Wcięcia konsumują tokeny w sposób, który w tekście naturalnym nie występuje — cztery spacje wcięcia w Pythonie mogą kosztować osobny token. Długie identyfikatory, szczególnie spoza korpusu treningowego, dzielą się na kilka tokenów zamiast jednego, co istotnie zwiększa koszt dla kodu o specyficznym dla organizacji słownictwie.
Dla projektów generujących znaczny wolumen wywołań instrumentacja kodu pod kątem zużycia tokenów jest praktyką analogiczną do profilowania wydajności w klasycznej inżynierii. OpenAI udostępnia interaktywny tokenizer pod platform.openai.com/tokenizer, Anthropic analogiczne narzędzie. Biblioteka tiktoken dla Pythona oraz gpt-tokenizer dla JavaScript pozwalają precyzyjnie szacować koszt wywołań przed ich wykonaniem.