Token

Definicja

Token to jednostka tekstu, na którą model dzieli zdanie podczas przetwarzania. Może być słowem, częścią słowa lub znakiem. Liczba tokenów wpływa na koszt, czas i limit kontekstu.

Co to w zasadzie jest?

Model nie „czyta” całych słów, tylko tokeny.
Dłuższy tekst to więcej tokenów i wyższy koszt.
Tokeny decydują, ile treści mieści się w oknie kontekstowym.
W różnych językach tokenizacja bywa inna.

Praktyczne zastosowania (konkretne scenariusze)

Scenariusz 1: Kontrola kosztów API

Cel: kontrola kosztów API.
Wejście: plan długości odpowiedzi.
Kroki: limit tokenów → testy → monitoring.
Rezultat: przewidywalne koszty.
Zabezpieczenie: alerty kosztowe.

Scenariusz 2: Skracanie promptów

Cel: skracanie promptów.
Wejście: długi kontekst.
Kroki: streszczenie → selekcja → odpowiedź.
Rezultat: mniej tokenów.
Zabezpieczenie: weryfikacja kompletności.

Scenariusz 3: Optymalizacja RAG

Cel: optymalizacja RAG.
Wejście: fragmenty źródeł.
Kroki: dobór liczby fragmentów → testy.
Rezultat: lepsza jakość.
Zabezpieczenie: kontrola długości.

Typowe błędy i pułapki

Wklejanie zbyt długich dokumentów.
Brak limitów odpowiedzi.
Nieświadome przekraczanie limitów kontekstu.

Ryzyka i jak je ograniczać

Ryzyko 1: Ucięte odpowiedzi

Ryzyko: Ucięte odpowiedzi.
Jak ograniczać: ustaw limit i streszczaj.

Ryzyko 2: Wysokie koszty

Ryzyko: Wysokie koszty.
Jak ograniczać: kontrola liczby tokenów.

Ryzyko 3: Utrata kontekstu

Ryzyko: Utrata kontekstu.
Jak ograniczać: priorytetyzacja treści.

Checklista “zanim użyjesz”

Czy znasz limit tokenów modelu?
Czy ustawiono limity odpowiedzi?
Czy stosujesz streszczenia i selekcję?
Czy monitorujesz koszty?
Czy logujesz długości zapytań?

Diagram

flowchart LR
    A[Tekst]
    B[Tokenizacja]
    C[Liczba tokenów]
    D[Koszt i czas]
    E[Limit kontekstu]
    A --> B --> C --> D
    C --> E

Diagram pokazuje, że liczba tokenów wpływa na koszt, czas i pojemność kontekstu modelu.