Czym jest token w AI i dlaczego się za nie płaci

Token to najmniejsza jednostka tekstu, z którą pracuje model językowy: całe krótkie słowo, część długiego słowa, znak interpunkcyjny lub spacja. Modele czytają i piszą właśnie tokenami.

Prostymi słowami

Pamiętasz, jak w pierwszej klasie czytało się sylabami: „mle-ko”? Model językowy też „czyta po kawałku”, tylko jego kawałki to nie sylaby, a tokeny. Częste słowa to jeden token, rzadkie - kilka. Dzięki temu model może zapisać każde słowo, nawet zmyślone, z ograniczonego „alfabetu” kawałków.

Jak to działa

1. Przed przetwarzaniem tekst tnie się na tokeny specjalnym programem - tokenizerem.
2. Każdy token dostaje swój numer, bo sieć neuronowa pracuje na liczbach.
3. Model generuje odpowiedź również po jednym tokenie naraz.
4. Po angielsku jedno słowo to średnio trochę więcej niż token, w wielu innych językach, także po polsku, tokenów na słowo jest więcej.
5. Liczba tokenów decyduje, ile tekstu zmieści się w pamięci modelu i ile kosztuje zapytanie.

Gdzie to zobaczysz

O tokenach usłyszysz, czytając o limitach chatbotów, cenach API dla programistów czy oknie kontekstowym modelu: „128 tysięcy tokenów”, „1 milion tokenów”. Szybkość AI na urządzeniu też często mierzy się w tokenach na sekundę.

Czy to ważne przy wyborze

Dla zwykłego użytkownika - nie bardzo; wystarczy wiedzieć, że długie dokumenty mogą „się nie zmieścić”. Ale jeśli programujesz i używasz AI przez API, tokeny to pieniądze: płacisz osobno za wejście i wyjście. I jeszcze: lokalny model na laptopie czy telefonie, który daje 20+ tokenów na sekundę, wydaje się już szybki.

Mity

• Mit: Jeden token to jedno słowo. W rzeczywistości: Nie zawsze. Długie lub rzadkie słowo może zajmować kilka tokenów.
• Mit: Ten sam tekst kosztuje tyle samo w każdym języku. W rzeczywistości: Często nie: wiele języków potrzebuje więcej tokenów niż angielski.

Częste pytania

Ile tokenów ma strona tekstu?

Około kilkuset - zależy od języka i modelu.

Jak policzyć tokeny?

Niektóre usługi mają liczniki tokenów online, a API zwraca dokładną liczbę.

Czy tokeny w AI to to samo co kryptotokeny?

Nie, to zupełnie różne rzeczy o tej samej nazwie.

Powiązane pojęcia

Okno kontekstowe, Duży model językowy, Prompt, Parametry modelu