Що таке токен у ШІ і чому за них рахують гроші
Токен - це найменша одиниця тексту, з якою працює мовна модель: ціле коротке слово, частина довгого слова, розділовий знак чи пробіл. Моделі читають і пишуть саме токенами.
Простими словами
Пам'ятаєш, як у першому класі читали по складах: «мо-ло-ко»? Мовна модель теж «читає по шматочках», тільки її шматочки - не склади, а токени. Часті слова - цілим токеном, рідкісні - кількома. Так модель може записати будь-яке слово, навіть вигадане, з обмеженого «алфавіту» шматочків.
Як це працює
- Перед обробкою текст ріжуть на токени спеціальною програмою - токенізатором.
- Кожен токен отримує свій номер, бо нейромережа працює з числами.
- Модель генерує відповідь також по одному токену за раз.
- Англійською одне слово - це в середньому трохи більше за токен, українською токенів на слово зазвичай більше.
- Кількість токенів визначає, скільки тексту влазить у пам'ять моделі і скільки коштує запит.
Де ти це побачиш
Про токени ти почуєш, коли читаєш про ліміти чат-ботів, ціни на API для розробників або контекстне вікно моделі: «128 тисяч токенів», «1 мільйон токенів». Швидкість ШІ на пристрої теж часто міряють у токенах за секунду.
Чи важливо це при виборі
Для звичайного користувача - ні, головне знати, що довгі документи можуть «не влізти». А от якщо ти програмуєш і використовуєш ШІ через API, токени - це гроші: платиш окремо за вхідні і вихідні. І ще: на ноутбуці чи телефоні локальна модель, яка видає 20+ токенів за секунду, вже відчувається швидкою.
Міфи
- Міф: Один токен - це одне слово. Насправді: Не завжди. Довге чи рідкісне слово може займати кілька токенів.
- Міф: Українською і англійською однаковий текст коштує однаково. Насправді: Часто ні: для української зазвичай потрібно більше токенів.
Часті питання
Скільки токенів у сторінці тексту?
Приблизно кілька сотень - залежить від мови і моделі.
Як дізнатися кількість токенів?
У деяких сервісів є онлайн-лічильники токенів, а API повертає точну кількість.
Чи токени в ШІ - це те саме, що криптотокени?
Ні, це зовсім різні речі з однаковою назвою.
Пов'язані терміни
Контекстне вікно, Велика мовна модель, Промпт, Параметри моделі