Контекстне вікно: скільки ШІ може «пам'ятати» в розмові
Контекстне вікно - це максимальна кількість тексту (у токенах), яку мовна модель може враховувати одночасно: твої повідомлення, свої відповіді, завантажені файли та службові інструкції.
Простими словами
Уяви, що ти читаєш довгу книжку через вікно в листі картону. Видно лише одну сторінку - все, що раніше, залишилося за краєм. Контекстне вікно моделі - такий самий виріз. Невеликий виріз - модель «забуває» початок розмови. Великий - можна покласти під нього цілу книжку.
Як це працює
- Усе, що модель має врахувати, складають в одну довгу стрічку токенів.
- Якщо стрічка довша за вікно, найстаріші частини обрізають або стискають.
- Модель відповідає з урахуванням лише того, що потрапило у вікно.
- Сучасні моделі мають вікна від десятків тисяч до мільйона і більше токенів.
- Що більше вікно заповнене, то довше і дорожче модель обробляє запит.
Де ти це побачиш
Розмір контекстного вікна пишуть в описах моделей і тарифів: «128K», «200K», «1M токенів». Ти відчуваєш його, коли завантажуєш у чат-бот великий PDF, цілий код проєкту чи коли довга розмова раптом «забуває» домовленості з початку.
Чи важливо це при виборі
Так, якщо ти працюєш із великими документами - конспектами, книжками, кодом. Тоді обирай модель із великим вікном. Мій лайфхак для довгих розмов: періодично проси бота коротко підсумувати домовленості і починай новий чат з цього підсумку.
Міфи
- Міф: Велике вікно - бот пам'ятає все ідеально. Насправді: Навіть у межах вікна модель може пропустити деталь із середини довгого тексту.
- Міф: Контекстне вікно - це довготривала пам'ять бота. Насправді: Ні, це лише поточна розмова. Довготривала «пам'ять» - окрема функція деяких сервісів.
Часті питання
Скільки тексту в 128 тисячах токенів?
Приблизно як невелика книжка - сотні сторінок, залежно від мови.
Чому бот забув, що я казав на початку?
Найімовірніше, розмова стала довшою за вікно, і старі повідомлення відрізали.
Чи має локальна модель на телефоні велике вікно?
Зазвичай менше, ніж хмарні: їй бракує пам'яті пристрою.