smartphone.uaТехнології. Досвід. Вибір.

Квантизація моделі: як стиснути ШІ, щоб він влазив у телефон

Квантизація - це спосіб зменшити розмір нейромережі, записуючи її параметри менш точними числами (наприклад, 4 біти замість 16). Модель стає меншою і швидшою, втрачаючи небагато якості.

Квантизація стискає модель, щоб вона влізла в телефон

Простими словами

Уяви фото на 50 мегапікселів, яке треба переслати в месенджері. Ти його стискаєш - файл у десятки разів менший, а на екрані телефона різниці майже не видно. Квантизація робить те саме з параметрами моделі: округлює числа, і модель «худне» в кілька разів, а відповідає майже так само.

Як це працює

  1. Параметри моделі зазвичай зберігають 16- або 32-бітними числами.
  2. Під час квантизації їх округлюють до 8, 4 чи навіть меншої кількості бітів.
  3. Модель займає в рази менше пам'яті і швидше працює на NPU чи відеокарті.
  4. Хитрі методи округлюють розумно, щоб найважливіші числа зберегли точність.
  5. Що сильніше стискання, то помітніше може впасти якість відповідей.

Менш точні числа - менший розмір моделі

Де ти це побачиш

Квантизовані моделі - основа ШІ на пристрої: смартфони і ноутбуки запускають саме стиснуті версії. Ентузіасти, які запускають моделі на своєму комп'ютері, бачать позначки на кшталт Q4, Q8, INT4, GGUF - це про рівень квантизації і формат файлу.

Чи важливо це при виборі

Для звичайного користувача це невидима робота виробника. Але якщо ти запускаєш локальні моделі - так: 4-бітна версія дає розумний баланс якості і розміру. А ще це пояснює, чому підтримка INT4 і INT8 у нейропроцесорі - корисна характеристика.

Міфи

  • Міф: Квантизована модель - зовсім інша, гірша модель. Насправді: Це та сама модель, просто з менш точними числами. У більшості завдань різниця невелика.
  • Міф: Можна стиснути до 1 біта без втрат. Насправді: Що сильніше стискання, то більше втрачається якість - чудес немає.

Часті питання

Що означає Q4 у назві файлу моделі?

Що параметри записані приблизно чотирма бітами - один з найпопулярніших варіантів.

Чи можна квантизувати модель самому?

Так, для відкритих моделей є готові інструменти.

Чому телефони люблять INT8 і INT4?

Бо NPU обробляє такі короткі числа швидше і з меншими витратами енергії.

Пов'язані терміни

Параметри моделі, ШІ на пристрої, Нейропроцесор (NPU), Відкриті моделі

← Терміни