smartphone.uaТехнології. Досвід. Вибір.

Параметри моделі: що означають 7B, 70B і трильйони

Параметри моделі - це внутрішні числа нейромережі (ваги і зсуви), які налаштовуються під час навчання і зберігають усе, чого модель навчилася. Кількість параметрів часто пишуть у назві: 7B означає 7 мільярдів.

Параметри моделі - мільярди повзунків, які налаштовують під час навчання

Простими словами

Уяви величезний мікшерний пульт у студії звукозапису з мільярдами повзунків. Під час навчання кожен повзунок трохи рухають, доки «звучання» моделі не стане правильним. Параметри - це положення всіх цих повзунків. Що їх більше, то тонше можна налаштувати «звук», але й пульт стає величезним і дорогим.

Як це працює

  1. Кожне з'єднання між нейронами має своє число - вагу.
  2. Під час навчання мільярди цих чисел поступово змінюють, щоб модель помилялася менше.
  3. Після навчання числа зберігають у файл - це і є модель.
  4. Розмір файлу залежить від кількості параметрів і точності чисел.
  5. Під час роботи всі потрібні параметри мають поміститися в пам'ять - оперативну чи відеопам'ять.

Чим більше параметрів, тим більше пам'яті потрібно

Де ти це побачиш

Кількість параметрів пишуть у назвах відкритих моделей (Llama 3 8B, Qwen 72B, Mistral 7B) і в новинах про нові моделі. Для ШІ на пристрої використовують невеликі моделі - від кількох сотень мільйонів до кількох мільярдів параметрів.

Чи важливо це при виборі

Якщо хочеш запустити модель на своєму ноутбуці чи телефоні - так. Грубо: модель на 7 мільярдів параметрів у стиснутому вигляді займає кілька гігабайтів пам'яті. Тому для локального ШІ я дивлюся на обсяг RAM. А от для хмарних чат-ботів кількість параметрів тебе майже не стосується.

Міфи

  • Міф: Більше параметрів - завжди розумніша модель. Насправді: Ні. Нова мала модель, навчена на якісніших даних, часто обганяє стару велику.
  • Міф: Параметри - це кількість фактів, які знає модель. Насправді: Знання розподілені по всіх параметрах, а не лежать по одному факту в кожному.

Часті питання

Що означає B у назві моделі?

Billion - мільярд параметрів. 70B - 70 мільярдів.

Скільки параметрів у найбільших моделях?

Точні цифри компанії часто не розкривають, але оцінки - сотні мільярдів і більше.

Скільки пам'яті потрібно для моделі 7B?

У стиснутому (квантизованому) вигляді - кілька гігабайтів; без стиснення - помітно більше.

Пов'язані терміни

Квантизація моделі, Нейронна мережа, Відкриті моделі, ШІ на пристрої

← Терміни