Навчання та інференс: дві стадії життя нейромережі
Навчання (training) - етап, коли нейромережа вчиться на величезних наборах даних. Інференс (inference) - етап використання вже навченої моделі: вона отримує запит і видає відповідь.
Простими словами
Навчання - це роки школи й університету: довго, дорого, з купою підручників. Інференс - це робота після навчання: лікар дивиться на пацієнта і ставить діагноз за хвилину. Він не вчиться медицині заново щоразу, а користується тим, що вже знає.
Як це працює
- Під час навчання модель проганяють через дані мільйони разів і підлаштовують її параметри.
- Це роблять у дата-центрах на тисячах прискорювачів, іноді місяцями.
- Після навчання параметри «заморожують» - модель готова.
- Інференс - це один прогін запиту через готову модель, без зміни параметрів.
- Інференс може працювати в хмарі або просто на твоєму телефоні, якщо модель невелика.
Де ти це побачиш
Коли виробник каже, що ШІ-функція працює «на пристрої», мова саме про інференс - навчали модель раніше, на серверах. Нейропроцесор (NPU) у смартфоні створений здебільшого для інференсу. А новини про «найбільші дата-центри для ШІ» - переважно про навчання.
Чи важливо це при виборі
Розуміння допомагає не вірити зайвому маркетингу. Телефон не «навчається» з нуля - він запускає готову модель. Тому важливі швидкість NPU і обсяг оперативної пам'яті: щоб модель влізла і відповідала швидко. Для більшості людей інференс у хмарі теж ок, якщо є інтернет і не шкода передавати дані.
Міфи
- Міф: Модель вчиться з кожною моєю розмовою. Насправді: Зазвичай ні - під час інференсу параметри не змінюються. Сервіси можуть використовувати розмови для майбутнього навчання, але це окремий процес і часто його можна вимкнути.
- Міф: Інференс - це дешево. Насправді: Один запит - так, але мільярди запитів щодня коштують компаніям дуже багато енергії.
Часті питання
Що дорожче - навчання чи інференс?
Навчання однієї великої моделі - дуже дороге, але інференс для мільйонів користувачів з часом може коштувати ще більше.
Чи може телефон донавчити модель?
Лише трохи і в окремих сценаріях - наприклад, клавіатура підлаштовується під твої слова.
Що таке «прискорювач ШІ»?
Спеціальний чип для обчислень нейромереж - від NPU у телефоні до великих серверних плат.
Пов'язані терміни
Нейропроцесор (NPU), ШІ на пристрої, Хмарний ШІ, Донавчання моделі, Параметри моделі