Дифузійна модель: як ШІ малює картинки з шуму
Дифузійна модель - це тип генеративного ШІ, який створює зображення, відео чи звук, поступово очищуючи випадковий шум. На таких моделях працює більшість сучасних генераторів картинок.
Простими словами
Уяви запітніле вікно, на якому нічого не видно. Ти протираєш його потроху - і з туману поступово проступає пейзаж. Дифузійна модель починає з «туману» - випадкового шуму - і крок за кроком «протирає» його. Тільки протирає так, щоб проступило саме те, що ти описав у промпті.
Як це працює
- Під час навчання моделі показують мільйони картинок, на які поступово додають шум, аж до повного «снігу».
- Модель вчиться робити зворотне: на кожному кроці трохи прибирати шум.
- Щоб генерувати, беруть чистий випадковий шум.
- Модель за десятки кроків очищує його, орієнтуючись на текстовий опис.
- Тому одна й та сама фраза щоразу дає новий результат - бо стартовий шум різний.
Де ти це побачиш
Генератори зображень і відео, ШІ-заповнення фону на фото, розширення кадру за межі, «домалювання» в редакторах і в смартфонах. Більшість сервісів, де ти пишеш «намалюй...», використовують дифузійні моделі або їхніх родичів.
Чи важливо це при виборі
Для покупки - якщо хочеш генерувати і редагувати зображення на пристрої, знадобиться потужний чип і багато пам'яті. В інших випадках це працює в хмарі. І важлива навичка: такі моделі погано справляються з написами, кількістю пальців і точними деталями - перевіряй результат.
Міфи
- Міф: Модель знаходить готову картинку в базі і трохи змінює. Насправді: Ні, вона щоразу створює нове зображення з шуму.
- Міф: Дифузійна модель розуміє фізику світу. Насправді: Вона копіює закономірності вигляду, тому тіні, відбиття і пальці часто виходять неправильними.
Часті питання
Чому ШІ погано пише текст на картинках?
Бо вчився на вигляді букв як на візерунках, а не на правописі. Новіші моделі роблять це краще.
Що таке «seed»?
Число, яке задає стартовий шум. Однаковий seed і промпт дають схожий результат.
Чи є дифузійні моделі для відео?
Так, вони очищують шум одразу для багатьох кадрів, зберігаючи рух.