Галюцинації ШІ: чому чат-бот впевнено вигадує

Галюцинації ШІ - це ситуації, коли нейромережа впевнено видає неправду: вигадані факти, неіснуючі книжки, неправильні цифри чи посилання на сторінки, яких немає.

Простими словами

Згадай учня, який не вивчив параграф, але біля дошки говорить гладко і впевнено, щоб не отримати двійку. Звучить переконливо, а по суті - вигадка. Мовна модель поводиться схоже: її навчили відповідати красиво і зв'язно, а не казати «я не знаю».

Як це працює

1. Модель генерує текст, вгадуючи найбільш імовірні наступні слова.
2. Якщо точних даних у неї немає, вона все одно складає правдоподібну відповідь.
3. Особливо часто це стається з рідкісними фактами, точними цифрами, датами й цитатами.
4. Модель не «бреше» навмисно - вона просто не відрізняє знання від правдоподібної вигадки.
5. Чим конкретніше і дивніше питання, тим вищий ризик.

Де ти це побачиш

Галюцинації бувають у всіх чат-ботах і ШІ-асистентах. Помітити їх найлегше, коли просиш посилання, джерела, характеристики конкретної моделі техніки чи біографію маловідомої людини.

Чи важливо це при виборі

Дуже. Якщо ти використовуєш ШІ для навчання чи роботи, вигадана цифра в рефераті чи звіті - твоя відповідальність, а не бота. Я раджу три прості правила: просити джерела і відкривати їх; перепитувати те саме іншими словами; важливе перевіряти на офіційних сайтах. Сервіси з пошуком в інтернеті помиляються рідше, але теж помиляються.

Міфи

• Міф: Нові моделі вже не галюцинують. Насправді: Помиляються рідше, але повністю проблему не розв'язано.
• Міф: Якщо бот дав посилання, значить це правда. Насправді: Посилання теж можуть бути вигаданими. Відкрий і перевір.

Часті питання

Як зменшити галюцинації?

Давай моделі точні дані в запиті, проси відповідати лише на їхній основі і писати «не знаю», якщо інформації немає.

Чи бувають галюцинації в генераторах картинок?

Так, у широкому сенсі: зайві пальці, неіснуючі написи, неправильні логотипи.

Що таке RAG і чи допомагає він?

Це коли модель спершу шукає інформацію в документах чи інтернеті, а потім відповідає. Помилок стає менше.

Пов'язані терміни

Велика мовна модель, Чат-бот, Пошук із доповненням, Промпт, Діпфейк