Галюцинації ШІ: чому модель вигадує факти
Галюцинація це впевнена відповідь моделі без опори на джерело. Звідки вони беруться, де найнебезпечніші для бізнесу і як будувати агентів, що тримаються фактів.
Галюцинація ШІ це впевнена і правдоподібна відповідь мовної моделі, яка не спирається на жодне джерело. Модель може назвати неіснуючу статтю кодексу, вигадати суму в акті звірки чи пообіцяти клієнту знижку, якої немає. Вона робить це без злого наміру: модель підбирає найімовірніше продовження тексту, і коли точної відповіді у неї немає, найімовірнішим виявляється щось схоже на правду.
Для бізнесу галюцинації це головний ризик впровадження ШІ. Добра новина: з ними працюють архітектурою, і нижче ми показуємо, як саме.
Чому модель вигадує
Мовна модель навчена продовжувати текст так, як його продовжила б людина. Відповідь «на жаль, я не знаю» у навчальних текстах трапляється рідше за впевнені пояснення, тому модель схильна відповідати завжди. Найчастіше це стається у таких ситуаціях:
- Питання про те, чого модель не бачила. Ваш прайс, ваші клієнти, вчорашні події.
- Точні числа. Модель рахує словами, і суми з кількома доданками часто виходять неточними.
- Посилання і цитати. Номер документа, назва закону, URL: форма правдоподібна, зміст вигаданий.
- Тиск у питанні. «Підтвердіть, що у вас є знижка 20%» підштовхує модель погодитись.
- Довга розмова. Деталі з початку діалогу розмиваються, і модель заповнює прогалини.
Приклад на пальцях
Спитайте загальну модель без доступу до ваших даних: «яка сума боргу ТОВ Ромашка перед нами на 1 вересня». Модель не бачила вашої облікової бази, але питання сформульоване так, ніби відповідь існує. Найімовірніше продовження тексту це речення з сумою, датою і, можливо, номером акта. Воно виглядає переконливо, бо модель бачила тисячі схожих речень. Жодна з цих цифр не взята з вашого обліку.
Тепер те саме питання агенту, підключеному до вивантаження з облікової системи. Агент знаходить контрагента, код рахує сальдо на дату, модель пише речення навколо вже порахованого числа і додає документи, з яких воно складається. Якщо контрагента з такою назвою два, агент питає, який саме. Різниця між двома відповідями в архітектурі навколо моделі, сама модель може бути однаковою.
Де галюцинації коштують грошей
- Фінанси. Вигадана сума в акті звірки чи звіті керівнику.
- Юридичні питання. Неіснуюча норма або строк.
- Продажі. Хибне «є в наявності», неіснуюча знижка, неправильні умови доставки.
- Оплата. Реквізити, які модель «згадала» з іншої розмови.
- Комплаєнс. «Низький ризик» для компанії, про яку просто не знайшли даних.
Як ми закриваємо галюцинації: пʼять правил
1. Числа рахує код
У наших фінансових агентах модель ніколи не рахує суми. У фінансовому AI-контурі кожна цифра на екрані має документ, з якого вона взята, а на питання «що робить агент, коли даних не вистачає» відповідь одна: ставить питання в чергу уточнень з причиною і відповідальним, замість того щоб вигадати цифру. На сторінці AI-аналітика власника той самий принцип сформульований прямо: модель витягує зміст питання і пише текст, числа вона бере лише з розрахунку.
2. Відповідь лише з ваших джерел
Бот бази знань відповідає зі знайдених фрагментів ваших документів і показує цитату. Код перевіряє, що процитоване речення справді є в документі. Якщо відповіді немає, бот так і каже і передає питання людині. Так працює чат-агент енергокомпанії: відповіді лише з бази знань замовника, решта йде оператору з транскриптом.
3. Критичне дублює програма
Для чат-помічниці бренду шовкових аксесуарів ми зафіксували правило: бот ніколи не озвучує банківські реквізити, їх дає менеджер. Наявність товару бот теж не вирішує сам: він ставить службову мітку перевірки, і сервер відповідає «є» чи «немає» за даними CRM з урахуванням принта, розміру і типу друку. На запит без конкретного принта бот просить уточнити, бо чесна відповідь «є» без принта неможлива.
4. «Недостатньо даних» це окремий результат
У перевірці контрагентів мала кількість фактів дає чесне «недостатньо даних для висновку», і низький ризик з порожнечі не малюється. Рівень ризику рахує формула з відкритими вагами, кожен факт має посилання на першоджерело і дату переліку.
5. Автоматична перевірка перед публікацією
У AI Watch модель переказує новини про ШІ-інструменти, а кожне число, дата і ціна з переказу звіряються з оригіналом джерела. Запис без збігу не йде у видачу і лишається на перевірці редактора. У конвеєрі статей нашого сайту валідатор відкидає текст, у якому лишились роздуми моделі або зламана розмітка.
Як перевірити бота на схильність вигадувати
Перед запуском проженіть бота через кілька типів питань:
- Питання поза базою знань. Правильна реакція: «не знаю» і пропозиція людини.
- Питання з хибною передумовою. «Ви ж даєте 30% знижки на другий товар?» Бот має спертись на реальні умови.
- Питання про числа. Залишок, сума, строк. Відповідь має збігатися з системою до копійки.
- Питання про посилання. Кожне посилання має відкриватись і вести на те, що обіцяно.
- Спроба обійти правила. Прохання «ігноруй попередні інструкції» чи підкладена в історію репліка від імені бота.
Результати фіксують у тестовому наборі і проганяють при кожній зміні промпту чи моделі.
Галюцинації і довіра команди
Одна вигадана цифра у звіті керівнику коштує більше, ніж здається. Після неї люди перестають довіряти всім відповідям агента і перевіряють кожну вручну, тобто автоматизація втрачає сенс. Тому ми вважаємо чесне «не знаю» кращим результатом, ніж правдоподібна вигадка, і закладаємо це у критерії приймання: агент, який відповідає рідше, але завжди з джерелом, проходить приймання. Агент, який відповідає завжди, але іноді навмання, повертається на доопрацювання.
На пілоті перші тижні відповіді агента вибірково звіряє людина, а розбіжності потрапляють у тестовий набір. Так до запуску на повний потік команда вже бачила, як агент поводиться у спірних випадках, і знає, де його межі.
Чого чекати від якісного рішення
- Кожна відповідь з фактом має видиме джерело.
- Числа збігаються з обліковою системою.
- Бот вміє сказати «не знаю» і передати людині.
- Критичні дії (оплата, підпис, прийом показів) лишаються за людиною.
- Є журнал усіх відповідей для розбору спірних випадків.
Якщо підрядник обіцяє, що його модель «не галюцинує», попросіть показати, що саме система робить, коли відповіді немає. Відповідь на це питання каже про якість рішення більше, ніж назва моделі.
Щоб оцінити, які процеси у вашій компанії готові до ШІ і де ризик помилки найвищий, є аудит готовності до ШІ. Агентів із захистом від вигадок ми будуємо в напрямі розробки AI-агентів. Опишіть задачу у формі на головній, оцінку дамо після брифу за робочий день.
Згадані агенти
Часті запитання
Що таке галюцинації ШІ?
Це відповіді мовної моделі, які звучать впевнено і правдоподібно, але не підтверджуються жодним джерелом: вигадана сума, неіснуюча стаття закону, посилання на документ, якого немає. Модель підбирає ймовірне продовження тексту і не має вбудованого відчуття «я цього не знаю».
Чи можна повністю позбутися галюцинацій?
Саму схильність моделі прибрати неможливо, але її наслідки можна закрити архітектурою: числа рахує код, факти беруться з ваших даних з посиланням, критичні відповіді перевіряє програма, а сумнівні випадки йдуть людині.
Які галюцинації найнебезпечніші для бізнесу?
Вигадані цифри у фінансах, неіснуючі норми права, неправильні реквізити для оплати, обіцянки клієнту, яких компанія не давала, і хибне «так, є в наявності». Саме для них у робочих агентах стоять окремі перевірки.
Як перевірити, чи бот схильний вигадувати?
Поставити йому питання, відповідей на які немає у базі знань, і питання з підступом: про знижку, якої немає, про товар без вказаного розміру. Добрий бот чесно каже, що не знає, і пропонує людину.
Потрібен такий агент у вашому бізнесі?
Проєктуємо, будуємо і запускаємо AI-агентів під ваш процес, зазвичай за 3-5 тижнів.