RAG

Визначення

RAG (Retrieval-Augmented Generation, генерація з доповненим пошуком) це метод, за якого мовна модель перед відповіддю знаходить у базі компанії потрібні фрагменти документів і будує відповідь саме на них, з посиланням на джерело. Так модель відповідає за актуальними регламентами, договорами і даними без донавчання.

Можна цитувати з посиланням на initask.com · Автор: Віталій Міняйло · Оновлено:

Головні ознаки

RAG
01
Пошук перед відповіддю
02
Відповідь з джерелом
03
Актуальність
04
Контроль доступу
RAG
01
Пошук перед відповіддю
02
Відповідь з джерелом
03
Актуальність
04
Контроль доступу

Пошук перед відповіддю

Запит спершу перетворюється на пошук у базі документів компанії.

Відповідь з джерелом

Кожне твердження можна перевірити за посиланням на документ.

Актуальність

Новий документ у базі одразу доступний моделі, без перенавчання.

Контроль доступу

Модель бачить лише ті документи, на які має право користувач.

Порівняння

КритерійRAGДонавчання моделіЗвичайний чат з моделлю
Звідки знанняВаші документи в момент запитуВаги моделі після навчанняЗагальні знання моделі
ОновленняДодати документ у базуНове навчанняНеможливе
Посилання на джерелоЄНемаєНемає
Вартість стартуНизькаВисокаМінімальна

Звідки знання

RAG
Ваші документи в момент запиту
Донавчання моделі
Ваги моделі після навчання
Звичайний чат з моделлю
Загальні знання моделі

Оновлення

RAG
Додати документ у базу
Донавчання моделі
Нове навчання
Звичайний чат з моделлю
Неможливе

Посилання на джерело

RAG
Є
Донавчання моделі
Немає
Звичайний чат з моделлю
Немає

Вартість старту

RAG
Низька
Донавчання моделі
Висока
Звичайний чат з моделлю
Мінімальна

Як впровадити

  1. Зібрати документи: регламенти, договори, інструкції, FAQ.
  2. Розбити їх на фрагменти і проіндексувати у векторній базі.
  3. Налаштувати пошук з урахуванням прав доступу.
  4. Підключити модель з вимогою відповідати лише за знайденим і з посиланнями.
  5. Перевірити на 50-100 реальних питаннях і доналаштувати пошук.

Типові помилки

  • Завантажити застарілі і суперечливі версії документів разом.
  • Не показувати джерело відповіді, через що їй ніхто не довіряє.
  • Різати документи на шматки без урахування структури розділів.
  • Відкрити всім працівникам документи з обмеженим доступом.
Приклад з проєкту

Юридичний AI-контур компанії працює з реєстром з 12 договорів і 14 сценаріями юриста: агент знаходить потрібний пункт договору і стежить за строками на 120 днів уперед.

Кейс: юридичний AI-контурКейс: юридичний AI-контур

Питання і відповіді

Що краще для бізнесу: RAG чи донавчання моделі?

Для відповідей за документами компанії майже завжди RAG: дешевше, документи оновлюються одразу, а відповідь має джерело. Донавчання доречне для стилю чи вузької задачі класифікації.

Чи можна зробити RAG на закритих даних?

Так. Векторну базу і модель можна розгорнути на сервері компанії, тоді документи не залишають її контур.

Скільки документів потрібно для RAG?

Працює і на десятках документів. Важливіше, щоб вони були актуальні та без суперечливих версій.