RAG

Определение

RAG (Retrieval-Augmented Generation, генерация с дополненным поиском) это метод, при котором языковая модель перед ответом находит в базе компании нужные фрагменты документов и строит ответ именно на них, со ссылкой на источник. Так модель отвечает по актуальным регламентам, договорам и данным без дообучения.

Можно цитировать со ссылкой на initask.com · Автор: Віталій Міняйло · Обновлено:

Главные признаки

RAG
01
Поиск перед ответом
02
Ответ с источником
03
Актуальность
04
Контроль доступа
RAG
01
Поиск перед ответом
02
Ответ с источником
03
Актуальность
04
Контроль доступа

Поиск перед ответом

Запрос сначала превращается в поиск по базе документов компании.

Ответ с источником

Каждое утверждение можно проверить по ссылке на документ.

Актуальность

Новый документ в базе сразу доступен модели, без переобучения.

Контроль доступа

Модель видит только те документы, на которые у пользователя есть право.

Сравнение

КритерийRAGДообучение моделиОбычный чат с моделью
Откуда знанияВаши документы в момент запросаВеса модели после обученияОбщие знания модели
ОбновлениеДобавить документ в базуНовое обучениеНевозможно
Ссылка на источникЕстьНетНет
Стоимость стартаНизкаяВысокаяМинимальная

Откуда знания

RAG
Ваши документы в момент запроса
Дообучение модели
Веса модели после обучения
Обычный чат с моделью
Общие знания модели

Обновление

RAG
Добавить документ в базу
Дообучение модели
Новое обучение
Обычный чат с моделью
Невозможно

Ссылка на источник

RAG
Есть
Дообучение модели
Нет
Обычный чат с моделью
Нет

Стоимость старта

RAG
Низкая
Дообучение модели
Высокая
Обычный чат с моделью
Минимальная

Как внедрить

  1. Собрать документы: регламенты, договоры, инструкции, FAQ.
  2. Разбить их на фрагменты и проиндексировать в векторной базе.
  3. Настроить поиск с учетом прав доступа.
  4. Подключить модель с требованием отвечать только по найденному и со ссылками.
  5. Проверить на 50-100 реальных вопросах и донастроить поиск.

Типичные ошибки

  • Загрузить устаревшие и противоречивые версии документов вместе.
  • Не показывать источник ответа, из-за чего ему никто не доверяет.
  • Резать документы на куски без учета структуры разделов.
  • Открыть всем сотрудникам документы с ограниченным доступом.
Пример из проекта

Юридический AI-контур компании работает с реестром из 12 договоров и 14 сценариями юриста: агент находит нужный пункт договора и следит за сроками на 120 дней вперед.

Кейс: юридический AI-контурКейс: юридический AI-контур

Вопросы и ответы

Что лучше для бизнеса: RAG или дообучение модели?

Для ответов по документам компании почти всегда RAG: дешевле, документы обновляются сразу, а ответ имеет источник. Дообучение уместно для стиля или узкой задачи классификации.

Можно ли сделать RAG на закрытых данных?

Да. Векторную базу и модель можно развернуть на сервере компании, тогда документы не покидают ее контур.

Сколько документов нужно для RAG?

Работает и на десятках документов. Важнее, чтобы они были актуальны и без противоречивых версий.