RAG
RAG (Retrieval-Augmented Generation, генерация с дополненным поиском) это метод, при котором языковая модель перед ответом находит в базе компании нужные фрагменты документов и строит ответ именно на них, со ссылкой на источник. Так модель отвечает по актуальным регламентам, договорам и данным без дообучения.
Можно цитировать со ссылкой на initask.com · Автор: Віталій Міняйло · Обновлено:Главные признаки
Поиск перед ответом
Запрос сначала превращается в поиск по базе документов компании.
Ответ с источником
Каждое утверждение можно проверить по ссылке на документ.
Актуальность
Новый документ в базе сразу доступен модели, без переобучения.
Контроль доступа
Модель видит только те документы, на которые у пользователя есть право.
Сравнение
| Критерий | RAG | Дообучение модели | Обычный чат с моделью |
|---|---|---|---|
| Откуда знания | Ваши документы в момент запроса | Веса модели после обучения | Общие знания модели |
| Обновление | Добавить документ в базу | Новое обучение | Невозможно |
| Ссылка на источник | Есть | Нет | Нет |
| Стоимость старта | Низкая | Высокая | Минимальная |
Откуда знания
- RAG
- Ваши документы в момент запроса
- Дообучение модели
- Веса модели после обучения
- Обычный чат с моделью
- Общие знания модели
Обновление
- RAG
- Добавить документ в базу
- Дообучение модели
- Новое обучение
- Обычный чат с моделью
- Невозможно
Ссылка на источник
- RAG
- Есть
- Дообучение модели
- Нет
- Обычный чат с моделью
- Нет
Стоимость старта
- RAG
- Низкая
- Дообучение модели
- Высокая
- Обычный чат с моделью
- Минимальная
Как внедрить
- Собрать документы: регламенты, договоры, инструкции, FAQ.
- Разбить их на фрагменты и проиндексировать в векторной базе.
- Настроить поиск с учетом прав доступа.
- Подключить модель с требованием отвечать только по найденному и со ссылками.
- Проверить на 50-100 реальных вопросах и донастроить поиск.
Типичные ошибки
- Загрузить устаревшие и противоречивые версии документов вместе.
- Не показывать источник ответа, из-за чего ему никто не доверяет.
- Резать документы на куски без учета структуры разделов.
- Открыть всем сотрудникам документы с ограниченным доступом.
Юридический AI-контур компании работает с реестром из 12 договоров и 14 сценариями юриста: агент находит нужный пункт договора и следит за сроками на 120 дней вперед.
Кейс: юридический AI-контурВопросы и ответы
Что лучше для бизнеса: RAG или дообучение модели?
Для ответов по документам компании почти всегда RAG: дешевле, документы обновляются сразу, а ответ имеет источник. Дообучение уместно для стиля или узкой задачи классификации.
Можно ли сделать RAG на закрытых данных?
Да. Векторную базу и модель можно развернуть на сервере компании, тогда документы не покидают ее контур.
Сколько документов нужно для RAG?
Работает и на десятках документов. Важнее, чтобы они были актуальны и без противоречивых версий.