Корпоративный поиск по документам с RAG и OCR
Создаём поиск по каталогам, инструкциям и базам знаний. Сотрудник задаёт вопрос, получает ответ и открывает страницу документа, на которую опирается система.
Обсудить задачу ↗Как искать по PDF, таблицам и сканам
Один и тот же артикул в каталоге может встречаться в оглавлении, таблице совместимости и перечне запчастей. Для вопроса о размере детали важно найти строку с нужной модификацией и сохранить заголовок столбца с единицами измерения.
На входе проверяем, какие страницы содержат текст, а какие требуют оптического распознавания (OCR). Сохраняем связь фрагмента с файлом и страницей. Затем проверяем точный поиск по обозначениям и смысловой поиск по вопросам сотрудников.
Когда система может дать ответ
В RAG-системе поиск передаёт найденные фрагменты языковой модели для подготовки ответа. Сотрудник может открыть источник и проверить формулировку. Если данных недостаточно или у пользователя нет доступа к документу, сценарий должен предусматривать отказ или уточнение.
Дообучение языковой модели имеет смысл рассматривать отдельно, например для устойчивого формата выдачи. Если нужная таблица не попала в индекс, сначала восстанавливаем её извлечение и проверяем поиск.
Как принять пилот корпоративного поиска
Отбираем реальные вопросы пользователей, заранее указываем правильные страницы и часть вопросов оставляем для итоговой проверки. Для каждого разбираем три результата.
- Нашлась ли исходная страница, включая случаи с сокращением, артикулом или номером документа.
- Подтверждает ли процитированный фрагмент весь ответ, в том числе число, единицу и версию документа.
- Как ведёт себя система, когда сведения отсутствуют, устарели или доступны другой роли.
Проекты и разборы
С чего начать
Расскажите, кто ищет информацию, в каких документах и с какими правами доступа. Приведите пример вопроса и нужного сотруднику ответа.
Рассказать о задаче ↗