RAG и языковые системы
Юридический RAG на русском: OCR, поиск и проверка качества
Что изменилось при переносе RAG с английского юридического корпуса на русский: номера законов, BM25, OCR, границы статей и оценка на отложенной выборке.
При переносе поиска на русскоязычные юридические документы мы сохранили гибридный поиск и повторное ранжирование, но изменили обработку текста и сборку контекста. Основные проблемы оказались в номерах законов, сканах и границах статей. Проверять эти изменения пришлось отдельно от качества самой языковой модели.
С какой системы начался перенос
Исходный пайплайн участвовал в соревновании по RAG на англоязычном корпусе права Дубайского международного финансового центра (DIFC). Корпус содержал около 590 страниц. На вход система получала вопрос, на выходе возвращала JSON с ответом, признаком возможности ответить и списком страниц-источников.
В опубликованном разборе зафиксированы 24-е место из 355 команд и итоговый балл 0,578. Соревновательная метрика учитывала ответ, найденные страницы, телеметрию и скорость. Поэтому этот балл нельзя напрямую сравнивать с метриками последующего эксперимента на русском корпусе.
После соревнования архитектуру перенесли на российские правовые документы. Дальше речь идёт об этом конкретном корпусе и тестовом стенде. Результаты не задают универсальную точность юридических RAG-систем.
Как мы измеряли изменения
Русскоязычный стенд включал 109 документов и 9 082 фрагмента. Эталонный набор состоял из 122 вопросов: 105 с ответом в корпусе и 17 без ответа. Для настройки использовали 89 вопросов, для отложенной проверки — 33.
Вопросы без ответа нужны для проверки отказов: система должна распознать недостаток основания, даже если в документах есть похожие слова. Это отдельная задача, которую не описывает одна средняя оценка качества поиска.
Размер отложенной выборки ограничивает обобщение выводов. Если результаты одной и той же отложенной выборки многократно влияют на выбор решений, для итоговой независимой оценки потребуется ещё один набор вопросов.
- Попадание нормы в контекст: дошёл ли текст нужной нормы до модели после поиска и ограничения объёма контекста.
- Целостность статьи: получила ли модель статью целиком, а не отдельный фрагмент.
- Корректный отказ: отказалась ли система отвечать на вопрос, для которого в корпусе нет основания.
Какие части архитектуры сохранились
Поиск объединял смысловую и лексическую ветки. Результаты сводились через RRF — способ объединения ранжированных списков, — после чего проходили повторное ранжирование. Для прямого обращения к номеру статьи или дела использовался индекс метаданных.
Базовой единицей поиска оставалась страница PDF: по такой ссылке удобно открыть источник и проверить ответ. Структурированный вывод и программная проверка результата также сохранились. Однако страница как единица поиска не обязана совпадать с фрагментом, который в итоге получает модель.
Номер закона нужно обрабатывать как идентификатор
В исходной обработке «44-ФЗ» распадалось на отдельные токены. Поиск начинал находить документы с числом 44, хотя пользователь спрашивал про конкретный закон.
Для однозначного номера в запросе добавили фильтр по полю law_number. При запросе на сравнение нескольких законов такой фильтр не включали. Если фильтрация не давала результатов, поиск повторяли без неё: жёсткое ограничение не должно скрывать документы из-за ошибки в идентификаторе.
Этот пример показывает, почему проверка поиска должна включать короткие обозначения, номера и неоднозначные запросы. Смысловая близость текста не заменяет работу с идентификаторами.
Лексический поиск потребовал русскоязычной обработки
Вместо исходного rank_bm25 использовали Elasticsearch с настроенным анализатором русского текста. Добавили нормализацию «ё» в «е», русский стеммер и собственный список стоп-слов.
Слова «не», «без», «до» и «после» сохранили в обработке: в вопросе они могут менять условие, которое ищет пользователь. Синонимы вроде «гк» и «гражданский кодекс» применяли на этапе поиска, чтобы обновлять правила без перестроения всего индекса.
Для разных типов источников ввели отдельные квоты. В этом корпусе длинные комментарии могли вытеснять нужные нормативные фрагменты. Раздельный подбор помог контролировать состав контекста, который получает модель.
Документ без текста может исчезнуть из поиска
Часть решений в корпусе была представлена сканами. Без OCR они не давали текста для индексирования. В описанном эксперименте включение распознавания вернуло в корпус 19 решений, которые до этого отсутствовали в поиске.
Добавили проверку документов с нулевым числом фрагментов. Такой аудит нужен до настройки поиска: если содержание не попало в индекс, смена модели или формулировки запроса не исправит причину.
Границы статьи оказались важнее одного размера фрагмента
Физический разрыв PDF-страницы может попасть внутрь предложения или статьи. Поэтому для русскоязычного корпуса пришлось учитывать сокращения и восстанавливать продолжение текста за границей страницы.
В подходе small-to-big поиск по-прежнему находит небольшой фрагмент, а в контекст разворачивается более крупная смысловая единица. Здесь такой единицей стала статья. Но для этого сначала нужно правильно определить, какие страницы содержат её текст.
Первый вариант использовал сведения парсера, который смешивал страницы самой статьи и страницы, где её только цитировали. Переход к определению заголовков в тексте изменил результат. Отрицательный эффект оказался связан не только с идеей метода, но и с ошибкой его реализации.
Что показали сравнения на стенде
В таблице приведены значения из исходного авторского разбора. Настроечная и отложенная выборки показаны отдельно. Метрики описывают содержание контекста и отказ, а не долю юридически правильных ответов.
Для small-to-big доля целостных статей выросла на обеих выборках. Порог отказа также улучшил результат на вопросах без ответа. При этом сами изменения оценивались на небольшом наборе, поэтому перенос эффекта на другой корпус требует новой проверки.
| Изменение и метрика | Настройка: до → после | Отложенная: до → после |
|---|---|---|
| Small-to-big: целостность статьи | 0,150 → 0,891 | 0,290 → 0,882 |
| Порог отказа: корректные отказы на вопросах без ответа | 0,090 → 0,730 | 0,170 → 0,670 |
Какие изменения не дали ожидаемого результата
Глобальная замена страниц на статьи ухудшила попадание нужной нормы в контекст. Частичный вариант для кодексов и раскрытие только верхнего результата также уступали исходной версии. Эти эксперименты заставили отдельно проверить сборку текста и определение метрики.
Исправление заголовков и редакционного шума не дало ожидаемого роста качества поиска. Однако эти изменения оставались полезны для корректного отображения источников и последующего восстановления статьи.
Сложный промпт с дополнительными инструкциями также не оказался лучше простого в описанном тесте. Отсюда практический порядок: менять один элемент, фиксировать версию и сравнивать на одинаковой выборке.
| Вариант | Попадание нормы в контекст |
|---|---|
| Заменить страницы на статьи во всём корпусе | 0,526 |
| Раскрывать статьи только для кодексов | 0,795 |
| Раскрывать только первый результат | 0,641 |
Одного порога недостаточно при совпадении номеров
В наборе были вопросы про отсутствующие документы с номерами, совпадающими с существующими. Они получали высокие оценки похожести. Порог, который убирал такие ложные совпадения, одновременно отсеивал нужные результаты.
Для этого класса ошибок нужна дополнительная проверка номера и названия документа. Порог по оценке поиска решает только часть задачи: высокая похожесть не подтверждает, что найден именно тот источник.
Когда стоит добавлять граф связей
В описанном пайплайне полноценного графа не было. Сначала рассматривали раскрытие прямых ссылок между статьями: найти упомянутый документ по метаданным и добавить его к кандидатам для повторного ранжирования.
Отдельные сценарии требуют обратного или многошагового обхода связей. Их стоит сначала собрать в проверочный набор и оценить, насколько часто они встречаются. Только после этого выбирать структуру хранения и учитывать стоимость её обновления вместе с корпусом.
Название технологии не является критерием качества. Решение должно проходить вопросы, важные пользователям, и оставаться поддерживаемым при появлении новых редакций документов.
С чего начинать похожий проект
Сначала нужен проверочный набор вопросов и понятный путь от файла до поискового индекса. Затем можно улучшать подбор контекста и проверку ответа, сохраняя возможность сравнить каждое изменение с исходной версией.
- Проверить, что все нужные документы дают текст, а сканы проходят OCR.
- Определить обработку номеров, сокращений, редакций и типов источников.
- Разделить поиск фрагмента и сборку достаточного контекста.
- Проверять цитаты и вопросы без ответа отдельно от обычных вопросов.
- Измерять качество, задержку и стоимость на одном зафиксированном наборе.
- Добавлять раскрытие ссылок и граф только под подтверждённые сценарии.
