За пределами RAG: как системы ИИ находят и структурируют знания

Когда ИИ читает закон, часть 1. Что юристам стоит знать о поиске в системах ИИ и что специалистам по ИТ стоит знать о юридических текстах.

Многие компании и юридические фирмы сейчас тестируют языковые модели на договорах, нормативных актах и внутренних политиках. Демонстрация выглядит впечатляюще. Потом задают реальный вопрос и получают уверенный ответ со ссылкой не на ту статью. Обычно проблема не в языковой модели, а в шаге перед ней: в том, как система находит информацию. В этой статье мы простым языком объясняем этот шаг.

1. Зачем ИИ нужны внешние знания

Большая языковая модель учится на огромных объёмах текста во время обучения. Эти знания не хранятся как файлы в папке. Они распределены по внутренним параметрам модели. Поэтому они застывают в момент обучения: о регламенте, опубликованном в прошлом месяце, модель не знает. А если тема отсутствовала в обучающих данных, модель справляется плохо и не обязательно сообщает об этом. Так и возникают галлюцинации.

Стандартное решение называется Retrieval Augmented Generation, или RAG (генерация, дополненная поиском). Модель остаётся автором, но сначала сверяется с библиотекой, в которой можно искать. Эту библиотеку можно обновлять в любой момент без повторного обучения модели.

Подвох в том, что модель работает только с тем, что получила, и плохо отличает релевантный материал от просто похожего. В одном контролируемом исследовании всего один фрагмент, близкий по теме, но не содержащий ответа, снижал точность на величину до 25 процентов. При нескольких таких фрагментах потери достигали 67 процентов.

Для юристов: подключение ИИ к вашим документам не устраняет проблему надёжности. Оно её переносит. Нашла ли система правильный источник, отсеяла ли шум и можно ли проверить ответ по этому источнику?

2. Поиск по ключевым словам и векторный поиск

Поиск по ключевым словам (классический метод называется BM25) ранжирует документы по совпадающим словам. Он точен, когда слова совпадают дословно: номер нормы, код продукта, определённый термин. Он слаб, когда та же мысль выражена другими словами.

Векторный, или семантический, поиск превращает текст в числа, отражающие смысл, и ищет тексты, близкие по смыслу. Но похожее не значит релевантное. Спросите о цвете коня Наполеона, и система может выдать фрагмент о лошади Жозефины. Близко по теме, бесполезно как ответ.

Юридический пример показывает обе стороны. Поиск по ключевым словам по запросу «статья 6(1)(f) GDPR» находит точную норму, но пропускает фрагмент о «законном интересе», где номер статьи не указан. Векторный поиск, возможно, его найдёт, но заодно подтянет тексты, которые лишь похоже звучат. Ни один метод не выигрывает всегда: в одном эксперименте простой поиск по ключевым словам чаще находил релевантные фрагменты, чем современный семантический поисковик, и повышал точность ответов на величину от 3 до 4 процентных пунктов.

Для специалистов по ИТ: юридический язык держится на точных ссылках, легальных определениях и исключениях. Если полагаться только на семантическую близость, теряются именно те детали, которые для юристов важнее всего.

3. Как RAG работает на практике

Система RAG разбивает документы на небольшие фрагменты (чанки), превращает их в числа, сохраняет в индексе, извлекает фрагменты, наиболее близкие к вопросу, и передаёт их модели. Эти фрагменты также показывают, откуда взят ответ.

Разбиение на фрагменты является настоящим проектным решением. Если пункт договора отделён от оговорки об исключении, а статья от своих определений, модель может так и не увидеть ту часть, которая меняет смысл. Более совершенные системы сочетают оба вида поиска (гибридный поиск) и переупорядочивают результаты с помощью специализированной модели релевантности (реранжирование). Типичные сбои вызывают расплывчатые вопросы и слишком большое число извлечённых документов: качество при этом резко падает. RAG снижает число галлюцинаций, но не устраняет их, а сравнение шести методов RAG показало большие различия в качестве, скорости и стоимости.

4. Графы знаний: как сделать связи видимыми

Документы прячут связи в тексте, поэтому их каждый раз приходится заново толковать. Граф знаний называет их напрямую. Объекты становятся узлами, а связи между ними становятся рёбрами: этот регламент изменяет ту директиву, эта компания является дочерней для той. Онтология определяет, какие виды объектов и связей существуют и что они означают. Это поддерживают открытые стандарты W3C: RDF хранит факты в виде триплетов (субъект, предикат, объект), OWL добавляет формальную семантику, SPARQL служит языком запросов к графу.

Для права ограничения особенно важны. Ошибки извлечения попадают в граф и затем выглядят как факты. RDF рассматривает данные как статичный снимок, а законы и договоры меняются. Связи между более чем двумя участниками можно выразить лишь косвенно. Граф знаний делает связи явными. Правильными он их не делает.

5. GraphRAG: объединение текста и структуры

GraphRAG дополняет классический RAG графом. В подходе Microsoft языковая модель сама строит граф по документам. Затем система может сопоставлять имена из вопроса с узлами графа, прослеживать связи через несколько документов или использовать сводки по группам связанных сущностей для обзорных вопросов.

Текст сохраняет детали, граф сохраняет связи. Ответ на вопрос «Когда вступил в силу регламент X?» находится в одном фрагменте, и граф здесь лишь добавляет накладные расходы. Там, где нужно связать факты из разных документов, граф помогает. Но GraphRAG не становится лучше автоматически. В одном тесте в граф попали лишь около 66 процентов сущностей, содержащих ответ. Результаты зависят от проектных решений, построение графа стоит денег, а часть ранних успехов опирается на оценки, которые последующие исследования поставили под сомнение. Разумнее гибридная схема, которая по умолчанию направляет вопрос к более дешёвому методу.

6. Как выбрать архитектуру

Это инженерный компромисс, а не рейтинг технологий. Важны четыре критерия: качество ответов, прослеживаемость, скорость и актуальность.

В одном бенчмарке простой RAG с векторным поиском отвечал примерно за 2,4 секунды и расходовал 3600 токенов (единиц текста, от которых зависит стоимость). Графовому методу на основе агентов понадобилось около 70 секунд и 16 900 токенов, и он выигрывал не на каждом вопросе. Построение более насыщенных графов обходилось в токенах до 40 раз дороже. Кроме того, эти графовые методы исходят из того, что документы не меняются. Право меняется, и каждое изменение означает перестройку части индекса.

Поместить всё в один длинный промпт тоже не получится бесплатно: точность падала на величину до 67 процентов, когда добавлялись похожие, но бесполезные фрагменты, и была ниже всего, когда нужный фрагмент находился в середине.

Наш вывод: начинайте с измеримых требований и совокупной стоимости владения. Самая простая архитектура, которая им отвечает, обычно оказывается лучшей. Прежде чем рекомендовать, мы измеряем.

Что дальше

Найти информацию означает решить лишь половину задачи. Вторая половина состоит в том, чтобы понять её юридический смысл. Об этом пойдёт речь во второй части.


Все утверждения в этой статье основаны на опубликованных исследованиях. Если вам нужен источник конкретного утверждения, свяжитесь с нами через wrungel.eu, и мы пришлём ссылку.

Примечание: этот текст переведён с английского оригинала с помощью ИИ.