Лучше поиск, лучше право? Как оценивать юридический ИИ

Когда ИИ читает право, часть 3. Меняет ли архитектура юридической ИИ-системы ответ, и как это проверить?

В первой части мы рассмотрели, как ИИ-системы находят юридическую информацию. Во второй показали, что найти норму и применить её не одно и то же. Эта заключительная часть ставит вопрос, важный для всех, кто покупает или разрабатывает юридический ИИ: ведёт ли лучшая архитектура к лучшим юридическим ответам?

Честный ответ: пока этого никто не доказал. То, что показывают исследования, уже, но всё же полезно. Архитектура определяет, какие источники увидит модель, а это может изменить ответ. В этой статье мы объясняем, что это значит, как это проверить и когда дополнительная сложность оправдана.

1. Три задачи, которые часто смешивают

В дискуссиях о LegalTech часто размываются три разные задачи. Поиск (retrieval) находит потенциально релевантные нормы, судебные решения или комментарии. Представление знаний структурирует этот материал, например в виде сущностей и связей в графе. Юридическое рассуждение применяет нормы к фактам, взвешивает конкурирующие толкования и обосновывает вывод. Система может хорошо справляться с первыми двумя задачами и оставаться непроверенной в третьей.

Большинство сравнительных исследований посвящено первым двум. Крупный бенчмарк двенадцати графовых методов поиска не выявил устойчивого победителя по сравнению с обычной базовой системой. Методы, опирающиеся только на структуру графа, плохо справлялись, когда ответ зависел от исходного текста. Критерий успеха был простым: встречается ли ожидаемый ответ где-либо в выводе? Недавний обзор добавляет, что оценка по-прежнему опирается в основном на вопросы в стиле Википедии и проверяет только итоговый ответ, а не шаги, ведущие к нему.

Ошибки поиска не нейтральны. В контролируемых экспериментах один фрагмент, который звучит релевантно, но не содержит ответа, снижал точность до 25 процентов. Несколько таких фрагментов снижали её более чем на 67 процентов. В праве такой «почти точный» результат является нормой: устаревшая редакция, решение по похожим фактам, норма из другой юрисдикции.

Доказательная база также не однозначна. Те же эксперименты показали, что добавление случайных, не связанных с темой документов повышало точность до 35 процентов. Это плохо согласуется с предположением, что более «чистый» поиск всегда даёт лучшие ответы.

Итак, исследования показывают, что качество поиска влияет на результат. Они не показывают, что более высокие показатели поиска ведут к обоснованной юридической аргументации. Это остаётся открытым вопросом, а не исходной посылкой.

2. Простой вопрос со сложным ответом

Возьмём вопрос, который действительно задают кадровые и юридические отделы. Частный работодатель в Германии хочет прогнозировать потребность в персонале на основе индивидуальных данных о больничных. Может ли он обрабатывать эти данные о здоровье по состоянию на ноябрь 2026 года?

Отправная точка ясна. Статья 9(1) GDPR запрещает обработку данных о здоровье, если не применяется одно из исключений статьи 9(2). Очевидный кандидат, статья 9(2)(b), охватывает обработку, необходимую в сфере трудового права, но лишь в той мере, в какой право ЕС или государства-члена разрешает её с надлежащими гарантиями. Одного исключения недостаточно. Суд ЕС постановил, что обработка должна также опираться на одно из общих правовых оснований статьи 6(1). А поскольку данные о больничных используются для новой цели, применяются и принципы ограничения цели и минимизации данных из статьи 5.

Затем национальный уровень. Статья 88 GDPR позволяет государствам-членам принимать более конкретные правила для трудовых отношений, и Германия сделала это в § 26 BDSG. Однако по тексту нормы уже нельзя понять её правовое действие. В 2023 году Суд ЕС решил, что почти идентичная норма земли Гессен лишь повторяет GDPR и поэтому не является «более конкретным правилом». Федеральный трудовой суд Германии с тех пор применил это рассуждение к федеральной норме. Решение Суда ЕС 2024 года добавило, что национальные правила, включая коллективные соглашения на уровне предприятия, по-прежнему должны соответствовать требованиям самого GDPR.

Наконец, время. В Германии до сих пор нет отдельного закона о защите данных работников; законопроект 2024 года не был принят из-за распада предыдущей коалиции. «Цифровой омнибус» ЕС изменил бы статью 9, но Совет утвердил свой мандат на переговоры лишь 21 октября 2026 года, и текст далёк от окончательного. Система, которая индексирует комментарии до 2023 года или считает эти проекты действующим правом, будет ссылаться на неприменимые нормы.

Надёжный эталонный ответ должен указывать факты, допущения, юрисдикцию и дату, на которую дана оценка. Он должен приводить каждую норму в применимой редакции вместе с определяющей её судебной практикой. Он должен последовательно проверять исключения и условия, отмечать спорные моменты и фиксировать, кто и когда его проверил.

Для юридических отделов: даже простой на вид вопрос зависит от нескольких взаимосвязанных источников. Каждый из них является местом, где поисковая система может ошибиться.

3. Четыре архитектуры, один потребительский вопрос

Более простой случай показывает, чем различаются архитектуры. Покупательница спрашивает, может ли она отказаться от онлайн-покупки дивана, изготовленного по её размерам. Обоснованный ответ требует трёх элементов: общего права на отказ, исключения для товаров, изготовленных по спецификации потребителя, из Директивы о правах потребителей, и его национальной реализации (в Германии § 312g абз. 2 № 1 BGB). Четыре системы различаются не столько моделью, которая формулирует ответ, сколько тем, какие из этих элементов до неё доходят.

A. Поиск по ключевым словам плюс языковая модель. Он ранжирует фрагменты по совпадению слов и надёжно находит точные ссылки вроде «§ 312g». Но вопрос о «диване по индивидуальным размерам» может так и не встретиться с формулировкой закона. При этом поиск по ключевым словам не устарел: в одном эксперименте за пределами права он превзошёл семантический поиск.

B. Семантический (векторный) поиск. Он сравнивает смысл, а не слова, и тем самым преодолевает разрыв в терминологии. Но высокое сходство не гарантирует релевантности. Он может предпочесть общие комментарии о праве на отказ тому исключению, которое решает дело.

C. Гибридный поиск с переранжированием. Он объединяет оба списка результатов и упорядочивает их заново, прежде чем заполнить ограниченный контекст модели. Это соответствует юридической потребности одновременно учитывать точные термины и естественный язык. Однако переранжирование не может вернуть то, чего не нашёл ни один из поисков.

D. Гибридный поиск плюс граф знаний. Он добавляет явные связи, такие как изменение, консолидация и транспозиция, которые могут кодировать стандарты вроде ELI. Он может выйти на исключение через структуру, а не через сходство. Его ценность зависит от того, полон ли граф и актуален ли он, а протестированные до сих пор графовые методы предполагают корпус, который никогда не меняется. Графовый поиск без исходного текста показал плохие результаты, а затраты резко растут.

Это архитектурные ожидания, а не проверенный рейтинг для юридических задач. Исследования же показывают, что релевантность, количество и позиция найденных фрагментов меняют ответ модели. Нерелевантный поиск может даже опустить точность ниже уровня, которого модель достигает вовсе без поиска.

Для ИТ-команд: архитектура определяет, какую юридическую информацию видит модель, а значит, возможно, и ответ.

4. Как оценивать юридический ИИ

Юридическая ИИ-система может ошибиться в двух местах. Она может найти не тот материал или сделать неверные выводы из правильного материала. Достоверная оценка измеряет и то, и другое.

Поиск. Отправной точкой служат точность (precision) и полнота (recall), но в праве полноту следует измерять относительно источников, необходимых для правильного ответа, а не произвольных фрагментов текста. Для вопроса о GDPR проверка состоит в том, нашла ли система статью 9(2)(b), статью 88, национальную норму и релевантную судебную практику. Точность важна не только для эффективности: связанные фрагменты без ответа активно вводят модель в заблуждение.

Ответ. Распространённые бенчмарки здесь слабый ориентир. Считать ответ правильным, потому что в нём упомянута нужная статья, недостаточно: юридический ответ может назвать верную статью и всё же упустить условие или исключение. Юридическая оценка должна проверять четыре вещи:

  1. Существует ли каждый процитированный источник?
  2. Процитирован ли он точно, вплоть до абзаца?
  3. Действительно ли он подтверждает утверждение, к которому привязан?
  4. Учтены ли все условия и исключения?

Время. Правильность во времени требует отдельной проверки. Ответ, верный по устаревшей редакции, на дату оценки ошибочен.

Кто оценивает. Исследователи всё чаще поручают одной языковой модели оценивать другую. В упомянутом выше бенчмарке критериями были полнота и разнообразие ответа, а не юридическая правильность. Квалифицированные юристы по-прежнему необходимы, чтобы определять эталонные ответы и калибровать любую автоматическую оценку.

Затраты. В одном бенчмарке самый сложный графовый метод требовал на запрос в 57 раз больше времени и в 210 раз больше токенов, чем обычная система, не считая затрат на построение индекса. Время разработки и усилия по поддержанию юридических данных в актуальном состоянии почти никогда не измеряются.

Для юридических отделов: требуйте от поставщиков результатов по вашим собственным вопросам, оценённых вашими собственными юристами, на фиксированную дату.

5. Где системы ошибаются

Юридическая ИИ-система может дать сбой ещё до того, как модель напишет первое предложение. Закон, решение или изменяющий акт, отсутствующий в базе данных или неверно проиндексированный, не найдёт ни одна архитектура. Поиск может ошибаться и уверенно, выдавая материал, который выглядит верным, но таковым не является: норму из соседнего правового режима, отменённую редакцию, пересмотренное решение.

Графы знаний добавляют собственный источник ошибок. Как отмечалось во второй части, один автоматически построенный граф достиг точности 78,7 процента на финальном этапе извлечения, то есть примерно каждая пятая связь была ошибочной. Если неверная связь сохранена, её наследует каждый запрос, который через неё проходит. Ошибки воспроизводятся систематически, а не случайно. Графовые методы также более чувствительны к «грязному» исходному тексту, поскольку плохие входные данные ведут к плохому извлечению.

Генерация текста несёт свои риски. Поиск уменьшает число выдуманных или неверно приписанных ссылок, но не устраняет их. Правильная ссылка всё равно может быть привязана к рассуждению, которое источник не подтверждает.

Честное сравнение затруднено. Упомянутый крупный бенчмарк показал, что результаты каждого метода сильно зависели от формулировки промптов. Авторы также называют ограниченное контекстное окно и отсутствие предметно-специфических данных пределами переносимости своих выводов. Короче говоря, большинство опубликованных сравнений проводилось не на юридических текстах.

Для ИТ-команд: архитектура лишь один из факторов надёжности. Качество данных, валидация и методика оценки могут значить столько же или больше.

6. Когда сложность оправдана?

Исследования не подтверждают универсального рейтинга архитектур. Они подтверждают более узкий вывод: каждый дополнительный уровень структуры даёт определённую возможность за измеримую цену, и задача должна эту цену оправдывать.

Начинайте с простого для чётко очерченных вопросов. Чтобы найти положение GDPR или определённый термин в стабильном массиве права, обычный поиск по текстовым фрагментам является разумной отправной точкой. В крупном бенчмарке графовые методы не превосходили обычную базовую систему на конкретных вопросах устойчиво, а сохранение исходного текста оказалось необходимым для точных ответов.

Сначала точность, потом объём. Поскольку правдоподобные, но ошибочные фрагменты измеримо снижают точность, гибридный поиск с переранжированием является разумным стандартом. С одной оговоркой: ни одно из рассмотренных здесь исследований не проверяет эту комбинацию на юридических данных.

Добавляйте граф, когда ответы зависят от связей. Графовые методы часто лидировали в широких вопросах, затрагивающих множество фрагментов сразу. Цена реальна. На юридическом наборе данных бенчмарка самый сложный вариант использовал на запрос примерно в 44 раза больше токенов и примерно в 9 раз больше времени. К тому же все протестированные методы предполагают статичный корпус, что плохо сочетается с постоянно изменяющимся правом.

Закладывайте поддержку с первого дня. Руководство ELI описывает вручную ведущиеся таблицы транспозиции как громоздкие и часто устаревшие. Исследования графов знаний по-прежнему считают проверку человеком золотым стандартом их контроля. Чем больше структуры в системе, тем больше ей нужно человеческой проверки.

Наш вывод

Архитектура важна, потому что определяет, что видит модель. Даёт ли конкретная архитектура лучшие юридические ответы, остаётся эмпирическим вопросом, и опубликованные исследования пока не ответили на него для права.

Поэтому лучшая архитектура LegalTech не самая передовая. Это та, которая обеспечивает требуемую в конкретном случае юридическую надёжность при уровне сложности, который организация может обосновать и поддерживать. Достигает ли конкретная система этого порога, каждая организация должна установить с помощью собственной документированной оценки.

Оглядываясь на серию

Во всех трёх частях прослеживалась одна закономерность. Поиск находит фрагменты. Структура, время и правила определяют, можно ли правильно использовать эти фрагменты. Оценка определяет, можно ли доверять результату. Ни один из этих шагов не заменяет юриста, который взвешивает то, что остаётся открытым, и отвечает за результат.

Каждое утверждение в этой статье основано на опубликованных исследованиях, официальной документации ЕС и судебной практике. Если вам нужен источник для конкретного утверждения, свяжитесь с нами через wrungel.eu, и мы пришлём ссылку.

Примечание: эта русская версия переведена с английского оригинала с помощью ИИ.