Когда ИИ читает право, часть 2. Почему правильный источник всё равно может привести к неверному ответу и что добавляют структура, время и правила.
В первой части мы рассмотрели, как ИИ-системы находят информацию. Предположим, что эта часть уже работает. Ассистент просматривает тысячи документов, находит нужный регламент и цитирует правильную статью. Ответ всё равно неверен. Статью изменили в прошлом году, применяется исключение из другой части акта, или обстоятельства дела относятся ко времени до изменения.
Поиск нормы и её применение представляют собой две разные задачи. В этой статье мы объясним, почему это так и что это значит для всех, кто разрабатывает или закупает юридический ИИ.
1. Право как сеть, а не библиотека
Законодательство не существует изолированно. Национальные законы имплементируют директивы ЕС. Более поздние акты изменяют или отменяют прежние. Подзаконные акты принимаются на основании полномочий, предоставленных вышестоящим законом. Отдельная норма часто зависит от определения, условия или исключения, которые находятся совсем в другом месте.
Над всем этим стоит иерархия. Право более высокого уровня имеет приоритет над нижестоящим, а специальная норма вытесняет общую. Если две нормы противоречат друг другу, решает их ранг, а не то, насколько точно их текст совпадает с вопросом.
Кроме того, юристы толкуют нормы. Они читают норму с учётом её формулировки, места в системе, истории принятия и цели. Эти методы могут указывать в разные стороны, и правовые системы придают им разный вес. Поисковая система сама по себе не выполняет ни одного из этих шагов.
Для ИТ-команд: на юридический вопрос редко можно ответить одним фрагментом текста. Рассматривайте норму, её определения, исключения и изменения как единое целое.
2. Похожее не значит релевантное, особенно в праве
В первой части мы показали, что один фрагмент, который звучит уместно, но не содержит ответа, может снизить точность до 25 процентов, причём уже при ответах на общие вопросы. В праве проблема острее, потому что решающий текст часто совсем не похож на вопрос.
Возьмём вопрос о сроке предупреждения об увольнении в трудовом договоре. Семантический поиск выдаст фрагменты о сроках предупреждения. Но решающим может оказаться переходное положение в изменяющем акте, согласно которому новое правило не применяется к договорам, заключённым до определённой даты. С вопросом у него почти нет общих слов.
Недавний обзор систем, сочетающих поиск и рассуждение, формулирует ту же мысль в общем виде: высокая степень сходства не гарантирует релевантности, а однократный поиск не справляется, когда следующий запрос зависит от результатов предыдущего. Юридические вопросы состоят из таких цепочек. Сначала найти норму, затем её определение, затем акт, который её изменил.
Для юридических отделов: спрашивайте поставщиков, как их система работает с определениями, исключениями и изменяющими актами, а не только насколько хорошо она находит похожие тексты.
3. Как придать юридической информации структуру
Граф знаний хранит факты в виде простых утверждений: субъект, отношение, объект. Онтология определяет, какие типы сущностей и отношений существуют. В праве акты, нормы, суды и решения становятся однозначно идентифицируемыми сущностями. Ссылки, изменения и имплементация становятся типизированными связями между ними: эта директива имплементирована тем национальным законом, это решение толкует ту статью.
ЕС уже предоставляет значительную часть необходимого словаря. European Legislation Identifier (ELI) присваивает правовым актам постоянные веб-адреса и машиночитаемые метаданные. Его шаблон адреса может отражать редакцию, язык и момент времени, а метаданные могут явно фиксировать изменения, консолидацию и имплементацию. European Case Law Identifier (ECLI) делает то же самое для судебных решений с помощью единого кода из пяти элементов, который используют суды государств-членов и ЕС.
Для ИИ важны две детали. Во-первых, ELI может идентифицировать отдельные статьи и разделы, то есть именно тот уровень, на котором цитируют юристы. Во-вторых, не всякое правовое действие меняет текст. Глоссарий ELI отмечает, что одна норма может быть «modified» или «applied» другой нормой без изменения хотя бы одного слова. Система, которая лишь сравнивает редакции текста, этого не заметит.
Самое сложное заключается в построении и поддержке графа. Раньше органы власти отслеживали в таблицах, которые вели вручную, какая национальная норма имплементирует какую директиву. Руководство ELI описывает это как трудоёмкий и не всегда точный процесс. Автоматизация не является панацеей. В одном автоматически построенном графе знаний (по исследованиям в области ИИ, а не по праву) итоговый конвейер извлечения достиг точности 78,7 процента: примерно каждое пятое извлечённое отношение было ошибочным. Руководство ELI проводит разумную границу. Машины формируют структурные метаданные, такие как названия, даты и идентификаторы. Люди отвечают за тематическую классификацию, ссылки на другие правовые тексты и контроль качества.
Граф знаний может сказать вам, что один акт изменил другой. Но он не может сказать, что изменённая норма означает для вашего дела.
4. Время: какое право действительно применяется?
Право меняется, и самый новый текст не всегда является применимым. Договор, подписанный в 2023 году, может регулироваться редакцией, действовавшей в 2023 году, а не той, которую сегодня показывает ваша база данных. Переходные положения могут сохранять действие отменённой нормы для обстоятельств, возникших до изменения.
Три даты легко перепутать: когда изменение было опубликовано, когда оно вступило в силу и когда произошли обстоятельства дела. Консолидированные редакции, в которые включены все изменения, помогают, но практика различается. Согласно руководству ELI, Франция консолидирует законодательство сразу после принятия изменяющего акта, а Ирландия делает это в индивидуальном порядке и главным образом для крупных актов. Поэтому консолидированный текст, найденный в интернете, может отставать от действующего права. По этой причине ELI называет обращение к акту в редакции на определённую дату типичным сценарием использования, а его шаблон адреса содержит элементы для момента времени и редакции.
Многие архитектуры ИИ игнорируют это измерение. Масштабное сравнение методов RAG на основе графов показало, что все они исходят из того, что коллекция документов никогда не меняется. Для общих знаний это упрощение. Для права это серьёзный пробел.
Для ИТ-команд: храните даты действия для каждой нормы и каждой связи и сделайте дату обстоятельств дела обязательным входным параметром, а не второстепенной деталью.
5. Можно ли превратить право в код?
Один из подходов состоит в том, чтобы переводить правовые нормы в формальные правила: если выполнены условия A, B и C, наступает правовое последствие D. Это хорошо работает для процессуальных сроков, тарифов сборов и числовых пороговых значений. В других случаях это работает хуже, потому что право полно исключений. Специальные нормы вытесняют общие, а более поздние вытесняют более ранние.
Так называемое опровержимое рассуждение (defeasible reasoning) решает эту проблему: вывод может быть отозван, если применяется более сильное правило. LegalRuleML, стандарт OASIS с 2021 года, делает такие правила машиночитаемыми, включая обязанности, разрешения, исключения, приоритеты и ссылки на правовой источник.
Отсюда вытекает разделение труда: языковая модель интерпретирует текст и факты, а механизм правил проверяет формальные требования. Упомянутый выше обзор рекомендует именно это для юридических приложений. Решения должны проходить через детерминированные механизмы правил, которые отсеивают недопустимые результаты. Сгенерированное содержание должно проверяться на соответствие требованиям закона. И система никогда не должна самостоятельно принимать юридически обязывающие решения.
Но узкое место лишь смещается. Кто-то должен сначала перевести право в правила, а такой перевод уже является актом толкования. Механизм правил верен ровно настолько, насколько верно прочтение права, которое в нём заложено.
6. Где суждение остаётся за человеком
Некоторые правовые понятия по своей природе не поддаются формализации: разумный, соразмерный, законный интерес. Их содержание определяется только тогда, когда кто-то применяет их к конкретным обстоятельствам. Принципы могут вступать в противоречие, и их приходится взвешивать. Юристы противоположных сторон выстраивают конкурирующие прочтения одной и той же нормы. Поэтому юридическое рассуждение чаще представляет собой аргументацию, чем вычисление. Открытым остаётся не столько вопрос о том, что говорит норма, сколько вопрос о том, какое толкование должно возобладать.
Добавление шагов рассуждения к поиску этого не устраняет. Тот же обзор отмечает, что при толковании юридических текстов ранняя ошибка в рассуждении может переходить в последующие шаги поиска и приводить систему к неверным выводам. Проверку полноты цепочки рассуждений он называет нерешённой проблемой, а агентные системы описывает как «чёрные ящики», которые трудно корректировать во время работы.
Отсюда следует реалистичная роль ИИ: находить нормы, отображать изменения и взаимосвязи, отмечать исключения и готовить аргументы для проверки юристом. Там, где решения затрагивают права людей, кто-то должен уметь объяснить результат, оспорить его и нести за него ответственность. И этот кто-то не модель.
Наш вывод
Поиск определяет, увидит ли система нужный текст. Структура, время и правила определяют, сможет ли она правильно его использовать. Это отдельные функции. Поиск находит фрагменты текста. Граф знаний фиксирует связи и сроки действия. Механизм правил проверяет формальные требования. Юрист взвешивает то, что остаётся открытым.
Ни одна технология не охватывает все четыре функции. Практический вопрос в том, какие из них действительно нужны для конкретного сценария, и ответ зависит от вопросов, которые задаёт ваша команда, а не от новейшей архитектуры.
Что дальше
Если найти право недостаточно, как понять, рассуждает ли юридическая ИИ-система лучше? В третьей части мы рассмотрим, как на практике измерять качество, надёжность и прослеживаемость.
Каждое утверждение в этой статье основано на опубликованных исследованиях и официальной документации ЕС. Если вам нужен источник для конкретного утверждения, свяжитесь с нами через wrungel.eu, и мы пришлём ссылку.