В июне 2023 года судья Окружного суда США по Южному округу Нью-Йорка P. Kevin Castel рассматривал ходатайство о санкциях по делу Mata v. Avianca, Inc. (дело № 1:22-cv-01461). Сторона истца подала документ, в котором на шесть судебных решений стояли ссылки — с номерами, датами, цитатами из мотивировочной части. Суд запросил копии этих решений. Ни одно из шести найти не удалось. Ни одно из шести не существовало.
Адвокаты использовали инструмент для подготовки черновика возражений. Инструмент сгенерировал ссылки на прецеденты, которые выглядели как настоящие судебные акты — вплоть до формы цитирования, принятой в американской юридической практике. Проверить их перед подачей никто не открыл в справочной системе. Опубликованное постановление судьи Кастела, известное как 678 F. Supp. 3d 443, зафиксировало результат: штраф 5 000 долларов солидарно на двух адвокатов и их фирму, а также обязанность в течение четырнадцати дней направить письма — своему доверителю и каждому судье, чьё имя фигурировало в сфабрикованных решениях.
Почему выдуманная ссылка выглядит убедительнее настоящей
Дело не в лени и не в спешке — хотя оба фактора наверняка сыграли роль. Дело в том, как устроена сама ошибка. Языковая модель, генерируя судебную ссылку, безупречно воспроизводит её форму: вид акта, структуру номера дела, дату, характерные обороты мотивировочной части. Всё это модель видела тысячи раз в обучающих данных и знает, как это должно выглядеть. А вот содержание — существует ли конкретное дело с таким номером, действительно ли в нём написано то, что процитировано, — берётся не из базы судебных актов, а из вероятностей: какое продолжение текста статистически похоже на правильное.
Именно поэтому такая ссылка часто выглядит убедительнее настоящей. Настоящая цитата из реального решения может быть неровной, обрывочной, с странностями форматирования, которые достались от исходного документа. Сгенерированная ссылка — гладкая, стилистически выверенная, ровно такая, какой её ожидаешь увидеть в юридическом документе. Глаз, привыкший ловить неряшливость как признак ошибки, здесь ничего не ловит.
Спорить с моделью после того, как ошибка замечена, тоже бесполезно. На прямой вопрос «ты уверен, что это решение существует?» модель, как правило, соглашается, извиняется — и тут же называет другую ссылку. С той же уверенностью и с той же вероятностью ошибки. Диалог с моделью не заменяет проверку по первоисточнику: он просто сдвигает ту же проблему на шаг дальше.
Бесплатная диагностика — результат за 5 минут
Разобраться самостоятельно: ИИ как инструмент мышления
Чья это ошибка
Здесь важна точная формулировка, потому что от неё зависит, как юрист сам для себя описывает случившееся. Модель не ошибается в юридическом смысле этого слова — она порождает текст, наиболее вероятный в данном контексте, и не имеет механизма отличить существующее судебное решение от правдоподобно звучащего. Ошибка возникает в тот момент, когда сгенерированный текст попадает в документ, поданный в суд, без проверки. И эта ошибка — юриста, а не модели.
Отсюда и правильная формулировка происходящего — не «ИИ выдумал норму», а «выдуманная норма дошла до иска». Разница не риторическая. Первая формулировка снимает ответственность с того, кто подписал документ. Вторая — оставляет её там, где она и находится: черновик мог готовить инструмент, но за то, что вышло из-под пера в суд, отвечает подпись под документом.
Это же стоит проговаривать и с доверителем — до того, как возникнет повод для вопросов, а не после. Три фразы закрывают большую часть недоверия: черновики готовит инструмент, ссылки проверены вручную, подпись моя.
Что делает эту ошибку предотвратимой
-
1
Ни одна ссылка не идёт в документ непровереннойПрежде чем ссылка на решение попадёт в текст, поданный в суд, она должна быть открыта в справочно-правовой системе — не принята на веру потому, что выглядит правильно оформленной.
-
2
Проверяется каждая, а не выборочноОшибки такого рода распределены случайно: они не концентрируются в сложных местах и не выдают себя странным видом. Выборочная проверка «на глаз» пропускает ровно то, что должна была поймать.
-
3
Факт проверки фиксируетсяКто проверил, когда, по какой базе — это не бюрократическая формальность, а то, что отличает рабочую процедуру от честного слова постфактум, когда документ уже подан.