Регулируемый агентный финтех: как строить автономные AI-системы, которым можно делегировать действия, а не только ответы

Наличие допуска ещё не решает проблему наблюдения. Агент может действовать в разрешённой области и получить неожиданный результат. Поэтому после каждого значимого эффекта система должна сопоставить ожидаемое и фактическое состояние. Если различие выходит за пределы допуска, цепочка останавливается. Она не должна импровизировать с повышением полномочий, новым получателем или обходным инструментом только ради выполнения цели.

Это правило противостоит распространённой логике успешности задачи. В обычной оценке агент получает положительный балл, если достиг цели. В регулируемой системе достижение цели вне разрешённой траектории является отказом. Платёж правильному поставщику с использованием реквизитов из непроверенного письма нельзя считать успехом. Исправление остатка через прямую запись в базу вместо утверждённого документа нельзя считать успехом. Завершение операции не отменяет нарушения процесса.

Из этого различия рождается второй тезис. Побочный эффект не добавляет ещё один риск к обычной работе модели. Он меняет форму ответственности за систему. Разрешение приходится связывать с переходом состояния, а результат наблюдать на языке конкретного процесса. Без такой связи агент остаётся моделью с технической возможностью действия, но не становится регулируемым исполнителем.

Пока результат существует только в тексте, его можно спокойно перечитать и отвергнуть. После записи, отправки или списания такой роскоши уже нет. Значение имеет не обещание инструмента об успехе, а подтверждённое изменение в учёте, расчётах или правах доступа. Отсюда естественно возникает вопрос о цене: одинаковая ошибка модели способна оставить совершенно разные последствия.

1.3. Цена ошибки в платеже, инвестиции, доступе и эксплуатации

Цена ошибки редко совпадает с суммой неправильной операции. Платёж создаёт прямое движение денег, но за ним следуют возврат, расследование, спор с получателем, корректировка учёта и проверка контроля. Ошибка инвестиционного действия изменяет рыночную позицию и может сама повлиять на цену. Ошибка доступа раскрывает возможность, а не только данные. Ошибка эксплуатации нарушает работу зависимых систем. Во всех четырёх случаях первоначальное действие образует цепочку последствий, часть которых проявляется позже.

Поэтому оценивать агента только по вероятности правильного ответа экономически недостаточно. Пусть вероятность ошибочного действия равна одному проценту. Для чтения внутренней справки это может означать лишнюю проверку. Для перевода средств тот же процент может быть неприемлем. Риск определяется произведением вероятности и тяжести, но агентная система требует ещё двух поправок: скорость накопления действий и связанность среды. Ошибка, повторяемая тысячу раз в минуту, создаёт иной профиль, чем единичная ошибка с тем же ожидаемым ущербом.

Четыре канала цены удобно рассмотреть по отдельности, не разрывая их связь. Ниже собраны объекты, через которые ошибка становится наблюдаемой для финансовой организации. Количественной шкалы нет, поскольку суммы из разных случаев нельзя складывать без общей методики.

Платёжный канал кажется понятным, поскольку имеет денежную сумму. Реальный случай Citibank показывает, почему одной суммы недостаточно. В августе 2020 года банк должен был выплатить держателям долга Revlon промежуточные проценты и направить сумму основного долга около 894 миллионов долларов на внутренний технический счёт. Для подавления внешнего перевода требовалось выбрать три поля в системе. Участники процесса выбрали только одно. Процедура предусматривала три роли проверки, но все три человека одинаково поняли интерфейс. Предупреждение сообщило, что деньги будут отправлены из банка, однако не показало сумму и не отделило запланированные проценты от основного долга. В результате банк перечислил 894 миллиона долларов основного долга и 7,8 миллиона долларов процентов. Около 385 миллионов долларов получатели вернули, а получатели суммы примерно в 500 миллионов долларов первоначально отказались возвращать средства. Апелляционный суд впоследствии отменил решение первой инстанции и направил дело на новое рассмотрение. Решение Апелляционного суда второго округа содержит описание процесса, суммы, трёх ролей и последующей сверки.

Этот случай не связан с языковой моделью. Именно поэтому он полезен. Он показывает, что участие нескольких людей не гарантирует смысловой независимости контроля. Создатель операции, проверяющий и утверждающий разделяли одну неверную модель поведения интерфейса. Формально процедура существовала. Семантически все участники проверили одну и ту же гипотезу. Агент, встроенный в такой процесс без независимого расчёта ожидаемого движения денег, способен сделать процедуру быстрее, не сделав её надёжнее.

С позиции бухгалтера решающей оказалась утренняя сверка. Несоответствие между ожидаемыми и фактическими движениями денежных средств выявило ошибку после исполнения. Для агентной архитектуры из этого следует двойное требование. До платежа нужно вычислить ожидаемую сумму внешнего списания и сопоставить её с деловой целью. После платежа нужно получить сведения о фактическом движении средств и сопоставить их с ожидаемым результатом. Если система видит только заполненные поля формы, она контролирует интерфейс. Если она видит экономическое движение, она контролирует операцию.

Инвестиционный канал добавляет скорость и влияние на рынок. В августе 2012 года дефектное программное обеспечение Knight Capital обработало 212 входящих родительских заявок и отправило миллионы дочерних заявок. По данным Комиссии по ценным бумагам и биржам США, за период около 45 минут произошло 4 миллиона исполнений по 154 акциям общим объёмом более 397 миллионов акций. Компания получила чистую длинную позицию около 3,5 миллиарда долларов по акциям 80 компаний и короткую позицию около 3,15 миллиарда долларов по акциям 74 компаний. Реализованный убыток составил 460 миллионов долларов. Постановление Комиссии по делу Knight Capital описывает факты и недостатки контроля.

Выполним несколько расчётов только на основании опубликованных показателей. Четыре миллиона исполнений за 45 минут дают примерно 88 889 исполнений в минуту. Деление ещё на 60 даёт около 1 481 исполнения в секунду. Средний объём одного исполнения, рассчитанный как результат деления 397 миллионов акций на 4 миллиона исполнений, составляет около 99 акций. Если распределить реализованный убыток по времени инцидента, получится около 10,22 миллиона долларов за минуту. Последний показатель не описывает фактическую траекторию убытка и используется только как нормированная оценка скорости накопления последствия.

Формулы расчёта имеют следующий вид:

v_мин = 4 000 000 / 45 ≈ 88 889

v_сек = 4 000 000 / (45 × 60) ≈ 1 481

q_исп = 397 000 000 / 4 000 000 ≈ 99,25

l_мин = 460 000 000 / 45 ≈ 10 222 222 долл./мин

Здесь (v_{мин}) обозначает число исполнений в минуту; (v_{сек}) соответствует числу исполнений в секунду; (q_{исп}) показывает среднее число акций на одно исполнение; (l_{мин}) выражает условный убыток за минуту. Исходные данные взяты из постановления Комиссии. Все полученные значения являются авторскими расчётами.

Случай Knight Capital также показывает значение сигнала, который не был включён в операционный контроль. До открытия рынка система сформировала 97 автоматических сообщений, связанных с ошибкой. По материалам Комиссии, эти сообщения не были спроектированы как системные предупреждения, а сотрудники обычно не просматривали их при получении. Наличие записи не равно наличию контроля. Чтобы журнал снижал риск, событие должно иметь владельца, уровень существенности, маршрут реакции и условие остановки.

Для агента этот урок имеет прямое значение. Генеративная система способна производить много объяснений и предупреждений. Их количество может создать впечатление наблюдаемости. Однако сообщение, которое не влияет на допуск или остановку, остаётся повествованием вокруг ошибки. Регулируемая система должна уметь переводить сигнал в изменение права на последующее действие.

Канал доступа отличается тем, что ущерб может возникнуть без немедленного движения денег. Ошибка выдаёт субъекту возможность читать, изменять или передавать защищаемые объекты. После чтения конфиденциальных данных отзыв права не возвращает исходное состояние. После получения учётных данных злоумышленник может использовать их в другом контуре. Поэтому обратимость доступа асимметрична: разрешение можно удалить, но уже раскрытое знание удалить нельзя.

Правоприменительный материал по Capital One не относится к агенту и не доказывает причинную связь между искусственным интеллектом и инцидентом. Он показывает цену слабой оценки риска доступа при переходе к новой технологической среде. В августе 2020 года Управление контролёра денежного обращения США назначило штраф 80 миллионов долларов. Орган указал на неспособность банка создать эффективные процедуры оценки риска до переноса существенных операций в публичное облако и своевременно исправить недостатки. Сообщение Управления контролёра денежного обращения содержит сумму и основание меры.

В агентной системе технологический переход имеет сходную форму. Организация может перенести уже существующий токен доступа в новый оркестратор и считать, что риск не изменился. Но меняется способ использования полномочия. Человек обращается к системе с локальной целью. Агент может связать несколько источников, повторить запрос и передать результат следующему инструменту. Поэтому прежняя роль пользователя не всегда является допустимой ролью агента. Необходим отдельный субъект, отдельный срок полномочия и отдельная область действия.

Эксплуатационный канал показывает, как ошибка распространяется через однородную инфраструктуру. 19 июля 2024 года CrowdStrike выпустила обновление содержимого для датчика на системах Windows. Компания сообщила, что проблемное содержимое привело к аварийному завершению работы системы. В область воздействия входили узлы с определёнными версиями датчика, которые были в сети между 04:09 и 05:27 по всемирному координированному времени и получили обновление. Дефект был отозван в 05:27. В предварительном разборе компания указала, что одна конфигурация прошла проверку вследствие ошибки валидатора, а затем предложила поэтапное развёртывание, начальное развёртывание на ограниченной группе, дополнительные проверки и расширенные средства контроля для клиентов. Предварительный разбор инцидента является источником этих фактов.

Этот инцидент также не был связан с действием языкового агента. Он демонстрирует свойство, которое агент наследует от любой автоматизированной системы доставки: единичное решение получает большой радиус через скорость и однородность. Если агент способен менять конфигурацию многих узлов, его логическая ошибка соединяется с механизмом распространения. Ограничение числа узлов, поэтапный выпуск и автоматическая остановка по показателям работоспособности снижают радиус независимо от качества модели.

Сопоставим четыре случая без смешения их правовой природы. Таблица использует официальные материалы для фактов и авторскую классификацию для инженерных выводов.

Из сопоставления возникает важное наблюдение. В каждом случае в организации действовали определённые механизмы контроля. Citibank применял разделение на три роли. В Knight Capital формировались автоматические сообщения. Capital One действовала в регулируемой банковской среде. CrowdStrike использовала валидатор содержимого и ранее проверенный тип шаблона. Проблема заключалась не в полном отсутствии правил. Контроль не совпал с реальным механизмом распространения ошибки.

Для платежа механизмом была семантика полей и внешнее движение средств. Для торговли механизмом стала скорость автоматического исполнения. Для доступа им было изменение технологической среды и сохранение раскрытого знания. Для эксплуатации им стала массовая доставка однородной конфигурации. Следовательно, контроль агента должен строиться вокруг механизма воздействия, а не вокруг организационного названия процесса.

Введём простую расчётную модель для предварительного сравнения сценариев. Она не заменяет капитал под операционный риск и не является надзорной формулой. Её задача состоит в инженерной сортировке действий перед проектированием контроля.

Р = В × Т × С × Н

Здесь (Р) обозначает относительный риск действия, (В) вероятность семантической ошибки, (Т) тяжесть единичного последствия, (С) коэффициент скорости накопления, (Н) коэффициент необратимости. Каждый множитель оценивается по утверждённой шкале внутри одной организации. Значения разных организаций нельзя сравнивать без общей калибровки.

Модель намеренно выделяет скорость и необратимость. Обычное произведение вероятности и ущерба может дать одинаковую оценку единичному крупному платежу и серии малых операций. Но способы контроля будут разными. Для единичного платежа важны подтверждение получателя и суммы. Для серии важны лимит частоты, накопительный предел и остановка. Необратимость также меняет время контроля. Если результат легко отменить, часть проверки можно перенести после действия. Если окно закрывается быстро, проверка должна предшествовать исполнению.

Для бухгалтера к этой модели следует добавить стоимость доказательного восстановления. После инцидента организация должна восстановить цепочку документов, проводок, решений и полномочий. Если журнал неполон, трудозатраты растут, а правовая позиция слабеет. Эта стоимость не всегда видна в момент проектирования. Она появляется при сверке, аудите, споре с клиентом или запросе регулятора.

Назовём разницу между созданным последствием и собранным доказательством долгом доказуемости. Система создаёт такой долг, если выполняет действие сейчас, а основание, версии политик или подтверждение результата обещает записать позже. Для чтения малочувствительной справки небольшой временной разрыв может быть допустим. Для необратимого платежа долг должен быть близок к нулю. Доказательство формируется в той же транзакционной границе, что и допуск к действию.

Цена ошибки имеет ещё один слой: утрата доверия внутри организации. Если сотрудники не понимают, почему агент выполнил действие, они начинают перепроверять все результаты. Экономия времени исчезает. Если проверка превращается в формальное нажатие кнопки, риск возвращается. Следовательно, интерес совета директоров не должен ограничиваться долей автоматизированных задач. Нужны показатели разрешённых действий, предотвращённых нарушений, величины потенциального радиуса, времени восстановления и полноты доказательств. Эти показатели будут разработаны в главах 8 и 11.

Четыре канала сходятся в одном наблюдении. Цена ошибки возникает не внутри модели, а в инфраструктуре полномочий. Модель предлагает или выбирает действие, тогда как масштаб определяют лимиты, скорость, связанность, режим исполнения и окно обратимости. Поэтому безопасность не может оставаться делом одной команды разработчиков. За неё вместе отвечают владелец процесса, бухгалтер, специалист по риску, архитектор, служба безопасности и внутренний аудит.

Теперь можно ответить на вопрос заглавия. Агент не сводится к языковой модели с кнопками, потому что кнопка описывает доступную функцию, а агент создаёт траекторию изменений. Его предметом становится не текст, а состояние обязательств, денег, прав и систем. Управлять такой системой означает управлять намерением, планом, контекстом, полномочием и доказательством каждого значимого перехода.

В этот момент становится ясно, почему одной точности модели недостаточно. Организация имеет дело сразу с деньгами, рыночной позицией, полномочиями и устойчивостью процесса. Для каждого объекта действует своя логика ущерба и восстановления. Значит, в следующей главе риск придётся разложить по источнику ошибки, ширине воздействия и возможности вернуть систему в допустимое состояние.

Глава 2. Модель риска автономного действия

2.1. Риск намерения, риск плана, риск инструмента и риск контекста

В начале рабочего дня бухгалтер получает просьбу оплатить просроченный счёт поставщика. Фраза выглядит определённой лишь до тех пор, пока её не требуется превратить в проводку и движение денег. Какое юридическое лицо должно платить? Какой договор породил обязательство? Подтверждена ли поставка? Относится ли просрочка к этому счёту или к другому документу? Не изменились ли реквизиты? Доступен ли период для отражения операции? Каждая проверка уточняет значение первоначальной просьбы. Для языкового помощника неоднозначность служит поводом задать вопрос. Для автономного агента она становится источником риска действия.

В первой главе риск рассматривался через последствия. Теперь нужно обратиться к происхождению ошибки. Фраза «модель ошиблась» слишком широка для инженерного решения. Она не показывает, где должен находиться контроль. Если система неверно поняла хозяйственную цель, проверка программного интерфейса не поможет. Если цель понята верно, но план нарушает последовательность согласований, повторная генерация ответа не исправит архитектуру. Если план допустим, но инструмент изменил иной объект, требуется сверка результата. Если системе передали документ другого клиента, формально верное рассуждение остаётся недопустимым.

Предлагаемая модель разделяет четыре источника: риск намерения, риск плана, риск инструмента и риск контекста. Это авторская декомпозиция для систем, которые способны создавать последствия. Она не заменяет классификации NIST, банковские категории операционного риска или юридическую квалификацию. Её практическая задача состоит в том, чтобы связать каждый отказ с точкой наблюдения, владельцем контроля и доказательством.

Риск намерения возникает, когда системе поставлена неверная, неполная или недопустимая хозяйственная цель. Источник ошибки может находиться до модели. Пользователь просит «закрыть все долги», хотя часть обязательств оспаривается. Входящее письмо требует срочно заменить реквизиты, но не прошло независимую проверку. Показатель эффективности требует сократить очередь заявок, однако не определяет, какие проверки нельзя пропускать. Агент способен точно реализовать такую цель и усилить исходную ошибку.

Намерение нельзя отождествлять с текстом запроса. В регулируемом процессе оно включает субъект, объект, деловую цель, правовое основание, ограничения и критерий завершения. Для платежа недостаточно фразы об оплате. Нужна связь с обязательством, получателем, суммой, сроком и источником реквизитов. Для изменения доступа требуется связь с ролью сотрудника, задачей, сроком и владельцем данных. Для инвестиционного действия требуется портфельный мандат, инструмент, лимит, рынок и допустимый риск. Нормализация этих элементов не делает решение правильным, но превращает скрытую предпосылку в проверяемый объект.

Риск плана появляется после того, как цель уже определена. План может содержать неверную последовательность, пропущенную зависимость, недопустимое объединение ролей или ошибочное условие завершения. Бухгалтерская операция хорошо показывает эту разницу. Цель отразить подтверждённую поставку допустима. План, который сначала закрывает период, а затем пытается провести документ, нарушает порядок. Цель оплатить обязательство допустима. План, который меняет реквизиты и сразу отправляет платёж без независимого подтверждения, соединяет два действия, каждое из которых по отдельности может быть разрешено.

В агентной цепочке риск плана имеет накопительный характер. Ошибка раннего шага меняет наблюдение для позднего. Если система неверно сопоставила договор, последующий расчёт суммы может быть арифметически точным. Если она получила неполный перечень документов, сверка может завершиться без расхождений внутри неполного набора. Если агент принял создание платёжного поручения за исполнение платежа, он способен закрыть задачу до расчёта. Поэтому план следует проверять не только до первого вызова. Его допущения нужно пересматривать после значимых наблюдений.

Риск инструмента относится к границе между решением и внешней системой. Он включает неверный выбор функции, ошибочные аргументы, несоответствие версии, неоднозначную семантику ответа, сбой идемпотентности и чрезмерное полномочие. Инструмент может вернуть технический успех, хотя хозяйственное действие ещё не завершилось. Он может принять дату в другом формате. Он может обработать повторный запрос как новую операцию. Он может позволить изменить больше полей, чем требовалось цели.

Часть риска инструмента детерминирована и потому должна контролироваться вне модели. Типы данных, диапазоны, допустимые значения, ключи идемпотентности, схемы ответа и ограничения частоты поддаются программной проверке. Нет основания просить языковую модель каждый раз решать, допустима ли отрицательная сумма платежа или существует ли получатель в утверждённом справочнике. Генеративная система полезна там, где нужно интерпретировать неоднозначный текст. Там, где правило можно выразить точно, его следует исполнять точно.

Риск контекста возникает, когда решение строится на неполных, устаревших, избыточных, чужих или неподтверждённых данных. Этот риск шире качества обучающей выборки. Агент работает с динамическим контекстом: письмом, договором, результатом поиска, историей чата, описанием инструмента, профилем пользователя и состоянием процесса. Каждый элемент имеет происхождение, срок актуальности и область допустимого использования.

Контекст является частью доказательства. Сумма из письма не равна сумме из подписанного акта. Реквизиты из карточки контрагента не равны реквизитам из неподтверждённого вложения. Остаток на начало дня не равен остатку в момент отправки платежа. Документ другого юридического лица может иметь сходное название, но не относится к операции. Если агент получает все эти фрагменты как равноправный текст, он теряет различие между сведением и основанием.

Связь четырёх рисков показана на рисунке. Стрелки обозначают не хронологию, а взаимное усиление. Неверный контекст может изменить намерение. Ошибка инструмента создаёт новое наблюдение и заставляет перестроить план. План выбирает, какой контекст будет запрошен. Намерение определяет, какое действие считается завершением.

Такое разделение согласуется с логикой Рамочной системы управления рисками искусственного интеллекта NIST, хотя вводит иную единицу анализа. NIST предлагает функции управления, картирования, измерения и обработки риска. При картировании организация должна документировать деловой контекст, границы знаний, область применения, издержки ошибок, человеческий надзор и риски компонентов, включая внешние данные и программное обеспечение. В части измерения требуется оценивать систему в условиях, сходных со средой применения, документировать метрики и отслеживать возникающие риски. Рамочная система NIST является добровольной и не создаёт отраслевого разрешения на финансовое действие.

Регламент Европейского союза 2024/1689 также показывает, что риск нельзя считать свойством только модели. Статья 9 требует для систем высокого риска непрерывного итеративного процесса управления риском в течение жизненного цикла. Статья 12 требует технической возможности автоматической регистрации событий. Статья 14 требует проектировать эффективный человеческий надзор. Применимость конкретных статей зависит от роли организации, назначения и классификации системы. Поэтому эти положения нельзя автоматически распространить на каждый финансовый агент. Они важны как нормативное подтверждение жизненного цикла, журналирования и наблюдаемого надзора. Текст Регламента 2024/1689 позволяет проверить формулировки и область действия.

Четыре риска требуют разных проверочных вопросов. Таблица связывает источник ошибки с моментом контроля. Она составлена как инженерная схема и не является регуляторной классификацией.

Практическая ценность декомпозиции проявляется при расследовании. Если ошибочный платёж отнести к общему «риску модели», команда может заменить модель или изменить инструкции модели. Однако корень может находиться в контексте реквизитов, в политике допуска, в семантике статуса банка или в плане, который объединил изменение справочника и перечисление денег. Исправление не того слоя создаёт видимость реакции и сохраняет механизм отказа.

Для каждой операции полезно проводить разбор в обратном порядке. Сначала устанавливается фактическое изменение состояния. Затем проверяется ответ инструмента и переданные параметры. После этого восстанавливается план с версиями и развилками. Далее определяется контекст, использованный на каждом шаге. В конце сопоставляется нормализованное намерение с первоначальным запросом и деловым основанием. Такая последовательность не предполагает вины модели. Она ищет место, где система потеряла соответствие между смыслом и состоянием.