Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035
Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035

Полная версия

Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035

Настройки чтения
Размер шрифта
Высота строк
Поля
На страницу:
7 из 14

Пересмотр эксперимента «компании без людей» (KPMG и Амстердамский университет, ноябрь 2025 года). Попытка построить полностью автономное предприятие, управляемое исключительно ансамблем агентов без жёстких детерминированных рамок, потребовала пересмотра первоначального плана уже в ноябре 2025 года: агенты в ролях руководителей уходили от задачи, галлюцинировали, игнорировали инструкции или внезапно останавливались, и их заменили «армией одноразовых агентов» на узких задачах (пресс-релиз KPMG Nederland, 20.11.2025).

3.2.2 Локальные агенты: «ноутбук с ключами от промышленного контура»

Отдельный вектор угрозы в 2026 году сформировали открытые локальные агенты, устанавливаемые непосредственно на рабочие станции инженеров и руководителей [ИЗМЕРЕНО]. К августу 2026 года проект OpenClaw (лицензия MIT) стал самым популярным открытым программным агентом в истории, набрав около 380 000 звёзд в репозитории (на 14.10.2026 по данным GitHub — около 392 000) и свыше 13 000 подключаемых навыков в каталоге ClawHub (GitHub, 14.10.2026; обзор Neurohive, 18.03.2026: 13 729 навыков). Параллельно в феврале 2026 года организация Nous Research выпустила Hermes Agent, снабжённый механизмами автономного «самоулучшения» и модификации собственных сценариев в ходе работы.

Архитектурная особенность OpenClaw и Hermes Agent состоит в том, что они созданы для прямого исполнения команд системной оболочки (shell), управления локальным браузером с активными сессиями авторизации и чтения корпоративных мессенджеров. При этом каталог расширений ClawHub, как прямо признаётся в профильных обзорах безопасности 2026 года, оказался наиболее уязвимой мишенью для публикации вредоносных навыков. Когда ведущий разработчик или системный администратор запускает OpenClaw на рабочей машине, где в памяти браузера открыта консоль управления облаком, а в системном каталоге лежат приватные SSH-ключи и токены доступа к промышленным серверам, этот компьютер превращается в открытый шлюз. Любое электронное письмо, веб-страница или сообщение в мессенджере, прочитанное агентом и содержащее скрытую инструкцию (косвенную инъекцию), исполняется с полными полномочиями владельца ноутбука. Как показало сканирование 1 412 публичных серверов MCP (Bloomberry, 24.02.2026; пересказ в сводке DreamFactory, 03.03.2026) [ИЗМЕРЕНО], ситуация усугубляется тем, что среди серверов с определимым способом аутентификации, к которым подключаются такие агенты, 38,7 % вообще работают без неё.

3.2.3 Выгорание кнопки «Подтвердить» и парадокс ручного контроля

Интуитивной реакцией индустрии на перечисленные аварии стала попытка вернуть человека в контур каждого опасного вызова (Human-in-the-Loop) — вывести на экран модальное окно с кнопкой «Подтвердить» (Approve) перед выполнением команды оболочки или списанием денег.

Обзор исследовательской станции ГАММА-А (70 публичных описаний внедрений ИИ-агентов в России за 2025–2026 годы, 40-я неделя 2026 года) [ИЗМЕРЕНО] показал, что в 37 описаниях из 70 (52,9 %) именно ручное нажатие кнопки «Подтвердить» человеком выступает главным барьером между языковой моделью и промышленной средой. Однако сопоставление двух объективных величин обнаруживает неизбежный крах этой защиты.



Рисунок 3.1 — Измеренные уязвимости агентных контуров в 2026 году: четыре независимых замера с разными знаменателями (организации, описания внедрений, предприятия, серверы)

С одной стороны, один современный кодовый или операционный агент в режиме активного выполнения задачи генерирует десятки инструментальных вызовов в минуту, сопровождая каждый вызов многострочным пакетом параметров в формате JSON или скриптом командной оболочки. С другой стороны, нейрофизиологический ресурс направленного внимания человека конечен: вдумчивая верификация одного вызова с проверкой всех путей, переменных окружения и побочных эффектов требует от 30 до 120 секунд высокой когнитивной концентрации.

Столкновение машинного потока с биологическим пределом порождает эффект, известный в инженерной литературе под названием «усталость от подтверждений» (approval fatigue). Как описано в эссе Tian Pan от 25 июня 2026 года (со ссылкой на отраслевые опросы: от четверти до двух третей оповещений остаются неразобранными) и в прогнозе WitnessAI на 2026 год (11.12.2025), при потоке в тысячи запросов на разрешение человеческий контроль быстро деградирует до рефлекторного штампования (rubber-stamping); срок этой деградации ни один из источников не измеряет. Оператор перестаёт вчитываться в параметры вызова и нажимает «Разрешить» на мышечной памяти, воспринимая диалоговое окно как досадную помеху. В сопромате это явление известно как усталостное разрушение металла при знакопеременных циклических нагрузках: деталь, выдерживающая однократный удар, неотвратимо трескается после десяти тысяч мелких циклов.

Более того, опрос VentureBeat Intelligence (июнь–июль 2026 года, 265 ответов; пересказ AccountsRecovery, 25.08.2026) [ИЗМЕРЕНО] выявил пугающий управленческий парадокс: компании, которые уже пострадали от сбоев искусственного интеллекта, быстрее остальных отключают ручное подтверждение человеком. Потерпев неудачу с ручным шлюзом и убедившись, что он тормозит бизнес, но всё равно пропускает аварии из-за невнимательности операторов, руководство просто демонтирует тормоза. Кибернетическое имя этого тупика сформулировано У. Россом Эшби в 1956 году (каталог RLM, строки 108–109): закон необходимого разнообразия. Разнообразие управляющего устройства (число состояний, которые человек способен осмысленно различить в единицу времени) на порядки ниже разнообразия возмущений, генерируемых кремниевым агентом. Когда человека ставят работать предохранителем в высокочастотной цепи, он не защищает цепь — он лишь принимает на себя юридическую вину за её неизбежное короткое замыкание.

3.2.4 Имущественная и корпоративная цена для собственника и директора

Для генерального директора и собственника бизнеса (Tier-2, роль 2) технический сбой агента немедленно переводится на язык страхового, гражданского и корпоративного права [ИЗМЕРЕНО].

Во-первых, в начале 2026 года произошёл тектонический сдвиг на мировом рынке страхования корпоративной ответственности [ИЗМЕРЕНО]. С января 2026 года организация ISO (Insurance Services Office) ввела факультативные оговорки об исключении рисков генеративного ИИ из полисов общей гражданской ответственности (CGL) — формы CG 40 47, CG 40 48 и CG 35 08, которые крупные страховщики начали прикреплять к полисам (к середине 2026 года — 2 369 записей в 49 штатах, Insurance Business, 16.09.2026), а традиционные страховщики, по данным андеррайтера Armilla (21.01.2026), всё чаще исключают или ограничивают риски ИИ в полисах профессиональной ответственности (E&O) и киберполисах. Предприятие, чей агент удалил клиентскую базу, перевёл средства по ложным реквизитам или нарушил контрактные обязательства, обнаруживает, что стандартный страховой полис больше не действует.

Во-вторых, ни в одной юрисдикции мира по состоянию на октябрь 2026 года программный агент не обладает собственной правосубъектностью ([ИЗМЕРЕНО: сравнительно-правовые обзоры 2025–2026 гг.]; статья Mercatus Center (Ш. Раджагопалан, 05.03.2026) обосновывает, что правосубъектность агента для его регулирования не необходима и не достаточна; Федеральный закон от 26.07.2026 № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации», принятый Государственной Думой 8 июля 2026 года, одобренный Советом Федерации 17 июля 2026 года и действующий с 1 сентября 2026 года, правосубъектности ИИ не вводит). Как показал ещё прецедент Air Canada, попытка корпорации сослаться в суде на то, что ошибку совершил «самостоятельный программный модуль», отвергается: за любое действие алгоритма имуществом отвечает юридическое лицо, запустившее этот алгоритм. В российской практике по опросу 52 крупных компаний («Инфосистемы Джет» и Smart Ranking, август 2026 года; респонденты — ИТ-директора и руководители цифровизации) 56 % называют юридические риски одним из главных барьеров внедрения ИИ — вторым после стоимости серверов (58 %), а финансовые директора отказываются согласовывать масштабирование из-за невозможности рассчитать совокупную стоимость владения (TCO) при неконтролируемой оплате за токены.

В-третьих, внутри самой корпорации возникает прямая личная уязвимость руководителя по статье 53.1 Гражданского кодекса РФ. Директор несёт субсидиарную имущественную ответственность перед обществом и акционерами за убытки, если будет доказано, что при осуществлении своих прав и исполнении своих обязанностей он действовал недобросовестно или неразумно, в том числе не создал систему управления рисками или принял решение без учёта известной информации. Развёртывание в промышленном контуре вероятностного агента с прямым правом записи в базы данных и платёжные шлюзы при отсутствии детерминированного ограничителя и проверяемого журнала исполнения — это классический состав управленческой неразумности. Когда у агента лежат ключи от казны, а единственным свидетелем инцидента выступает текстовый лог самой языковой модели, который можно переписать задним числом, крайним в арбитражном процессе остаётся единоличный исполнительный орган.

3.3 Инженерная реальность 2026 года: что измерено в коде и на рынке

К осени 2026 года инфраструктура, получившая название «интернета агентов», сложилась в полноценный промышленный стек со своими транспортными шинами, платёжными рельсами, протоколами идентификации и форматами отчётности. Чтобы понять, в какую именно точку этого стека встраивается детерминированный шлюз допуска, необходимо рассмотреть устройство действующей экосистемы и сопоставить его с результатами измерений на боевом вычислительном узле 147 (/opt/v).

3.3.1 Анатомия «интернета агентов» 2026 года: от транспорта до платежей и квитанций

В 2026 году мировая индустрия перешла от разрозненных экспериментов к стандартизации агентного взаимодействия [ИЗМЕРЕНО]:

–

Капитал и концентрация рынка.

В первом квартале 2026 года сектор искусственного интеллекта привлёк $242 млрд — 80 % всего мирового венчурного капитала, причём 65 % всего мирового венчура квартала ($188 млрд) пришлись на четыре мегасделки (OpenAI, Anthropic, xAI, Waymo) (данные Crunchbase, апрель 2026 года; пересказ Fast.io). Непосредственно компании, разрабатывающие программных агентов, за 2025 год привлекли $24,2 млрд в рамках 1 311 сделок по методологии PitchBook (при более узких определениях сегмента оценки на порядок ниже: так, Prosus и Dealroom в августе 2025 года прогнозировали около $6,7 млрд за год).

–

Промышленное внедрение и первая точка окупаемости.

По данным опроса LangChain (2026 год, 1 300 респондентов), 57,3 % организаций уже вывели агентов в промышленную эксплуатацию. Первой категорией, доказавшей твёрдое продуктовое соответствие и платёжеспособный спрос, стали кодовые агенты: к февралю 2026 года терминальный инструмент Claude Code превысил годовой темп выручки в $2,5 млрд (более половины — корпоративные заказчики; сообщение Anthropic о раунде Series G, 12.02.2026), сопоставимую оценку для Codex (около $1 млрд) приводят лишь отраслевые обзоры без раскрытия OpenAI, а кодовые помощники были внедрены в 51 % опрошенных предприятий (опрос Menlo Ventures, 20.11.2024). В сегменте бизнес-приложений платформа Salesforce Agentforce в четвёртом квартале 2026 финансового года показала около $800 млн регулярной годовой выручки и 29 000 заключённых сделок (Nasdaq), а число организаций-клиентов Microsoft Copilot Studio сама Microsoft оценивает в «свыше 160 000» (страница продукта, без даты; на квартальном отчёте 30.04.2025 называлось свыше 230 000 организаций). В России, по прогнозу «Яков и Партнёры» и «Яндекса» (опрос 150 ИТ-руководителей), известному только по партнёрской публикации на «РБК Компании», рынок автономных агентов вырастет в 4,5 раза к 2028 году, а отраслевой срез Solyanka Agency за сентябрь 2026 года зафиксировал 28 публично раскрытых сделок и 51 кейс внедрения за 2026 год, причём 45 из 51 решений предприятия создавали самостоятельно или заказывали под себя (пересказ Inc. Russia).

–

Транспортный и инструментальный уровень (MCP и A2A).

Протокол MCP (Model Context Protocol), переданный компанией Anthropic под управление фонда Agentic AI Foundation при Linux Foundation, стал фактическим стандартом подключения моделей к данным и инструментам: к декабрю 2025 года насчитывалось свыше 10 000 публичных серверов и 97 млн ежемесячных загрузок комплекта разработчика (SDK), а по опросу Stacklok (декабрь 2025 года; 300 старших технических руководителей крупных предприятий США, Канады и Великобритании в трёх отраслях) 41 % используют MCP в ограниченном или широком промышленном контуре (отчёт «State of MCP in Software 2026», январь 2026 года). Вместе с протоколом A2A (Agent-to-Agent) он образовал связную шину, по которой один агент передаёт подзадачи и вызывает функции другого без участия человека.

–

Платёжные рельсы (AP2 и x402).

В марте 2026 года банк Santander и платёжная система Mastercard провели первый в Европе сквозной платёж, исполненный программным агентом, — пилот в контролируемой среде, прошедший через боевую платёжную инфраструктуру банка в заранее заданных лимитах и без коммерческого запуска (пресс-релизы Santander и Mastercard, 02.03.2026). Протокол агентных платежей AP2, инициированный Google, объединил свыше 60 организаций (ap2-protocol.org). Параллельно протокол микроплатежей x402 (на базе HTTP-кода 402 Payment Required), развиваемый Coinbase, к апрелю 2026 года провёл порядка 165 млн микроплатежей на сумму около $50 млн (средний платёж — десятки центов; по вторичным пересказам статистики Coinbase на 21.04.2026, часть оборота — тестовая и игровая), а 14 июля 2026 года при Linux Foundation был запущен фонд x402 Foundation с 40 участниками, включая Visa, Mastercard, American Express, Stripe и Google (пресс-релиз Linux Foundation, 14.07.2026).

–

Идентификация и делегирование (KYA).

В феврале 2026 года Национальный институт стандартов и технологий США (NIST) опубликовал концепцию идентификации и авторизации программных агентов, а в марте 2026 года фонд Decentralized Identity Foundation (DIF) представил спецификацию KYA-OS («Знай своего агента» — Know Your Agent). Крупнейшие поставщики систем управления доступом выпустили специализированные контуры: Microsoft Entra Agent ID, расширение Okta XAA (вошедшее в контур авторизации MCP) и механизм Auth0 Token Exchange. Все эти решения сходятся в одной точке: делегирование через OAuth, короткоживущие токены и фиксация вызовов, однако единого межвендорного стандарта идентификации в 2026 году не существует, а сама проверка токена отвечает лишь на вопрос «кто стучится в дверь», но не на вопрос «ведёт ли конкретный набор параметров вызова к уничтожению базы данных».

–

Криптографические квитанции действия.

В апреле–сентябре 2026 года в Инженерный совет интернета (IETF) были поданы индивидуальные черновики (Internet-Drafts, не документы рабочих групп и не стандарты) Execution Outcome Attestation (04.04.2026, срок действия истёк 06.10.2026) и Enforcement Attestation Receipts for AI Inference Decisions (draft-chueayen-attestation-receipts, редакции 25.07, 08.08 и 09.2026), а также экспериментальные реализации на базе доверенных сред исполнения (TEE) и доказательств с нулевым разглашением поверх транспортного протокола (zkTLS, обзор Wavect, 2026 год). Все они описывают один и тот же класс объектов: криптографически подписанную квитанцию о совершённом действии, которую посторонний аудитор проверяет в автономном режиме (offline) без доверия к оператору агента.

3.3.2 Четыре архитектурных класса защиты и теорема Эшби

Рынок информационной безопасности в 2025–2026 годах отреагировал на взрывной рост агентных вызовов формированием четырёх основных архитектурных классов защитных решений (обзоры Cerbos и C1, 2026 год). Беспристрастный кибернетический анализ показывает, почему ни один из первых четырёх классов в отдельности не решает задачу гарантированного допуска действия:

Текстовый фильтр на входе и выходе (Input/Output Guardrails). Слой регулярных выражений или легковесных классификаторов, пытающийся обнаружить вредоносные конструкции в тексте промпта. Он бессилен против инцидентов класса PocketOS или Amazon Kiro: в обоих случаях на входе не было хакерской атаки — агент решал легитимную инженерную задачу, но выбрал разрушительный способ её исполнения.

Вторая нейросеть-надсмотрщик (LLM-as-a-Judge / вероятностный монитор). Попытка поставить поверх рабочей языковой модели вторую языковую модель, оценивающую «безопасность намерения». Как показали исследования Redwood Research по контролю недоверенных моделей (Greenblatt et al., «AI Control: Improving Safety Despite Intentional Subversion», arXiv:2312.06942, декабрь 2023) и их продолжение (Sreevatsa, Prasanna, Rushing, arXiv:2602.10153, февраль 2026), вероятностный монитор уязвим к сговору моделей (collusion) и теряет надёжность, как только действия контролируемой модели выходят за пределы его понимания. С точки зрения закона Эшби, надстройка одной стохастической системы над другой не уменьшает энтропию контура, но удваивает задержку и стоимость вычислений на графических ускорителях (GPU).

Песочница окружения (Sandbox / изоляция контейнера или виртуальной машины). Необходимый гигиенический минимум для локальных агентов уровня OpenClaw или Hermes, защищающий хост-машину от разрушения. Однако песочница бесполезна, как только агенту по роду его службы выдают действительный токен к внешней промышленной базе данных, корпоративному хранилищу или платёжному шлюзу AP2: разрушительный REST-вызов совершенно легально уходит из изолированного контейнера по сети в целевой контур.

Сетевой прокси и шлюз аутентификации (Identity & API Gateway). Проверяет наличие прав доступа у роли (RBAC), валидность токена OAuth и сетевой маршрут. Но сетевой прокси слеп к предметной семантике параметров: если кодовому агенту разрешён метод DELETE или POST для работы с тестовыми таблицами, стандартный токен не удержит его от передачи в параметрах этого же вызова идентификатора боевой таблицы или внешней почты конкурента.

Для преодоления этого предела необходим пятый архитектурный класс — детерминированный программный шлюз верификации параметров действия над формальными контрактами-данными. В терминах физиологии это аналог гематоэнцефалического барьера: мембрана не пытается угадать «намерения» молекул в кровотоке, она по жёсткому геометрическому и химическому правилу не пропускает в ткань мозга ни одну структуру, не проходящую по формальным инвариантам, даже если эта структура циркулирует в общем сосудистом русле.

3.3.3 Механика шлюза MITR на узле 147: что измерено в коде

В модели жизнеспособной системы Стаффорда Бира (VSM) такой шлюз занимает строго определённую позицию — контур S3* (спорадический и сплошной аудит и допуск), действующий независимо от оперативного управления (S3) и координации (S2), но напрямую подчиняющийся политике высшего уровня S5 (человек-собственник, подписывающий правила и удерживающий криптографические ключи).

На производственном узле 147 (/opt/v) АНО «НИИ Системного синтеза» этот архитектурный ответ реализован в коде программного шлюза MITR и зафиксирован приборными замерами [ИЗМЕРЕНО]:

Контракт как данные и семантика решателя (z3_gate.py). Вместо текстовых пожеланий в системном промпте границы дозволенного записываются человеком в виде формальных декларативных контрактов (по состоянию на 9 октября 2026 года в каталоге MITR/policies/contracts/ действуют 19 контрактов). В момент, когда агент формирует запрос на вызов инструмента через MCP или REST, шлюз перехватывает структуру вызова до её передачи в среду исполнения и транслирует параметры действия и условия контракта в формулу логики первого порядка (SMT-LIB), передаваемую решателю Z3 (core/verification/z3_gate.py). Семантика проверки устроена строго инверсно по отношению к поиску нарушения: решатель проверяет выполнимость конъюнкции параметров конкретного вызова A и отрицания инварианта безопасности ¬I (множества запрещённых состояний F):



Если решатель возвращает вердикт UNSAT (невыполнимо), это означает математическое доказательство того, что пересечение параметров данного действия с множеством запрещённых состояний пусто (A ∩ F = ∅) — ни при каких значениях нефиксированных переменных это действие не нарушает подписанное правило. Только при наличии вердикта UNSAT шлюз исполняет вызов. Если же решатель возвращает SAT (выполнимо), шлюз программно отклоняет вызов до его попадания в целевую систему, извлекает из модели Z3 конкретный контрпример (какое именно поле и какое значение нарушили контракт) и возвращает агенту структурированные условия починки.

Быстродействие на обычном центральном процессоре (CPU, ADR-0282). Формальная проверка конечного набора параметров конкретного действия не требует анализа всей программы и не попадает под действие теоремы Райса. По данным прибора P4 (smt_latency_paper.py, журнал /opt/v/data/logs/smt_latency_paper.jsonl, зафиксировано в ADR-0282) [ИЗМЕРЕНО], медианное время работы самого решателя Z3 на одно решение составляет 0,74 мс, а вызов шлюза вместе с объяснением решения (статусы ветвей, условия починки при блоке) — 3,3 мс на стандартном CPU без графических ускорителей (GPU); это замер 26.09.2026 на 17 контрактах, а на узле 147 при 19 контрактах 14.10.2026 — 0,95 и 4,3 мс. Прогон эталонного набора из 62 кейсов (50 атак и 12 контрольных) обходится ровно в $0 (ADR-0262), а совокупный расход всего исследовательского контура на внешние языковые модели за 1–6 октября 2026 года составил $0,14 (за 1–14 октября — $0,30).

Неизменяемая хэш-цепь квитанций и повтор посторонним (ADR-0257, ADR-0281). Каждое решение шлюза — как допуск (allow), так и отклонение (block) — шлюз оформляет криптографической квитанцией: наблюдённые факты, вердикт решателя, основания допуска и отпечаток текста правила. Квитанции связываются в последовательную хэш-цепь SHA-256 (/opt/v/data/logs/gate_actions.jsonl), где каждая последующая запись включает хэш предыдущей, а головы эпох фиксируются во внешнем независимом свидетеле через протокол временных меток OpenTimestamps (anchor_chains.py, журнал /opt/v/data/gate_anchors.jsonl). Это тот же фундаментальный класс объектов, который в индивидуальных черновиках IETF (draft-chueayen-attestation-receipts, редакции июля–сентября 2026 года) описан лишь к осени 2026 года, но в контуре MITR эта цепь уже работает в коде. Проверщик, написанный для постороннего (verify_chain_standalone.py --replay: стандартная библиотека Python и любой решатель SMT-LIB, ни строки кода MITR), воспроизвёл и математически подтвердил 1602 решения из 1602 на 30.09.2026 и 4958 из 4958 на 14.10.2026 ([ИЗМЕРЕНО], ADR-0281); повтор выполняла сама станция MITR, сторонний проверяющий его ещё не делал.

Самоулучшение под доказательством (ADR-0275). В отличие от открытого агента Hermes, который бесконтрольно переписывает собственные навыки, модуль словаря mitr_vocab.py (контур С1) реализует расширение правил под формальным контролем: когда шлюз встречает незнакомое действие, он формирует кандидата в правило для словаря-данных. Первое такое правило было предложено и принято самим контуром MITR под математическим доказательством с записью в хэш-цепь (квитанция № 305, ADR-0275) [ИЗМЕРЕНО]. При этом доля нераспознанных действий составляет 27,8 % по корпусу станции Альфы за 16–26.09 и 32 % у станции Гаммы за 09.10 (при целевом показателе 0 %).

Радикальная дисциплина правды о текущем состоянии (--six, ADR-0273). Книга, построенная как измерительный прибор, фиксирует не рекламные обещания, а фактические показания датчиков на узле 147. По данным скрипта gate_mode_report.py --six и --tenants на 9 октября 2026 года [ИЗМЕРЕНО]:


•

из 7 целевых классов действий в жёсткий режим блокировки (block, «запрет») переведён

На страницу:
7 из 14