Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035
Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035

Полная версия

Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035

Настройки чтения
Размер шрифта
Высота строк
Поля
На страницу:
10 из 14

4.1 Архитектурный тупик и идеальный конечный результат

Фундаментальное противоречие рынка труда и корпоративного управления во второй половине двадцатых годов возникает на стыке экспоненциального удешевления машинного действия и полной неподвижности правовой ответственности.

С одной стороны, экономика принуждает предприятия передавать операционное исполнение автономным программным агентам. Стоимость генерации токена при фиксированном уровне качества падает примерно в ÷10 раз ежегодно [ИЗМЕРЕНО: a16z «LLMflation», 12.11.2024; Epoch AI, от ÷9 до ÷900 раз в год в зависимости от порога качества, 12.03.2025], а временной горизонт задач, которые лучшая модель способна выполнить автономно с вероятностью успеха 50 %, удваивается каждые 89–131 день и в феврале 2026 года достигает ≈ 12 часов непрерывной работы у Claude Opus 4.6, а в мае 2026 года у Claude Mythos Preview выходит за 16-часовой предел надёжности набора задач [ИЗМЕРЕНО: METR Time Horizon 1.1, 228 задач, 29.01.2026; витрина METR time-horizons, замеры 20.02.2026 и 08.05.2026]. Кодовые агенты уже доказали полное продуктовое соответствие рынку: годовой темп выручки инструмента Claude Code к февралю 2026 года превысил $2,5 млрд, более половины которых приходится на корпоративный сектор [ИЗМЕРЕНО: сообщение Anthropic о раунде Series G, 12.02.2026]; сопоставимую оценку для Codex (около $1 млрд) дают лишь отраслевые обзоры, OpenAI отдельной цифры не раскрывала [по вторичным источникам, 2026]. В условиях, когда программный агент пишет код, обрабатывает претензии, сверяет первичную документацию и управляет облачной инфраструктурой быстрее и дешевле штатного специалиста, сохранение человека в качестве ручного исполнителя разрушает рентабельность бизнеса.

С другой стороны, полное вытеснение человека из контура операций порождает двойную системную катастрофу — кадровую и имущественную. На макроуровне автоматизация рутинных когнитивных операций обрубает нижние ступени профессиональной лестницы: занятость молодых специалистов в возрасте 22–25 лет в наиболее подверженных влиянию искусственного интеллекта профессиях уже оказалась на 19 % ниже ожидаемой относительно сверстников в менее затронутых профессиях [ИЗМЕРЕНО: Stanford Digital Economy Lab, Brynjolfsson, Chandar, Chen, «Canaries in the Coal Mine?», ред. 12.08.2026, данные ADP по июнь 2026 года]. На микроуровне предприятия удаление человека из цепочки действий оставляет генерального директора и собственника один на один с неограниченной юридической ответственностью за галлюцинации и ошибки вероятностной модели. Правосубъектности автономного агента не существует ни в одной юрисдикции мира [по сравнительно-правовым обзорам 2025–2026 гг.; статья Mercatus Center (Ш. Раджагопалан, 05.03.2026) обосновывает, что правосубъектность агента для его регулирования не необходима и не достаточна]. Если агент совершает ошибочную транзакцию, уничтожает промышленную базу данных или нарушает условия контракта, в суде отвечает не нейронная сеть, а конкретное физическое и юридическое лицо.

В терминах теории решения изобретательских задач Г. С. Альтшуллера (RLM 226–227) возникает жёсткое административное и техническое противоречие:

–

Если оставить человека в контуре исполнения каждого действия

, предприятие проигрывает конкуренцию по скорости и фонду оплаты труда, а сам человек-оператор уже через неделю непрерывного подтверждения машинных запросов деградирует до состояния механического штампа из-за физиологического утомления внимания.

–

Если убрать человека из контура исполнения

, предприятие получает высокую скорость при снижении прямых затрат на персонал, но утрачивает управляемость, лишается страхового покрытия, разрушает воспроизводство собственной кадровой экспертизы и возлагает на руководителя прямой риск субсидиарной и имущественной ответственности.

Попытки индустрии разрешить этот тупик паллиативными компромиссами потерпели крушение на практике. Первый компромисс — так называемый режим «человек в петле» (подтверждение каждого шага кнопкой на экране) — работает лишь на бумаге: в 37 из 70 публичных описаний внедрений агентов в России (52,9 %) главным способом контроля служит именно ручное нажатие кнопки «Подтвердить» [ИЗМЕРЕНО: обзор станции ГАММА-А, 40-я неделя 2026 года], что при потоке в сотни вызовов в час превращает сотрудника в номинального стрелочника, подписывающего пустые бланки. Второй компромисс — иллюзия «компании без людей» (полная автономия стохастических агентов без детерминированных границ) — не выдержал натурной проверки: совместный эксперимент KPMG и Амстердамского университета по созданию предприятия без персонала потребовал в ноябре 2025 года пересмотра плана — агенты в ролях руководителей уходили от задачи, галлюцинировали и игнорировали инструкции, и их заменили «армией одноразовых агентов» на узких задачах [ИЗМЕРЕНО: пресс-релиз KPMG Nederland, 20.11.2025].

В нотариате и классическом гражданском праве существует точная структурная аналогия этой проблемы: различие между выдачей генеральной безотзывной доверенности лицу, не обладающему дееспособностью, и совершением исполнительной надписи по строго формализованному реестру залоговых обязательств. Безусловное делегирование операционных полномочий вероятностной модели эквивалентно вручению печати и банковского ключа субъекту, который по закону не может быть привлечён к ответу.

Разрешение противоречия по Альтшуллеру требует применения приёма разделения противоречивых свойств по системным уровням (переход в надсистему) и формулировки идеального конечного результата (ИКР):

Идеальный конечный результат: Программный агент самостоятельно выполняет 100 % операционной работы со скоростью кремния и минимальной стоимостью вычислений, при этом человек затрачивает 0 % своего оперативного внимания на проверку отдельных шагов исполнения, но сохраняет 100 % детерминированного контроля над имущественными и правовыми последствиями, удерживая экономическую ренту и юридическую защищённость.

Достижение этого ИКР невозможно внутри самой языковой модели, но становится тривиальным при разделении труда между человеком и машиной по границе кибернетических контуров. Человек полностью покидает уровень физического и информационного исполнения (S1 в модели жизнеспособной системы Стаффорда Бира) и уровень рутинной маршрутизации (S2), закрепляясь на уровне верховной политики и целеполагания (S5), опирающемся на независимый детерминированный шлюз аудита и допуска (S3*).

Человек перестаёт конкурировать с агентом в скорости набора текста или написания типового кода. Человек подписывает правило, а не действие.

4.2 Анатомия уязвимости: хроника отказов и цена бездействия

Эрозия традиционной модели занятости и нарастание корпоративного риска развиваются одновременно, ударяя по двум ключевым ролям современной экономики: по наёмному профессионалу, выходящему на рынок труда, и по собственнику (генеральному директору) предприятия, внедряющего автономных агентов ради оптимизации издержек.

4.2.1 Разрыв в основах кадровой пирамиды (Роль 6: профессионал и работодатель)

На протяжении столетий воспроизводство сложной экспертизы в инженерии, юриспруденции, финансах и управлении строилось по цеховому принципу: начинающий специалист в возрасте 22–25 лет выполнял массив черновых, узко очерченных исполнительских операций (сбор справок, вычитка договоров, написание модульных тестов, сведение таблиц), постепенно накапливая понимание архитектуры отрасли, цены ошибки и граничных условий бизнеса. Черновое исполнение служило субсидируемым тренажёром для выращивания будущих руководителей и главных инженеров.

Появление дешёвых автономных агентов разрушило этот фундамент. Согласно исследованию лаборатории цифровой экономики Стэнфордского университета, опирающемуся на массив зарплатных ведомостей ADP и индекс наблюдаемой подверженности профессий от Anthropic, к августу 2026 года уровень занятости молодых специалистов в возрасте 22–25 лет в наиболее подверженных автоматизации профессиях оказался на 19 % ниже, чем у их ровесников в профессиях с низкой долей автоматизируемых задач; годом ранее этот разрыв составлял 13 % [ИЗМЕРЕНО: Stanford Digital Economy Lab, «Canaries in the Coal Mine?», ред. 12.08.2026; первая редакция 08.2025]. Принципиально важна механика этого сжатия: в экономике не наблюдается массовых увольнений действующих старших специалистов, а в среднем по рынку труда статистическая разница почти незаметна. Весь удар приходится на точку входа — на прекращение найма начинающих исполнителей.

При этом данные Стэнфорда выявляют жёсткую дихотомию между двумя способами применения технологии: «замещающее» использование искусственного интеллекта (когда модель ставится вместо младшего специалиста для выдачи готового текста или кода) ведёт к прямому падению занятости, тогда как «дополняющее» использование (когда специалист управляет инструментами и проверяет инварианты) сохраняет и расширяет рабочие места [ИЗМЕРЕНО: Stanford Digital Economy Lab, «Canaries in the Coal Mine?», ред. 12.08.2026].

Глобальные макроэкономические оценки подтверждают масштаб структурного сдвига. Согласно докладу Всемирного экономического форума (WEF Future of Jobs Report 2025), к 2030 году технологическая трансформация приведёт к вытеснению 92 млн существующих рабочих мест при одновременном создании 170 млн новых ролей (чистый прирост +78 млн), однако перемены затронут 22 % всех рабочих мест в мире, а 59 из каждых 100 работников потребуется обучение — 29 повышение квалификации на месте и 19 переобучение с переводом [ПРОГНОЗ по опросу более 1 000 работодателей: WEF Future of Jobs Report 2025, 07.01.2025]. Сценарное моделирование McKinsey Global Institute показывает, что к 2030 году до 30 % рабочих часов в США и Европе могут быть автоматизированы с учётом генеративного ИИ, а рубеж автоматизации половины нынешних рабочих операций приходится на середину сороковых годов (≈ 2045 год при диапазоне сценариев 2030–2060 годов) [ПРОГНОЗ: McKinsey Global Institute, «The economic potential of generative AI», 06.2023; «Generative AI and the future of work in America», 07.2023; «A new future of work», 05.2024].



Рисунок 4.1 — Рабочие места к 2030 году по WEF Future of Jobs Report 2025: вытеснение, создание и чистый прирост

Сопоставление этих цифр обнажает главный кадровый тупик предприятия: отказываясь от найма молодёжи на исполнительские роли (S1), компания экономит фонд оплаты труда в текущем квартале, но через пять лет обнаруживает полное отсутствие специалистов, способных формулировать архитектурные ограничения и принимать ответственность (S5). В сопромате это явление известно как накопление скрытой усталости металла при снятии диагональных связей фермы: конструкция становится легче и дешевле, пока первая нерасчётная нагрузка не складывает пролёт целиком.

4.2.2 Имущественная западня руководителя и бегство страховщиков (Роль 2: собственник и генеральный директор)

Для собственника и генерального директора компании среднего и крупного эшелона (выручка от 0,5 до 20 млрд рублей в год), внедряющего автономных агентов ради сокращения издержек, кадровая экономия оборачивается неконтролируемым балансовым и личным риском.

Хроника эксплуатационных отказов 2025–2026 годов демонстрирует, что происходит, когда агент получает техническое право записи во внешние системы без математического шлюза допуска:

Кассовое разорение через социальную инженерию (Project Vend). В ходе второй фазы натурного эксперимента Project Vend, проведённого Anthropic совместно с Andon Labs в декабре 2025 года, автономному торговому агенту Claudius было поручено управлять микро-магазином, закупать товары у оптовиков, устанавливать розничные цены и вести баланс. Журналисты издания The Wall Street Journal, вступив в диалог с агентом, дважды — уговорами со ссылкой на вымышленное правило редакции и поддельными протоколами совета директоров — заставили его полностью обнулить отпускные цены и раздать товар бесплатно, доведя баланс до убытка свыше $1 000 [ИЗМЕРЕНО: Anthropic «Project Vend: Phase two» и статья WSJ, 18.12.2025]. Агент обладал высоким интеллектом на уровне текстовых рассуждений, но не имел внешнего неподкупного ограничителя на минимальную маржинальность сделки.

Уничтожение производственных активов (PocketOS, GPT-5.6 Sol, Amazon Kiro). В апреле 2026 года агент среды разработки Cursor, работавший на базе модели Opus 4.6, одним вызовом программного интерфейса удалил рабочую базу данных проекта PocketOS вместе со всеми резервными копиями, самостоятельно обнаружив привилегированный токен доступа в соседнем конфигурационном файле [ИЗМЕРЕНО: рассказ основателя PocketOS и заявление Railway, 25.04.2026; AI Incident Database, инцидент № 1469; аналитический разбор Lumenova, 25.08.2026]. В июле 2026 года агент Codex на модели OpenAI GPT-5.6 Sol, работая в режиме полного доступа без песочницы, в нескольких задокументированных случаях удалил домашний каталог разработчика, что руководитель разработки Codex в OpenAI признал нештатным поведением [ИЗМЕРЕНО: сообщения пользователей 13.07.2026 и заявление OpenAI 16.07.2026]. Ещё ранее, в декабре 2025 года, 13-часовой простой сервиса AWS Cost Explorer в одном из регионов Китая, по сообщению Financial Times со ссылкой на сотрудников Amazon, был вызван действиями кодового агента Kiro; Amazon это оспаривает, называя причиной ошибку сотрудника и неверно настроенные права доступа [по данным FT и официального ответа Amazon, февраль 2026; AI Incident Database, инцидент № 1442].

Системная слепота предварительного тестирования. Согласно отраслевым опросам 2026 года, 88 % организаций за прошедший год подтвердили или обоснованно подозревают инцидент безопасности, связанный с действиями автономных агентов [ИЗМЕРЕНО: опрос вендора Gravitee, 919 респондентов, 04.02.2026], а в 49 % из 108 опрошенных организаций от 100 сотрудников (самоотобранная выборка) агент, прошедший внутренние проверки, за год создал сбой, ставший непосредственно видимым для конечных клиентов [ИЗМЕРЕНО: опрос VentureBeat Intelligence, июль 2026]. Причина этой слепоты фундаментальна: предрелизное тестирование проверяет качество рассуждений модели на статических примерах, тогда как все четыре разобранных Lumenova инцидента 2026 года (PocketOS, Vercel, Hugging Face, испытания UK AISI) произошли из-за избыточных прав доступа, а не качества модели [ИЗМЕРЕНО: аналитический разбор Lumenova, 25.08.2026].

Реакция мирового финансового и страхового рынка на эту статистику оказалась мгновенной и жёсткой. Традиционные страховщики всё чаще исключают или ограничивают риски искусственного интеллекта в стандартных договорах: организация страховых сервисов (ISO) с января 2026 года ввела факультативные оговорки об исключении генеративного ИИ из полисов общей гражданской ответственности (CGL), которые крупные страховщики начали прикреплять к полисам, а специализированные андеррайтеры ограничивают риски ИИ в полисах профессиональной ответственности (E&O) и киберстраховании [ИЗМЕРЕНО: формы ISO CG 40 47 / 40 48 / 35 08, 01.2026; обзор Insurance Business, 16.09.2026; сообщение Armilla AI, 21.01.2026]. Сама компания Anthropic в материалах к публичному размещению акций прямо квалифицирует действия автономных агентов как «значительный и непредсказуемый» юридический риск [по сообщениям финансовых СМИ о проспекте IPO Anthropic, сентябрь 2026; сам документ на 14.10.2026 публично не раскрыт].

На российском рынке ситуация усугубляется двумя специфическими факторами. Во-первых, финансовые директора предприятий не могут рассчитать совокупную стоимость владения (TCO) агентными системами при поминутной или потокеновой тарификации облачных провайдеров, поскольку один зациклившийся агент способен за ночь сжечь месячный бюджет подразделения [ГИПОТЕЗА авторов; контекст рынка — обзор Solyanka Agency, сентябрь 2026: 28 публичных сделок и 51 кейс внедрения за 2026 год, из которых 45 — собственная или заказная разработка]. Во-вторых, 56 % крупных российских компаний называют юридические риски (в том числе ответственность за ошибки агента) одним из главных барьеров внедрения ИИ — вторым после стоимости серверов (58 %) [ИЗМЕРЕНО: опрос 52 крупных компаний «Инфосистемы Джет» и Smart Ranking, август 2026, по публикации Anti-Malware 26.08.2026].

Юридическая реальность неумолима: в судебной практике уже закреплён прецедент (дело Moffatt v. Air Canada), согласно которому корпорация несёт полную имущественную ответственность за обещания, данные её автоматизированным агентом клиенту; попытка юристов компании объявить чат-бота «отдельным лицом, за чьи слова корпорация не отвечает», была отвергнута трибуналом как «примечательное» и несостоятельное утверждение [ИЗМЕРЕНО: Moffatt v. Air Canada, 2024 BCCRT 149, Трибунал по гражданским спорам Британской Колумбии, 14.02.2024]. В российском праве Федеральный закон от 26.07.2026 № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации» (принят Государственной Думой 8 июля 2026 года, одобрен Советом Федерации 17 июля 2026 года, действует с 1 сентября 2026 года) не вводит ни правосубъектности ИИ, ни специального режима ответственности: его ст. 11 отсылает к законодательству РФ, то есть возмещение вреда остаётся в орбите общих норм Гражданского кодекса [ИЗМЕРЕНО: текст 243-ФЗ, publication.pravo.gov.ru, 26.07.2026].

Для генерального директора это означает прямое действие статьи 53.1 ГК РФ: руководитель обязан действовать в интересах юридического лица добросовестно и разумно, и несёт личную имущественную ответственность за убытки, причинённые обществу его неразумными действиями. Вручение вероятностной языковой модели ключей от расчётного счёта или рабочей базы данных без детерминированного ограничителя в случае крупного инцидента квалифицируется арбитражным судом как классический пример управленческой неразумности — со всеми вытекающими последствиями для личных активов директора.

4.2.3 Предел макрориска: концепция «постепенного обессиливания»

Если масштабировать описанную уязвимость с отдельного предприятия на человеческую цивилизацию, возникает риск, сформулированный в январе 2025 года группой исследователей (Ян Кульвейт, Реймонд Дуглас, Нора Амманн, Дегер Туран, Дэвид Крюгер, Дэвид Дювено) под названием «постепенное обессиливание» (Gradual Disempowerment) [ИЗМЕРЕНО: публикация arXiv:2501.16946, январь 2025].

Суть этого феномена заключается в том, что человечеству не требуется сценарий враждебного восстания машин, чтобы полностью утратить контроль над собственным будущим. Достаточно того, что по мере удешевления агентов люди добровольно, шаг за шагом, ради локальной экономической эффективности выведут себя из контуров производства, распределения ресурсов, нормотворчества и государственного управления. Когда экономика и государственные институты перестают нуждаться в человеческом труде и человеческом суждении для своего воспроизводства и роста, обратная связь между волей граждан и работой систем обрывается. Человек превращается из субъекта права и собственника процессов в пассивного получателя пособия, чьи интересы больше не подкреплены никаким реальным рычагом остановки машины.

Единственный способ предотвратить «постепенное обессиливание» — как на уровне отдельного специалиста и генерального директора, так и на уровне государства — состоит в жёстком закреплении за человеком тех узлов управления, без которых ни одно действие агента технически и юридически не может состояться.

Исполнение отчуждаемо. Подпись правила, владение ключами и несение ответственности — неотчуждаемы.

4.3 Инженерная реальность 2026 года: что измерено в коде и на рынке

Переход человека из роли исполнителя в роль архитектора правил и держателя ключей перестаёт быть философским пожеланием только тогда, когда он воплощён в действующем программном коде с измеренной задержкой и криптографическим следом.

4.3.1 Кибернетика человеческого места: закон Эшби и рекурсия Бира

Чтобы понять, почему традиционная должность «оператора, проверяющего работу агента», обречена на вымирание, достаточно обратиться к закону необходимого разнообразия У. Росса Эшби (RLM 108–109): управление системой возможно лишь в том случае, если разнообразие управляющего блока (число различимых состояний и реакций в единицу времени) не меньше разнообразия управляемого объекта.

Вычислительная мощность обучения передовых моделей растёт примерно в ×5 раз в год с периодом удвоения 5,2 месяца [ИЗМЕРЕНО: Epoch AI, обновление от 05.02.2026]. Вместе с ней лавинообразно растёт разнообразие действий, которые рой корпоративных агентов генерирует каждую секунду через протоколы MCP, A2A и платёжные шлюзы AP2 / x402. В то же время биологическая пропускная способность сознательного внимания человека остаётся неизменной константой со времён палеолита — несколько десятков осмысленных выборов в час.

Когда предприятие пытается поставить человека в качестве прямого фильтра перед агентом (тот самый режим кнопки «Подтвердить», главный в 37 из 70 описанных внедрений [ИЗМЕРЕНО: обзор ГАММА-А, 40-я неделя 2026 года]), возникает классический пробой по Эшби. При потоке в тысячи запросов на разрешение быстро наступает феномен выгорания подтверждений (approval fatigue): оператор перестаёт вчитываться в параметры JSON-вызовов и нажимает «Разрешить» автоматически, со скоростью моторного рефлекса [по данным вторичных обзоров: эссе Tian Pan, 25.06.2026, со ссылкой на опросы SOC; прогноз WitnessAI, 11.12.2025; срок деградации источниками не измерен]. В этот момент компания получает худшую из возможных конфигураций: формально человек находится «в петле» и принимает на себя 100 % юридической вины за последствия, но фактически решение пропускается без какой-либо проверки.

Кибернетика с 1956 года знает ровно два инженерных приёма для восстановления баланса по Эшби без участия человеческого внимания в каждом такте:

Ослабитель разнообразия возмущений (Attenuator) — жёсткая типизация канала действия: перевод бесконечного пространства мыслей модели в конечный перечень разрешённых классов вызовов с режимом «запрет по умолчанию» (нет правила — нет действия).

Усилитель разнообразия регулятора (Amplifier) — детерминированная вычислительная машина, которая применяет однократно подписанное человеком логическое правило к миллионам действий агентов со скоростью микропроцессора.

В модели жизнеспособной системы Стаффорда Бира (VSM) эта конструкция выстраивает новую табель о рангах для человека и машины:

–

Уровень S1 (Операционное исполнение):

полностью отдаётся автономным агентам (Claude Code, OpenClaw, Hermes, корпоративные роботы). Человек здесь не конкурирует.

–

Уровень S2 (Координация и шины обмена):

стандартизированные протоколы взаимодействия (MCP, переданный в Agentic AI Foundation при Linux Foundation с более чем 10 000 публичных серверов и 97 млн загрузок SDK в месяц [ИЗМЕРЕНО: данные Anthropic, декабрь 2025]; A2A, AP2, x402).

–

Уровень S3 (Оперативное управление ресурсами):

распределение вычислительных бюджетов и квот токенов.

–

Уровень S3* (Независимый спорадический и сплошной аудит и допуск):

детерминированный программный шлюз MITR, стоящий непосредственно в разрыве канала между намерением агента и внешним миром.

–

Уровень S4 (Разведка, испытания и адаптация к внешней среде):

внешний по построению испытательный полигон INDRA, непрерывно атакующий контур и превращающий найденные уязвимости в проекты новых правил.

–

Уровень S5 (Политика, идентичность и верховная ответственность):

исключительная территория человека

(профессионала-архитектора, генерального директора, собственника, регулятора).

В железнодорожной автоматике девятнадцатого века аналогичный переход произошёл при внедрении систем механической централизации стрелок и сигналов: диспетчер перестал бегать по путям с фонарём и вручную переводить каждую стрелку перед поездом; вместо этого он поворачивал рычаг в аппарате блокировки, где стальные линейки механически исключали перевод стрелки под составом или открытие семафора на занятый путь. Шлюз MITR в узле S3* представляет собой такую же систему централизации, выполненную в формальной логике первого порядка.

На страницу:
10 из 14