После загрузки. Горизонты технологий и политики. Том 1

Каковы риски бездействия? Что произойдёт, если мы не внедрим эту технологию? Сохранятся ли страдания, которых можно было бы избежать?

Какова возможность отказа, выхода, контроля? Могу ли я не пользоваться? Могу ли я понять, как это работает? Могу ли я оспорить решение, принятое алгоритмом?

Кто выигрывает от внедрения в текущей конфигурации? Кто проигрывает? Как можно изменить конфигурацию, чтобы распределение было более справедливым?

Технореализм не даёт готовых ответов. Он даёт карту — такую же, как философия в целом. Он не скажет вам, «хорош» или «плох» генеративный ИИ, блокчейн или нейроинтерфейс. Но он поможет вам не скатываться ни в наивное обожание, ни в парализующий страх. Он напоминает, что за каждой технологией стоят люди с интересами, институты с логикой власти, и что будущее не предопределено ни «прогрессом», ни «системой» — оно создаётся нашими решениями здесь и сейчас. И от того, насколько мы научимся задавать правильные вопросы, зависит, станет ли цифровая эпоха временем освобождения или новой формой зависимости.

§6. Судья в коде?

Алгоритмы в ответственных сферах

Алгоритмы уже давно вышли из лабораторий и рекомендательных систем онлайн‑магазинов в те области, где от решений зависят человеческие жизни, свобода и базовые возможности. Беспилотные автомобили, кредитный скоринг, системы предиктивной полицейской аналитики, автоматизированные отборы резюме, медицинские диагностические модели, алгоритмы распределения социальных выплат — всё это примеры «ответственных сфер», в которых коэффициенты и веса в коде превращаются в судьбоносные «да» и «нет». В этом разделе задача не в том, чтобы решить, «хороши» или «плохи» такие алгоритмы, а в том, чтобы поставить философские вопросы: какие предпосылки мы вшиваем в код, кому доверяем право судить, как распределяем ответственность, когда ошибка делает больно не абстрактной «выборке», а конкретным людям.

Беспилотный транспорт — одна из самых ярких и наглядных площадок для этих вопросов. Отказ тормозной системы, выбор между риском для пассажира и пешехода, приоритет одной категории участников движения перед другой — всё это больше нельзя списать на «человеческий фактор» усталого водителя; решения принимаются на основе заложенных заранее правил и алгоритмов обработки сенсорных данных. Дискуссии вокруг так называемой «троллейбусной дилеммы» в контексте ИИ показывают, насколько сложно формализовать наши моральные интуиции: допускаем ли мы жертвование одним ради многих, должны ли алгоритмы учитывать возраст, здоровье, социальную роль потенциальных жертв, или любые подобные критерии недопустимы. Превращая эти интуиции в программный код, мы фактически принимаем нормативные решения, которые раньше были делом человеческого суждения в конкретной ситуации.

В финансовой сфере алгоритмы кредитного скоринга и управления рисками определяют, кто получит кредит, по какой ставке, а кто останется за бортом формально доступных услуг. Здесь особенно остро встаёт проблема непрозрачности: машинно‑обученческие модели могут учитывать сотни параметров, выявляя корреляции, которые неочевидны ни клиентам, ни самим разработчикам. В результате для человека решение алгоритма выглядит как «суд без объяснения»: отказ или одобрение, за которыми стоит сложная статистическая конструкция, но нет понятной логики, с которой можно спорить. Философский вопрос здесь касается справедливости и автономии: имеет ли право человек знать, на основании каких характеристик его считали «рисковым», и насколько допустимо использовать в таких моделях данные, косвенно связанные с социальным происхождением, местом жительства, кругом общения.

Особый клубок проблем возникает в «predictive policing» — системах, которые прогнозируют, где и когда с наибольшей вероятностью произойдут преступления, или оценивают риск рецидива для конкретных людей. Такие алгоритмы тренируются на исторических данных, в которых уже зафиксированы прошлые предвзятости: более частые патрули в определённых районах, избирательное внимание полиции к тем или иным группам, неравный доступ к адвокатам. Встраивая эти данные в модель, система фактически воспроизводит и усиливает старую несправедливость под видом нейтральной аналитики: районы, где и так было больше задержаний, получают повышенное внимание, жители этих районов чаще попадают в поле зрения, и круг замыкается. Здесь напрашивается философский вывод: нельзя говорить о «нейтральности» алгоритмов в ответственных сферах, не анализируя, какие социальные структуры и ценности за ними стоят.

Медицина и здравоохранение кажутся особенно привлекательными областями для алгоритмизации: диагностические модели, анализ изображений, прогнозы осложнений обещают повысить точность и скорость помощи. Но именно здесь особенно ясно, что «решение алгоритма» никогда не бывает чисто техническим. Подбор обучающих данных, определение целевой функции (минимизировать смертность, стоимость, сроки пребывания в стационаре, жалобы пациентов), выбор того, какие ошибки считать более допустимыми — ложноположительные или ложноотрицательные, — все эти решения несут в себе ценностную нагрузку. Выпуская алгоритм в клинику, мы, по сути, закрепляем определённое распределение рисков между пациентами и группами, но часто не проговариваем это открыто.

Когда алгоритмы попадают в сферу социальных программ — распределения пособий, мест в детских садах, приоритетов в очередях, — на первый план выходит вопрос легитимности. Люди готовы принять решение, даже неприятное для них, если оно кажется прозрачным, обоснованным и поддающимся оспариванию. Автоматизированные системы, работающие как «чёрные ящики», ломают эту логику: человеку сложно понять, к кому апеллировать и на что ссылаться, если ему отказали «по данным системы». Философия здесь поднимает тему процедурной справедливости: важно не только, насколько эффективно распределяются ресурсы, но и насколько понятны и обсуждаемы правила, по которым это делается, может ли общество участвовать в их формулировании, или всё решается техническими специалистами и менеджерами.

Для разработчиков и инженеров важным становится вопрос профессиональной ответственности. На каком этапе работа программиста перестаёт быть нейтральной и становится этической: при выборе архитектуры модели, при отборе данных, при формулировке требований, при тестировании. В отличие от классических профессий вроде врачей или юристов, у программистов и специалистов по данным пока нет устоявшихся этических кодексов, признанных обществом, хотя их решения всё чаще сопоставимы по последствиям с врачебными или юридическими. В книге эта тема будет развиваться через обсуждение «интеллектуальной ответственности» и идеи того, что работа с алгоритмами в ответственных сферах неизбежно превращает инженера в участника морального и политического процесса.

Не менее важен и вопрос доверия. В одних ситуациях люди склонны переоценивать алгоритмы, приписывая им объективность и непогрешимость; в других — резко отвергать, считая любую автоматизацию угрозой человеческому достоинству. Философски продуктивным кажется подход, в котором доверие к алгоритмам рассматривается как разновидность доверия к институтам: мы доверяем не коду сам по себе, а совокупности процедур разработки, тестирования, аудита, регулирования, ответственности, прозрачности. Там, где эти институты слабы или непрозрачны, разговоры об «этичном ИИ» рискуют превратиться в маркетинг. Поэтому в последующих разделах о моральной математике и нормах контроля речь пойдёт именно о том, какие рамки нужны, чтобы внедрение алгоритмов в ответственных сферах не подрывало, а укрепляло справедливость и доверие.

В итоге раздел об алгоритмах в ответственных сферах выполняет роль входной точки в большую тему «судьи в коде». Он показывает, что речь идёт не только о технических инновациях, но и о перенастройке базовых моральных и политических интуиций: кто имеет право решать, кому помочь и кого наказать, кому дать шанс и кого лишить возможности, какие жизни считать приоритетными, а какие — допустимым побочным ущербом. Эти вопросы не исчезают при переносе в цифровую среду, а, напротив, становятся острее, потому что за решениями алгоритмов легко спрятать человеческий выбор, назвав его «объективными данными». Задача философии в этой части книги — вернуть этот выбор в поле видимости и сделать его предметом открытого обсуждения, а не скрытого программирования.

Кто виноват, если виноват алгоритм

Когда алгоритмическое решение причиняет вред, первый импульс — найти виноватого, который «нажал не ту кнопку» или «написал неправильный код». Но в реальности большинство систем ИИ и сложных алгоритмов создаются и внедряются так, что ответственность размазывается по длинной цепочке: от исследователей и разработчиков до менеджеров, заказчиков, регуляторов и конечных пользователей. Раздел о вопросе «кто виноват, если виноват алгоритм» разбирает именно этот феномен рассеянной ответственности и предлагает подумать, как справедливо распределять вину и обязанности исправления в мире, где «судья в коде» — всегда продукт коллективных действий.

Начать можно с разработчиков и компаний, создающих алгоритмы. На уровне здравого смысла кажется очевидным: тот, кто писал код или обучал модель, несёт ключевую ответственность за её поведение. В простых случаях это работает: ошибка в формуле, некорректная обработка данных, игнорирование требований безопасности — всё это можно отнести к профессиональной небрежности или некомпетентности. Но в системах машинного обучения «поведение» алгоритма определяется не только кодом, но и данными, архитектурой, выбором метрик, сложным взаимодействием слоёв, и предсказать все последствия практически невозможно. Философски здесь встаёт вопрос о том, где проходит граница между допустимым риском эксперимента и морально неприемлемой безответственностью.

Компании‑владельцы и заказчики алгоритмов тоже не могут отмахнуться от ответственности, говоря, что они «лишь используют готовый продукт». Именно они принимают решения о том, в каких контекстах применять систему, насколько важно объяснимое поведение, какие ресурсы выделяются на тестирование, аудит и исправление ошибок, как реагировать на жалобы и инциденты. Если руководство экономит на проверках, игнорирует сигналы о дискриминации или небезопасности, скрывает сбои, ссылаясь на коммерческую тайну, — это не техническая деталь, а этический выбор. С точки зрения философии права здесь важен принцип: тот, кто извлекает выгоду из системы, должен разделять и ответственность за её негативные последствия.

Государство и регуляторы участвуют в распределении ответственности через установление правил и рамок допустимого. Если закон допускает внедрение непрозрачных алгоритмов в правосудие, социальную сферу или медицину без требований к объяснимости, независимому аудиту и процедурам обжалования, то ответственность за последствия лежит не только на разработчиках, но и на тех, кто позволил таким системам стать частью инфраструктуры. Пассивная позиция государства — «мы не успеваем за технологиями» — сама по себе является выбором, который оставляет граждан один на один с частными компаниями и их кодом. В книге далее будет обсуждаться, какие формы регулирования и общественного контроля нужны, чтобы алгоритмы в ответственных сферах не подрывали базовые правовые и этические стандарты.

Пользователи и специалисты «на переднем крае» — врачи, судьи, полицейские, менеджеры по персоналу — оказываются в двойственной позиции. С одной стороны, на них возлагают обязанность «критически относиться к алгоритмам», не перекладывать полностью суждение на машину, сохранять пространство для человеческого решения. С другой — организационные условия, временное давление, страх быть обвинённым в ошибке часто подталкивают к тому, чтобы следовать рекомендациям системы, особенно если она официально утверждена и позиционируется как более точная, чем человек. Философски важно признать, что без изменения институциональных стимулов и процедур нельзя просто апеллировать к индивидуальной совести: если врач или судья будут наказаны за отклонение от «стандарта алгоритма», то реальная ответственность за решение смещается вверх по иерархии.

Сложность добавляет и сама природа современных алгоритмов как «чёрных ящиков». В классическом праве мы привыкли связывать ответственность с возможностью предвидеть последствия: если человек мог разумно ожидать, что его действие приведёт к вреду, он несёт за него вину. В системах глубокого обучения даже разработчики не всегда могут точно объяснить, почему модель приняла то или иное конкретное решение. Возникает риск моральной и юридической лазейки: «мы не знали, что алгоритм так себя поведёт». Философская реакция на это — сдвиг фокуса с конкретного решения на дизайн системы: ответственность за создание и внедрение изначально непрозрачной, неконтролируемой системы в чувствительную область может рассматриваться как отдельное, самостоятельное основание вины.

Значимым становится и вопрос коллективной ответственности. Большие алгоритмические проекты реализуются распределёнными командами, где каждый отвечает за небольшой участок: кто‑то собирает данные, кто‑то чистит их, кто‑то пишет код, кто‑то настраивает инфраструктуру, кто‑то занимается UX-дизайном. Отдельный участник может искренне считать, что лишь выполняет нейтральную техническую задачу, не имея полного представления о конечном применении. Такая фрагментация труда напоминает ситуацию в крупных бюрократических и военных машинах, где Ханна Арендт, когда‑то описывала «банальность зла»: люди участвуют в системе, не видя целого. Задача философии — показать, что техническая деятельность в ответственных сферах неизбежно имеет моральную сторону и что профессиональные сообщества должны вырабатывать нормы, препятствующие бездумному участию в явно рискованных или несправедливых проектах.

Отдельная проблема — «рассеяние» ответственности на сам алгоритм. В популярном дискурсе нередко звучит, что «ИИ ошибся», «алгоритм дискриминировал», «система решила так‑то», как будто перед нами самостоятельный агент с собственной волей. Такое персонализирующее язык обращение к технологиям удобно: оно позволяет смягчить конфликт, снять острый вопрос «кто конкретно виноват». Но философски это опасно: если мы начинаем говорить об алгоритмах как о самостоятельных моральных агентах, пока не наделяя их юридической ответственностью и правами, мы создаём удобное «пугало», на которое можно перевести стрелки, не меняя практик людей и институтов. В книге дальше будет обсуждаться, в каком смысле можно говорить о «машинной ответственности», но уже на этом этапе важно удерживать принцип: ответственность остаётся человеческой, даже если её сложно распределить.

В практическом плане ответ на вопрос «кто виноват, если виноват алгоритм» не может быть простым. Вероятнее всего, он будет комбинированным: часть ответственности за дизайн и внедрение системы несут разработчики и компании; за выбор сфер применения и контроль — государство и регуляторы; за конкретные решения — люди, опирающиеся на алгоритм в своей работе, но только в той мере, в какой у них есть реальная возможность осмысленно вмешиваться. Философский вклад здесь — в том, чтобы не позволить никому из участников полностью избавиться от ответственности ссылкой на остальных или на «объективность данных».

В конечном счёте разговор об ответственности алгоритмов — это разговор о том, как сохранить человеческое измерение морали и права в мире, где значительная часть решений принимается при участии сложных технических систем. Перекладывание вины на код или на абстрактный «прогресс» — удобная, но опасная стратегия, ведущая к эрозии доверия и ощущению беспомощности. Этот раздел встраивает эту тему в общую линию главы: если мы всерьёз спрашиваем, можно ли доверить ИИ этические решения, то должны быть готовы так же серьёзно говорить о тех, кто будет отвечать, когда что‑то пойдёт не так.

Моральная математика. Утилитаризм

Идея утилитаризма на удивление хорошо «ложится» на интуицию о том, как должны работать алгоритмы: если можно посчитать последствия разных действий, почему бы не выбирать то, которое приносит наибольшее суммарное благо. В самом общем виде утилитаризм утверждает, что морально правильно то действие (или правило), которое максимизирует общее счастье, пользу, благополучие и минимизирует страдания; формулировка настолько похожа на постановку оптимизационной задачи, что кажется естественным кандидатом на роль моральной математики для ИИ. Параграф о «моральной математике» показывает и привлекательность этого подхода, и его ограничения, особенно заметные, когда решения принимает «судья в коде».

Для начала стоит напомнить классическую структуру утилитаризма. В версии Джереми Бентама речь шла о «наибольшем счастье наибольшего числа», причём счастье понималось довольно количественно — как баланс удовольствия и страдания, поддающийся, по мысли Бентама, даже некоему «калькулятору». Джон Стюарт Милль усложнил картину, добавив различие качеств удовольствий и внимания к долгосрочным последствиям, но исходный принцип сохранился: моральное суждение сводится к сравнению суммарных выгод и потерь. Для алгоритмов такой подход интуитивно понятен: задать функцию полезности, оценить сценарии, выбрать максимум. Именно поэтому многие дискуссии об ИИ — от беспилотников до распределения медицинских ресурсов — спонтанно формулируются в утилитарных терминах, даже если авторы так этого не называют.

Привлекательность утилитаризма для алгоритмов в том, что он обещает объединить мораль и расчёт. Если считать, что главное — последствия для благополучия всех затронутых сторон, то задача инженера и этика как будто совпадают: нужно лишь учесть побольше факторов и построить достаточно точную модель. Это созвучно духу эпохи больших данных и оптимизационных алгоритмов, привыкших к тому, что сложные задачи можно свести к максимуму некой целевой функции. Но именно здесь возникает первая философская проблема: что именно мы используем как меру «блага» — деньги, годы жизни, отсутствие боли, удовлетворённость опросами, субъективное счастье, количество предотвращённых преступлений. Любой выбор метрики — это уже ценностное решение, которое алгоритм сам принять не может.

Во многих прикладных областях утилитарная интуиция выглядит почти очевидной. При распределении ограниченных ресурсов здравоохранения — например, аппаратов ИВЛ в разгар эпидемии — кажется разумным выбирать такие решения, которые спасут больше жизней или суммарно больше лет жизни. В климатической политике логично сравнивать сценарии по суммарному ущербу и выгоде для разных стран и поколений. В безопасности транспорта задача минимизации числа аварий и погибших тоже звучит как естественный ориентир. Алгоритмам удобно доверять именно такие задачи: они умеют работать с вероятностями, сценариями, статистикой, то есть с тем, что для утилитаризма является предметом морального анализа.

Однако утилитаризм несёт в себе и риски, которые в алгоритмическом контексте становятся особенно острыми. Один из них — возможность «приносить в жертву» меньшинства ради блага большинства. Если смотреть только на суммарный показатель, то можно оправдать решения, систематически ухудшающие положение небольшой группы людей, поскольку общий баланс всё равно остаётся положительным. В человеческой политике этому противостоят идеи прав и справедливости, ограничивающие допустимость жертв в пользу общего блага; в чисто утилитарной логике алгоритма такого встроенного ограничителя нет, если его специально не ввести. Отсюда возникает опасение, что утилитарно настроенный ИИ может усилить существующие неравенства, если «дешевле» улучшать жизнь уже относительно благополучных групп, чем помогать самым уязвимым.

Здесь критика утилитаризма получает мощную поддержку со стороны классической философской традиции, которая указывает на фундаментальный изъян «моральной математики»: отсутствие абсолютных ценностей. Утилитаризм, по своей сути, является релятивистской этикой: благо определяется не внутренними свойствами поступка, а лишь его последствиями, которые всегда могут быть пересчитаны. Это означает, что в утилитаристской картине мира нет ничего, что было бы священно или неприкосновенно по определению. Честность, верность слову, уважение к достоинству человека — всё это может быть принесено в жертву, если «калькулятор» покажет, что в итоге суммарного счастья станет немного больше.

Из этого вытекает особенно тревожный для национальных культур и традиций вывод: утилитаризм не видит ценности в уникальном историческом и культурном опыте народа. Традиция, ритуал, национальный праздник или язык с этой точки зрения ценны лишь постольку, поскольку они производят «полезность». Если можно доказать, что отказ от национального языка или разрушение культурного памятника приведёт к экономическому росту и, следовательно, к «большему счастью для большего числа людей», утилитаристская логика не найдёт оснований для возражения. В мире «моральной математики» нет места таким категориям, как «священное», «родовое», «заветное», потому что их невозможно выразить в универсальной валюте пользы. Это делает утилитаризм удобным инструментом для глобализированного, усреднённого, «человечества вообще», но абсолютно непригодным для защиты локальной идентичности и культурного многообразия, которые часто требуют жертв и не приносят немедленной выгоды.

Наиболее последовательная альтернатива утилитарному релятивизму была предложена ещё Аристотелем. В своей «Никомаховой этике» он строит мораль не на расчёте последствий, а на понятии добродетели и блага, внутренне присущего деятельности. Для Аристотеля высшее благо — это эвдемония, то есть счастье как «деятельность души в согласии с добродетелью». Это не сумма удовольствий, а качественное состояние, достижимое только через воспитание характера и совершение правильных поступков ради них самих.

С этой точки зрения, главная ошибка утилитаризма — в подмене целей средствами. Человек должен быть честным не потому, что это максимизирует общественное благополучие, а потому, что честность есть добродетель, а ложь порочна сама по себе, независимо от её последствий. Аристотелевская этика наполнена тем, чего так не хватает «моральной математике»: понятиями абсолютного достоинства, внутренней ценности поступка, важности традиции и воспитания. Культурные и национальные традиции в этой системе — не просто набор привычек, подлежащих оптимизации, а конкретное воплощение добродетелей, школа формирования характера. Уважение к предкам, почитание старших, верность родовому укладу — это не «издержки», а необходимые элементы эвдемонии, без которых жизнь человека и общества становится неполноценной, даже если «среднее арифметическое» счастья от этого немного вырастет.

Применяя аристотелевскую критику к ИИ, мы видим, что алгоритм, лишённый добродетелей и воспитания, не способен к подлинно моральному суждению. Он может лишь оптимизировать, но не может понять, почему ложь, предательство или разрушение культурного наследия — это зло, даже если они ведут к «полезному» результату. Утилитарный ИИ будет идеальным менеджером, но никогда — мудрым правителем или справедливым судьёй.

Ещё одна проблема — измеримость и сравнимость. Утилитаризм предполагает, что удовольствия, страдания и блага разных людей можно по крайней мере приблизительно сравнивать и суммировать. Но как сопоставить, например, свободу и безопасность, материальное благополучие и культурную самореализацию, краткосрочную прибыль и долгосрочный риск потери смысла жизни. Любая попытка «оцифровать» такие вещи для алгоритма неизбежно упрощает реальность, оставляя за рамками целые измерения человеческого опыта. Философски это ставит под вопрос саму идею одной универсальной целевой функции блага: возможно, речь всегда идёт о множестве несводимых ценностей, требующих не только расчёта, но и суждения, диалога, компромисса.

Кроме того, утилитаризм в алгоритмической форме склонен фокусироваться на ожидаемых, а не на распределённых последствиях. Математически удобно минимизировать средний риск или максимизировать среднюю выгоду, но люди переживают несправедливость иначе: даже небольшой риск катастрофы для небольшой группы может считаться морально неприемлемым, несмотря на прекрасные средние показатели. Скажем, алгоритм предиктивной полиции может снизить общий уровень преступности, но при этом резко ухудшить положение жителей определённых районов, постоянно находящихся под подозрением. Утилитарная функция скажет «в целом стало лучше», тогда как с точки зрения прав и достоинства отдельных людей стало гораздо хуже.

В контексте ИИ утилитаризм порой приводит к соблазну «больших чисел». Если алгоритм способен улучшить ситуацию для миллионов, то его побочные эффекты для меньшинства склонны восприниматься как неизбежная плата за прогресс. Такая логика особенно заметна в разговорах о тотальном сборе данных ради безопасности или удобства: «если это позволит предотвратить теракт/эпидемию/катастрофу, то, возможно, стоит пожертвовать частью приватности» — классический утилитарный аргумент. Философская задача здесь — не объявить его заведомо ложным, а показать, что на определённом этапе он может оправдывать почти любые меры, вплоть до тотального контроля, если не ввести дополнительных ограничений на то, что нельзя делать ни при каких обстоятельствах.