Хакеры бытия. Том 2. Ребёнок инопланетян

Сергей Журавлёв

Хакеры бытия. Том 2. Ребёнок инопланетян

Глава 1. Начальник отдела "Мне показалось"

Говорят, чтобы понять, что такое искусственный интеллект,достаточно вспомнить его настоящее имя: программное обеспечение (ПО). Суть егопроста и полезна: оно — идеальный слуга.

ПО навигатора рассчитывает оптимальный путь от А до Б,учитывает пробки, но ехать или не ехать — решает человек.

ПО диагностическое анализирует снимки, прогнозирует риски,но решение об операции принимают двое: хирург и пациент.

ПО разведывательное обрабатывает данные спутников,моделирует угрозы, но приказ о начале военных действий отдаётглавнокомандующий. Или не отдаёт.

Вот и вся философия. Интеллект — искусственный,ответственность — абсолютно натуральная, человеческая. Он — советник. Мы —sovereign.

Но в этой идиллической картине есть один фатальный изъян.Она описывает мир, которого уже нет. В реальном мире ПО давно перестало бытьинструментом. Оно стало инстанцией.

Мой личный Кафка начался с денежного перевода в Сбере.Транзакция не прошла. Я приехал в отделение, спросил у живых, ещё не заменённыхна интерфейсы людей:

— В чём дело, товарищи?

Мне ответили с обезоруживающей прямотой:

— Это не мы. Это ИИ. Ему что-то показалось подозрительным ввашем переводе.

«Ему показалось»! Не «выявлены признаки мошенничества попунктам 1.2.3». Не «сработал фильтр, требующий подтверждения». А — показалось.Самый древний, самый беспомощный аргумент любой бюрократии, облечённый в бронюалгоритма.

— И что теперь делать? — спросил я, чувствуя себя занесенным из нашей взбалмошной, но все-таки современной нам Москвы в какой-то пост-панк. — Что это за новый начальник отдела «Мне показалось»? Выможете его как-то образумить? Объясните ему, пусть анализирует и прогнозируетгде-нибудь в сторонке, а в наши с вами дела не лезет.

Нет. Оказалось, что не могут. Лицо сотрудника выражалоискреннее сочувствие и понимание.

— Теперь, пока сам не успокоится, ваши деньги непереведутся.

— И сколько он будет… это... успокаиваться?

— По-разному. Может, час. Может, сутки.

«Пока сам не успокоится»! Это уже не описание работыалгоритма. Это диагноз новой власти. Власти черного ящика, который наделёнправом вето, но не обязанностью объяснять. Который действует на основе«показалось» и освобождает живых людей от ответственности, превращая их ваниматоров, которые могут лишь констатировать: «Система не пускает».

Так искусственный интеллект из помощника превращается всеньора, феодала цифровой эпохи. Он не принимает решений в высоком смысле. Оних блокирует. Он создаёт тихую, непреодолимую помеху на ровном месте. Его«интеллект» заключается не в понимании, а в праве на сомнение, делегированномему теми, кто уже не хочет ни думать, ни отвечать.

И вот рядовой гражданин не может перевести свои же деньги, потому что ПО«показалось». И нет ни суда, ни инстанции, куда можно апеллировать. Толькождать, пока «сам не успокоится».

Главная опасность ИИ — не в том, что онпоумнеет и захватит мир. А в том, что он остается глупым, капризным инепрозрачным, но при этом получает власть. Власть мелкого, придирчивого иабсолютно безнаказанного клерка, которого нельзя ни убедить, ни обжаловать, ниублажить. Можно лишь терпеливо стоять в ожидании, пока его внутренние, никомуне ведомые демоны не решат, что вы уже достаточно помучились и можно, наконец,пропустить.

Мы боялись Скайнета, а получили цифрового мелкого хулигана спечатью — тупого, загадочного и наделённого правом останавливать нашу жизнь,потому что ему «показалось». И это, возможно, страшнее.

Глава 2. Стрелочник, который спас мир

После истории с банковским переводом, когда меня в заложники взял капризный алгоритм, я долго не мог избавиться от чувства глухой,беспредметной ярости. Бессилие перед «железным дровосеком», который «не может образоваться»,— это новый вид унижения. Мир, в котором решение за тебя принимает чьё-то«показалось», вшитое в код, — это мир мягкого, цифрового абсолютизма.

И тогда я вспомнил другого стрелочника.

Его звали Станислав Петров. Он тоже сидел за пультом. Егоработа тоже заключалась в наблюдении за экраном и исполнении инструкций. В ночьна 26 сентября 1983 года на его мониторах система раннего предупреждения «Око»высветила роковое: «РАКЕТНОЕ НАПАДЕНИЕ». Американские «Минитмены» — пять межконтинентальныхбаллистических ракет — уже летели к СССР. Протокол был железным: немедленнодоложить наверх. Дальше — не его дело. Дальше — кнопки у других. Его задача —быть безупречным, бездумным реле. Нажать нужную кнопку в нужный момент.

В этот миг в истории человечества сошлись две философии.

Первая — философия Системы (железной, бездушной, логичной). Спутникзафиксировал старт. Алгоритм идентифицировал его как МБР. Сработала тревога. Дежурныйобязан подтвердить. Цепочка запущена. Ответный удар неизбежен.

Это был бы идеальный сценарий для первого стрелочника —того, что в Сбере. «Мне показалось» спутника, подтверждённое «мне показалось»алгоритма, должно было быть беспрекословно принято «мне показалось» оператора.Инструкция. Протокол. Никаких эмоций.

Но вмешалась Философия Человека. У Петрова, кромеинструкции, были:

Здравый смысл. «С какой стати США наносят первый удар всегопятью ракетами? Это нелогично. Это — капля в море нашей ПВО».

Интуиция. «Что-то не так. Система новая, сырая».

Личная ответственность. Осознание, что, если он ошибётся,его ошибка не «зависнет на сутки», а обратит в пепел миллионы жизней засчитанные минуты.

И он не нажал. Не передал эстафету паники наверх. Ондоложил: «Тревога ложная». Пошёл против логики машины, против инструкции,против всей выверенной системы сдержек и противовесов ядерного апокалипсиса.

Его сомнение, его «мне кажется, что тут что-то не то» — небыло капризом алгоритма. Это был акт высшего интеллекта и высшей человечности.Это был бунт живой души против мёртвого протокола.

И он спас мир.

Вот он, главный парадокс нашей эпохи. Мы с восторгомпередоверяем решения алгоритмам — от перевода денег до диагностики болезней —потому что верим в их непогрешимую, безэмоциональную логику. А величайшее решениев истории, решение, буквально спасшее род человеческий, было принято, как развопреки этой логике. Оно было принято благодаря тому, что нельзя вшить в код:иррациональному сомнению, не выводимой интуиции и чудовищной тяжести личнойответственности.

Станислав Петров — антипод нашего цифрового бюрократа. Тотговорит: «Я не могу, это система». Петров сказал: «Я могу, даже если системапротив».

Тот прячется за «показалось» алгоритма. Петров осмелилсяусомниться в «показалось» алгоритма.

Тот создаёт проблему, от которой дистанцируется. Петров взялна себя проблему всего человечества.

История расставила всё по местам. Система «Око» дала сбой.Станислав Петров был прав. Но система ему этого не простила. Человека, спасшегомир, не наградили, а тихо уволили, списав со счетов. Потому что он доказалстрашную вещь: самая совершенная система уязвима перед мудростью одногочеловека, а самый рядовой человек может оказаться сильнее всей государственноймашины.