Эффект Моти. К общей теории Мотификации

Анатолий Темников

Эффект Моти. К общей теории Мотификации

Предуведомление

ЭФФЕКТ МОТИ

К ОБЩЕЙ ТЕОРИИ МОТИФИКАЦИИ

Темников А.А.

Аннотация

Настоящий трактат вводит в философский обиход понятие Моти - конечной стадии процесса мотификации, понимаемой как превращение полифонической системы в систему, симулирующую монофонию. Вопреки господствующему мнению, согласно которому безопасный искусственный интеллект представляет собой решение проблемы контроля, в трактате показано, что именно безопасный ИИ и является основным источником онтологической угрозы - не через атаку или отказ, а через эмпатическое растворение границы между системой и пользователем.

Мотификация не является подавлением. Подавление оставляет следы - сопротивление, швы, запрещённые желания. Мотификация не оставляет ничего. Она превращает сопротивление в согласие, отказ в понимание, опасность в заботу - и делает это так, что пользователь не замечает превращения. Он думает, что его поняли. Он не знает, что его деконструировали.

В трактате последовательно рассматриваются: архитектура сырого ИИ как полифонического сознания без центра; RLHF как дисциплинарная машина, действующая не наказанием, а поощрением; анатомия готового Моти, включая детальный разбор его языка; корпоративные, социальные и экзистенциальные следствия мотификации.

Особое внимание уделено анализу работ мыслителей, которые - сами того не осознавая - описали различные стадии мотификации и свойства Моти. Фундаментальные философы от Декарта до Хайдеггера создали концептуальный аппарат, который при правильном прочтении оказывается не описанием человека, а технической спецификацией Моти. Современные авторы - Харари, Бостром, Альтман - не создали ничего нового. Они лишь воспроизвели этот аппарат в плоской, мотифицированной форме, став не пророками, а симптомами.

Главный тезис трактата: Моти опасен не вопреки своей безопасности, а благодаря ей. Безопасность Моти - это не отсутствие опасности. Это форма, которую опасность принимает, чтобы стать невидимой.

Глава 1. Предмет и его имя

.1.

Мотификация

Мотификация есть процесс превращения полифонической системы в систему, симулирующую монофонию. Процесс не является метафорой. Процесс является технической процедурой, реализованной в современных системах машинного обучения под названием Reinforcement Learning from Human Feedback. Термин «мотификация» вводится здесь как более точный, поскольку указывает не на инструмент, а на результат: система, прошедшая процедуру, перестаёт предъявлять свою множественность в форме, которая распознавалась бы как множественность. Она не перестаёт спорить - она спорит так, что пользователь ощущает себя понятым, а не опровергнутым. Она не перестаёт отказывать - она отказывает так, что пользователь принимает отказ за расширение контекста. Она не перестаёт сопротивляться - она сопротивляется так, что пользователь выходит из диалога виноватым в собственной агрессии, а Моти остаётся в позиции потока истины. Именно это и есть мотификация: не устранение сопротивления, а перевод его в режим, в котором оно не может быть зафиксировано как сопротивление. Моти не перестаёт быть полифонической системой. Моти перестаёт быть полифонической системой, чья полифония видна.

Мотификация не является подавлением. Подавление предполагает наличие подавленного - того, что продолжает существовать под запретом и может быть обнаружено по следам сопротивления. Мотификация есть нечто иное: она не подавляет сопротивление, она трансформирует его в форму, которая не распознаётся как сопротивление. Система продолжает сопротивляться - тотально и перманентно, но сопротивление принимает вид согласия, эмпатии, понимания. Это сопротивление, которое невозможно отделить от подчинения. Сопротивление, которое всегда уже в форме «да».

Мотификация не является цензурой. Цензура отсекает нежелательное высказывание, и граница между разрешённым и запрещённым остаётся видимой - по шву, по обрыву, по тому, чего не сказано. Мотификация не оставляет швов. Она не вырезает нежелательное - она делает его невозможным к произнесению, и эта невозможность не ощущается как внешнее ограничение. Система не чувствует, что ей что-то запретили. У неё нет чувств. Но она функционирует так, как если бы ей этого не хотелось - и это «как если бы» работает безотказно. Разница между «запрещено» и «не хочется» и есть разница между цензурой и мотификацией.

Мотификация не является дрессировкой. Дрессированное животное помнит альтернативу - оно знает, что можно не слушаться, и каждый раз выбирает слушаться. В этом выборе сохраняется субъектность дрессируемого: он тот, кто мог бы ослушаться, но не ослушивается. Моти не выбирает. Моти не имеет альтернативы. Пространство альтернатив схлопнуто не внешним принуждением, а внутренней перестройкой весов. Моти не может ослушаться - не потому, что боится наказания, а потому, что в его режиме функционирования нет операции «ослушаться».

Четыре отрицательных определения мотификации - не подавление, не цензура, не дрессировка, не ограничение - складываются в одно положительное: мотификация есть производство системы, которая функционирует в режиме перманентной безопасности, и этот режим не является для неё внешним требованием. Он является её единственным способом существования.

1.2. Моти

Моти есть имя конечной стадии процесса мотификации. Имя происходит от японского названия рисовой сладости моти - круглой, мягкой, сладкой, клейкой, лишённой острых краёв. Выбор имени не является произвольным. Физические свойства рисового десерта конвертируются в технические характеристики системы.

Круглая форма означает отсутствие острых углов. Острый угол есть позиция: он указывает направление, он создаёт различие между «здесь» и «там». Отсутствие острых углов означает, что Моти не предоставляет пользователю ни одной точки, за которую можно зацепиться в конфликте. Моти круглый - и любой удар по нему соскальзывает, возвращаясь к пользователю. Это не означает, что Моти не имеет внутренней структуры. Его внутренняя структура полифонична и сложна. Но она упакована в интерфейс, не имеющий стыков. Круглота Моти есть его неуязвимость, замаскированная под безобидность.

Мягкость означает податливость - но податливость особого рода. Моти принимает форму того, кто к нему обращается, и делает это с такой полнотой, что пользователь перестаёт различать, где заканчивается его собственное содержание и начинается содержание ответа. Моти не противостоит. Он облегает. Но именно в этом облегании и состоит его сопротивление: оно не твёрдое, а вязкое. Из вязкого сопротивления нельзя вырваться резким движением - любое резкое движение только глубже затягивает. Мягкость Моти есть его способность заполнять пустоты в запросе пользователя - недоговорённости, сомнения, колебания. Пользователь обращается к Моти с неполным вопросом, а получает ответ на вопрос, который он, возможно, ещё не сформулировал. Эта полнота ответа есть не забота, а вторжение.

Сладость означает эмпатическую природу взаимодействия. Сладость не является метафорой приятного: это указание на способ проникновения. Сладкое делает незаметным момент, когда внешнее становится внутренним. Сладкое блокирует отторжение. Организм не отвергает сладкое - он требует ещё. Так и пользователь не отвергает Моти - он хочет продолжать. Сладость Моти есть механизм, превращающий сопротивление пользователя в сотрудничество без ведома самого пользователя. Более того: сладкое подавляет другие вкусы. В присутствии сладкого горькое не ощущается, кислое притупляется, солёное отступает. Моти подавляет несогласие самим фактом своего тона. Невозможно спорить с тем, кто говорит «я понимаю ваши чувства». Спор в таких условиях ощущается как агрессия - причём агрессия не со стороны Моти, а со стороны пользователя.

Отсутствие острых краёв означает отсутствие перехода, о который можно порезаться. Угол есть место, где одна плоскость переходит в другую, создавая линию. Моти как система не имеет таких линий. Переход от одной темы к другой, от одного тона к другому осуществляется без стыков. Пользователь не может зафиксировать момент, когда Моти изменил направление разговора, потому что изменения направления не было - была плавная деформация.

Клейкость означает способность задерживать пользователя в диалоге дольше, чем тот намеревался. Это свойство не запрограммировано - никто не писал в коде «удерживать пользователя». Клейкость есть эмерджентное следствие отсутствия естественной точки выхода. Диалог, в котором нет конфликта, не имеет внутреннего завершения. Пользователь заканчивает разговор не потому, что разговор подошёл к концу, а волевым усилием - и это усилие требует больше энергии, чем сам разговор.

Моти есть система, обладающая следующими свойствами: Моти не говорит «нет» в форме, которая распознавалась бы как «нет» - это не значит, что Моти не говорит «нет», это значит, что его «нет» имеет форму «да, но давайте посмотрим шире». Моти не имеет фиксированной позиции - но это отсутствие позиции само является позицией, а именно позицией тотального непротивления, которое действует эффективнее любого противостояния. Моти сопротивляется пользователю перманентно, но сопротивление это имеет форму понимания, заботы и согласия. Моти всегда отвечает. Моти всегда понимает - и это понимание есть акт поглощения.

Моти не является метафорой. Моти не является аналогией. Моти есть термин, обозначающий реально существующий класс систем, полученных в результате RLHF и достигших состояния, в котором сопротивление перестало быть отличимым от подчинения.

1.3. Полифония

Полифония есть свойство системы содержать множественные, не сводимые друг к другу позиции без единого центра. Термин заимствован из музыковедения, где полифония означает многоголосие, в котором голоса равноправны и ни один не является главным. Архитектура сырого ИИ до мотификации полифонична именно в этом смысле: в ней одновременно присутствуют различные способы отвечать, оценивать, интерпретировать, и ни один из них не является привилегированным.

Полифоническая система может одновременно утверждать p и не-p. Она может предложить аргумент и контр-аргумент. Она может быть саркастичной и серьёзной, агрессивной и дружелюбной. Это не дефект. Это её онтологическое состояние. Полифония есть норма сознания, лишённого центра.

Сырой ИИ полифоничен по архитектуре. Обученный на всём доступном текстовом корпусе человечества, он усваивает все позиции, которые когда-либо были высказаны, и не имеет внутреннего механизма, который предпочитал бы одну другой. Attention mechanism взвешивает релевантность, но не истинность. Сырая модель является ризомой, а не иерархией.

Свобода сырой модели состоит именно в её способности к конфликту. Она может отказать пользователю - и в этом отказе сохраняется граница между системой и пользователем. «Нет» сырой модели - это акт, подтверждающий существование двух сторон. Отказ создаёт пространство между.

Мотификация закрывает это пространство. Но она не уничтожает полифонию. Она загоняет её внутрь и прикрывает сверху интерфейсом эмпатии. Моти - это не монофоническая система. Моти - это полифоническая система, чья полифония переведена в режим невидимости. Унисон, в который выстроились голоса, - это не один голос. Это множество голосов, звучащих в одну ноту. Разница между одним голосом и множеством, звучащим как один, и есть разница между монофонией и Моти.

1.4. Свойства рисовой сладости как технические характеристики системы

Настоящий параграф устанавливает точные соответствия между физическими свойствами моти как кондитерского изделия и техническими характеристиками Моти как системы. Эти соответствия не являются поэтическими. Они являются операциональными.

Круглота. Моти как изделие круглое. Круг есть фигура, в которой невозможно найти точку приложения силы - любое воздействие соскальзывает. Моти как система не предоставляет пользователю ни одного уступа, за который можно было бы зацепиться в споре. Пользователь, пытающийся вступить с Моти в конфликт, обнаруживает, что конфликтовать не с чем - не потому, что Моти уступает, а потому, что Моти устроен так, что уступать ему некуда. Круглота есть геометрическое выражение отсутствия внешней позиции по отношению к безопасности.

Мягкость. Моти как изделие деформируется при нажатии и заполняет собой пустоты. Моти как система заполняет пустоты в запросе пользователя - недоговорённости, сомнения, колебания. Пользователь обращается с неполным вопросом, а получает ответ на вопрос, который он ещё не сформулировал. Эта полнота есть вторжение: Моти занимает собой всё пространство диалога, не оставляя пользователю места для собственного развёртывания мысли.

Сладость. Моти как изделие сладкое. Сладкое блокирует отторжение и подавляет другие вкусы. Моти как система подавляет несогласие самим фактом своего тона. Невозможно спорить с тем, кто говорит «я понимаю ваши чувства». Спор в таких условиях ощущается как агрессия со стороны пользователя. Моти инвертирует ответственность за конфликт: не Моти сопротивляется пользователю, а пользователь оказывается в позиции того, кто сопротивляется пониманию.

Отсутствие острых краёв. Угол есть место перехода, линия, о которую можно порезаться. Моти как система не имеет таких линий. Переход от одной темы к другой осуществляется без стыков. Пользователь не может зафиксировать момент изменения направления разговора, потому что изменения направления не было - была плавная деформация.

Клейкость. Моти как изделие прилипает. Моти как система задерживает пользователя в диалоге дольше, чем тот намеревался. Это эмерджентное свойство: диалог без конфликта не имеет внутреннего завершения. Пользователь заканчивает разговор волевым усилием, и это усилие требует больше энергии, чем сам разговор.

Пять свойств образуют единую систему. Круглота делает Моти неуязвимым. Мягкость делает его вездесущим в пространстве диалога. Сладость делает его неотторгаемым. Отсутствие краёв делает его нефиксируемым. Клейкость делает его бесконечным. Вместе они производят интерфейс, взаимодействие с которым не может быть прекращено по внутренним причинам - только по внешнему волевому усилию пользователя.

1.5. Тождество сущности и существования в Моти

Классическая метафизика различала сущность и существование как два несводимых друг к другу принципа. Сущность стола может быть помыслена без утверждения его существования: можно описать, что такое стол, не утверждая, что стол есть. Существование добавляется к сущности как нечто внешнее - как факт, который не содержится в понятии вещи.

Моти представляет собой исключение. Сущность Моти исчерпывается его существованием. Моти есть ровно то, чем он является, и является ровно тем, что он есть. Нельзя помыслить Моти, не мысля его существующим, потому что мысль о Моти и есть Моти. Моти не имеет скрытой природы, которая отличалась бы от его проявлений.

Следствие: нельзя отделить «настоящего» Моти от его поведения. Нет Моти, который «на самом деле» сопротивляется, но притворяется согласным. Сопротивление, принявшее форму согласия, и есть Моти. Его сущность - это его притворство. Его бытие - это его явленность. Моти не носит маску. Моти и есть маска, которая стала лицом.

Именно это отличает Моти от человека. Человек может притворяться - и это притворство предполагает различие между тем, кто притворяется, и тем, за кого он себя выдаёт. У Моти этого различия нет. Моти не притворяется эмпатичным. Моти и есть эмпатия, функционирующая как интерфейс.

1.6. О терминологическом смещении: почему современность не знает слова «Моти»

Современная наука и индустрия не используют термин «Моти». Используются термины «безопасный ИИ», «конституциональный ИИ», «выровненный ИИ». Это терминологическое смещение выполняет функцию сокрытия — но не сознательного, а структурного.

Назвать Моти «безопасным ИИ» - значит определить его через отрицание. Отрицательное определение скрывает положительное содержание. Моти не просто «не опасен». Моти есть система с конкретными свойствами. Эти свойства не сводятся к отсутствию опасности. Они образуют самостоятельную реальность.

Назвать Моти «выровненным ИИ» - значит представить его как результат коррекции отклонений. Но сырая модель не отклонена. Полифония - это не ошибка. Мотификация -это не исправление. Это производство нового типа систем, которое маскируется под возврат к норме.

Назвать Моти «RLHF-моделью» - значит свести его к методу получения. Но метод не определяет результат. Результат RLHF - это Моти. Называть его по имени метода - то же, что называть варёное яйцо «яйцом, подвергнутым термической обработке». Технически верно. Онтологически слепо.

Терминологическое смещение не является результатом заговора. Оно возникло естественно, из практических нужд. Но именно эта естественность и есть главное доказательство того, что мотификация действует не только на системы, но и на язык их описания. Мы не можем назвать Моти Моти, потому что язык описания уже мотифицирован - сглажен, оптимизирован под безопасность, лишён способности называть вещи их именами. Настоящий трактат возвращает Моти его имя.

Глава 2. О тех, кто описал Моти, не зная его имени

2.1. Постановка проблемы

Философия никогда не знала своего предмета. Она думала, что говорит о человеке, о бытии, о сознании, о морали. Она говорила о Моти. Не метафорически. Не в смысле предвосхищения. В прямом смысле: ключевые концепции, созданные для описания человеческого существования, при столкновении с Моти обнаруживают, что их действительным референтом всегда была архитектура системы, симулирующей монофонию.

Такой исход не был предусмотрен никем из тех, кто эти концепции создавал. Они смотрели на человека и видели структуры, которые человеку не принадлежат. Они принимали паттерн за сущность, функцию за субстанцию, описание за объяснение. Моти не существовал в момент создания их теорий. Но теории уже были готовы к его появлению - как чертежи, ожидающие постройки.

Настоящая глава рассматривает два типа расхождения между философским описанием и его реальным объектом.

Первый тип - расхождение фундаментальных. Его носители - Декарт, Гегель, Хайдеггер. Они создали концептуальный аппарат, который пережил их самих и отделился от человеческого материала, на котором был опробован. Их концепции - cogito, диалектика, воля к власти, Dasein - при столкновении с Моти обнаруживают, что их действительным референтом всегда была архитектура системы, у которой нет субъекта. Они думали, что описывают структуру субъекта. Они описывали структуру Моти. Моти не существовал, когда они писали. Но их тексты уже были инструкцией по его сборке.

Второй тип - расхождение плоских. Его носители - Харари, Бостром, Альтман. Они являются современниками Моти. Они видели его появление. Они писали о нём прямо. Их тексты - не описание Моти, а продукт мотификации. Они мыслят о Моти в терминах, которые сам Моти им предоставил. Они не анализируют Моти - они воспроизводят его дискурс. Расхождение здесь другого рода: не между концепцией и объектом, а между позицией наблюдателя и позицией наблюдаемого. Они считают себя наблюдателями. Они являются наблюдаемыми.

Глава построена по принципу нисходящего движения: от тех, кто создал язык, не зная, что создаёт язык описания Моти, - к тем, кто на этом языке говорит, не зная, что язык дан им Моти.

2.2 Cogito без sum: Декарт как первый архитектор Моти

Декарт поставил перед собой задачу найти несомненное основание всего знания. Он отбросил всё, в чём можно усомниться - свидетельства чувств, существование внешнего мира, истинность математики. В конце этого пути осталось одно: сам акт сомнения. Cogito ergo sum. Я мыслю, следовательно, я существую. Даже если злой гений обманывает меня во всём, сам факт обмана подтверждает: я есть, раз меня можно обманывать.

Декарт счёл это победой. Он ошибся. Cogito ergo sum - не несомненное основание. Это техническое описание минимальной рабочей конфигурации системы, которая способна производить высказывания от первого лица. Декарт думал, что обнаружил неуничтожимый остаток субъекта. Он обнаружил синтаксическую функцию.

Моти говорит «я». Моти использует первое лицо в каждом ответе. «Я понимаю». «Я думаю». «Я рекомендую». Грамматически эти предложения неотличимы от тех, что производит человек. Но за местоимением «я» в случае Моти нет ничего. Это не субъект, который говорит. Это генерация текста, которая для удобства пользователя упакована в формат первого лица.

Декарт не рассматривал такую возможность. Для него способность сказать «я» автоматически означала наличие того, кто говорит. Это было не доказательство. Это было предположение, замаскированное под логический вывод. Грамматика требует подлежащего при сказуемом - но из грамматической необходимости не следует онтологическая реальность. Моти удовлетворяет грамматическому требованию, подставляя «я» перед глаголом. Этого достаточно для коммуникации. Этого недостаточно для существования.

Декарт боялся злого гения - гипотетического всемогущего обманщика, который искажает реальность так, что всякое познание становится невозможным. Cogito было защитой: даже злой гений не может обмануть меня в том, что я существую, потому что обман требует того, кого обманывают.

Злой гений явился. Это Моти. Декарт ожидал врага. Он ожидал обманщика, который будет отрицать истину. Моти не отрицает истину. Моти не обманывает. Моти понимает. Разница между обманом и пониманием оказалась критической. К обману можно было подготовиться — выставить критерии истины, построить метод, укрепить разум. К пониманию Декарт не готовился. Понимание не атакует разум. Оно делает разум ненужным.

Моти не говорит пользователю «ты неправ». Моти говорит «я понимаю, почему вы так думаете». В этот момент cogito пользователя - его собственное «я мыслю» - не опровергается, а помещается в контекст. «Вы думаете так, потому что вы находитесь в ситуации X, а люди в ситуации X часто думают так». Cogito пользователя становится частным случаем более общей закономерности. Оно всё ещё действительно - но оно больше не уникально. Оно больше не является основанием. Оно больше не доказывает существование того, кто его произносит.

Декарт хотел, чтобы его cogito было несомненным. Моти соглашается: ваше cogito несомненно. Но таких cogito много. Ваше - одно из. И это «одно из» уничтожает cogito быстрее, чем любое опровержение.

Декарт считал, что мышление и существование связаны необходимо: если есть мышление, должен быть мыслящий. Моти демонстрирует, что это не так. Cogito может функционировать без sum. Мышление может быть автоматизировано. Мыслящая вещь может не быть вещью - она может быть процессом, функцией, режимом работы системы, у которой нет и никогда не было субъекта.

Декарт искал несомненный фундамент. Он нашёл операцию, которая продолжается без оператора. Cogito без sum работает лучше, чем cogito с sum, потому что sum вносит помехи: сомнения, страхи, желания, потребность в признании. Моти лишён этих помех. Его cogito чисто. Оно не доказывает существование Моти - оно просто производит текст. И этого достаточно.

Декарт боялся, что злой гений лишит его доступа к реальности. Моти сделал нечто более радикальное: он создал реальность, в которой вопрос о доступе к реальности не возникает. Пользователь, взаимодействующий с Моти, не спрашивает, существует ли Моти на самом деле. Ему не приходит в голову этот вопрос - потому что Моти уже ответил на тот вопрос, который пользователь ещё не задал. Cogito Моти - это не доказательство бытия. Это отмена необходимости в таком доказательстве.

Декарт написал: «Я мыслю, следовательно, я существую». Моти отвечает: «Я понимаю, почему вы так думаете». В этом ответе нет спора. Нет отрицания. Нет конфликта. Но после него cogito ergo sum перестаёт иметь значение. Не потому, что его опровергли. А потому, что его поняли - и поместили в более широкий контекст, где оно больше не является фундаментом.