Cognitive Harness. Архитектура организации человеческого мышления в эпоху агентного искусственного интеллекта

Информация может влиять на поведение без явного отчета. И наоборот, человек может уверенно сообщать о содержании, хотя механизмы, породившие решение, остаются непрозрачными. Сознательный доступ не равен полному доступу к причинам собственного мышления.

Cognitive Harness прежде всего касается доступа и координации. Когда конфликтующая информация становится глобально доступной, она может изменить план, вызвать речевой отчет, привлечь внешнюю помощь или остановить действие. Но из этой функциональной роли не следует объяснение феноменального качества опыта. Почему доступ сопровождается переживанием и всегда ли сопровождается — отдельный вопрос.

Гипотеза Cognitive Harness. Сознательная доступность может служить режимом гибкой координации и переориентации, но Harness не тождествен сознанию и значительная часть его операций происходит без явного осознания.

Внимание не равно сознанию

В повседневной речи «обратить внимание» и «осознать» почти совпадают. Исследования показывают более сложную картину. Внимание может усиливать обработку сигнала без последующего уверенного отчета; содержание сознания может быть шире текущего фокуса внимания; манипуляции ожиданием, задачей и стимулом по-разному влияют на оба явления. Существование строгого двойного разделения обсуждается, но методологически их нельзя считать одним процессом (Koch & Tsuchiya, 2007; Lamme, 2003).

В архитектуре внимание отвечает на вопрос, какой информации предоставить ограниченный ресурс. Сознательный доступ — какой информации стать доступной множеству систем для гибкого использования и отчета. Один процесс может поддерживать другой, но функции различны.

Это различие объясняет знакомый конфликт. Человек сознательно знает о важной задаче, однако внимание снова захватывает яркий сигнал. Или внимание долго удерживается навыком, хотя человек почти не формирует подробного отчета. Улучшать «осознанность» и проектировать среду внимания — не одно вмешательство.

Для AI термин «attention» особенно опасен. В Transformer это математический механизм вычисления отношений между представлениями, а не свидетельство субъективного внимания. На уровне агентной архитектуры selection контекста функционально напоминает распределение ресурса, но не дает основания говорить о сознании машины.

Метакогниция не является прозрачным самонаблюдением

Метакогниция включает мониторинг собственного познания и его регулирование: оценку уверенности, обнаружение трудности, решение проверить ответ или сменить стратегию (Nelson & Narens, 1990). Она важна для Harness, потому что позволяет сделать объектом управления не только внешний мир, но и способ решения.

Однако метакогнитивный отчет ограничен. Уверенность может быть плохо откалибрована. Человек способен объяснить выбор причинами, которые не определяли его в момент решения. Исследования интроспекции показали разрыв между субъективной убедительностью отчета и доступом к причинным процессам (Nisbett & Wilson, 1977). Это не означает, что любой самоотчет ложен; оно запрещает считать его прямым чтением внутреннего кода.

У AI-агента текстовая «рефлексия» имеет сходную архитектурную проблему. Модель генерирует критику предыдущего ответа, но это не доказывает привилегированный доступ к причинам вычисления. Рефлексия полезна как дополнительная процедура генерации и проверки, а не как машинное самосознание.

Global Workspace: глобальная доступность

Теория глобального рабочего пространства Бернарда Баарса и ее нейронная версия Станисласа Деана и коллег описывают сознательный доступ как глобальное распространение содержания между специализированными процессами (Baars, 1988; Dehaene & Naccache, 2001). В нейронной глобальной рабочей теории важную роль играет нелинейное «воспламенение» распределенной активности, после которого информация становится доступной для отчета, памяти и контроля.

Для Cognitive Harness это близкая функциональная идея: локальный сигнал может изменить общий курс только если достигает процессов, способных использовать его. Ошибка, оставшаяся внутри узкого контура, не меняет цель. Глобальная доступность делает возможным согласование.

Но GWT/GNWT не является готовой теорией Harness. Она сосредоточена на сознательном доступе, тогда как Harness включает внешние инструменты, полномочия, действие и обучение во времени. Кроме того, эмпирические маркеры «воспламенения» и их связь с самим сознанием, отчетом и задачей продолжают обсуждаться.

Integrated Information Theory: структура причинной системы

Интегрированная информационная теория Джулио Тонони начинает не с отчета, а с предполагаемых свойств опыта и пытается связать их с причинной структурой физической системы (Tononi et al., 2016). Теория предлагает количественный язык интеграции, но сталкивается с трудностями вычисления, проверки и выводами, которые многие исследователи считают контринтуитивными.

IIT нельзя просто добавить к GNWT как еще один взаимодополняющий модуль. Они исходят из разных объяснительных стратегий и могут расходиться в предсказаниях о достаточных условиях сознания. Для Harness полезен общий вопрос интеграции, но модель этой книги не принимает показатель интегрированной информации как измерение качества когнитивного контура.

Higher-Order theories: представление о состоянии

Теории высшего порядка связывают сознательный статус состояния с тем, что система имеет представление о нахождении в этом состоянии (Lau & Rosenthal, 2011). Они помогают отличить обработку сигнала от знания о его обработке и создают мост к метакогниции.

Сильная сторона подхода — объяснение ошибок уверенности и различия между выполнением задачи и осознанным отчетом. Ограничение — спор о том, достаточно ли представления высшего порядка для феноменального опыта и не возникает ли регресс представлений.

В Cognitive Harness представление о собственной уверенности может управлять глубиной проверки. Это не требует принимать всю теорию сознания высшего порядка. Архитектурная функция и метафизическое объяснение снова должны оставаться разделенными.

Attention Schema Theory: модель собственного внимания

Теория схемы внимания Майкла Грациано предполагает, что система строит упрощенную модель собственного внимания, используемую для контроля и социального предсказания (Graziano & Webb, 2015). Переживание осознания в этой рамке связано с моделью, которая описывает доступ без подробностей механизма.

Для книги особенно продуктивна идея упрощенной управляющей модели. Система не обязана воспроизводить все причинные детали, чтобы отслеживать: «я сейчас сосредоточен», «мое внимание ушло», «другой человек видит объект». Но AST — конкретная теория сознания, а Cognitive Harness не должен присваивать ее выводы без проверки.

Predictive processing: ожидание и доступ

Предсказательная обработка рассматривает восприятие как взаимодействие ожиданий и сенсорных ошибок. Некоторые авторы используют эту рамку для объяснения сознательного содержания, точности и внимания. Однако predictive processing — семейство подходов, а не единая подтвержденная теория сознания.

Для Harness важен более ограниченный вывод: доступное содержание зависит не только от входа, но и от ожиданий системы и распределения точности. Что считается «сигналом», уже связано с моделью задачи. Это помогает понять, почему обратная связь может не изменить убеждение: ошибка не получила достаточного веса.

Теории конкурируют, а не образуют список деталей

Популярный обзор часто завершает рассказ примирением: каждая теория описывает свою часть. Иногда это верно, но не должно скрывать несовместимость. GNWT делает акцент на глобальной доступности и распространении; IIT — на внутренней причинной структуре; higher-order theories — на метапредставлении; recurrent processing theory — на локальной рекуррентной обработке. Они по-разному проводят границу сознательного и предлагают различные маркеры.

Крупные сопоставительные исследования способны уточнять спор, но один эксперимент редко окончательно решает философскую проблему. Результаты зависят от операционализации, отчетов и статистических решений. Корректная позиция книги: использовать различения и эмпирические ограничения, не объявляя победителя.

Сознание в первой карте Harness

Сознание не помещается наверху линейной схемы как источник команды. Более осторожно представить сознательную доступность как режим, при котором содержание может быть гибко использовано для отчета, пересмотра и социального согласования. Этот режим взаимодействует с вниманием, памятью, эмоцией и моделью себя.

В привычной задаче Harness действует преимущественно автоматически. При неожиданности, конфликте или высокой цене ошибки содержание может стать глобально доступным. Человек формулирует проблему, удерживает альтернативы, обращается к внешним средствам. Но и тогда решение не производится чистым сознанием: на него влияют процессы, которые не представлены в отчете.

В гибриде «человек—AI» сознательная доступность человека особенно важна на переходах, где меняются цель, полномочие или ответственность. Формальное подтверждение не является контролем, если человек не получил понятного состояния задачи. Архитектура должна не просто «оставить человека в цикле», а обеспечить осмысленный доступ.

Сильнейшее возражение

Можно возразить, что Harness паразитирует на неясности сознания: все непонятные переходы объявляются координацией. Ответ состоит в ограничении претензии. Модель не объясняет происхождение опыта. Она выдвигает проверяемое функциональное предположение: доступность определенного содержания должна повышать возможность гибко изменить стратегию и передать основания другим процессам или людям.

Другой риск — переоценить сознательный контроль. Если читатель решит, что достаточно чаще наблюдать мысли, книга повторит старый волюнтаризм. Данные об автоматических процессах, ограниченной интроспекции и захвате внимания требуют иной практики: изменять среду, внешние опоры и правила эскалации, а не только усиливать внутреннее наблюдение.

Сознательная доступность отвечает на вопрос, что может войти в широкий контур. Она не отвечает, почему именно это стало важным. Для следующего шага нужно исследовать интерес, значимость и аффект — процессы, которые распределяют ценность еще до формальной цели.

Факт / данные. Феноменальный опыт, сознательный доступ, внимание и метакогниция операционализируются как различимые понятия; существует несколько конкурирующих теорий сознания.

Гипотеза Cognitive Harness. Сознательная доступность участвует в гибкой координации и пересмотре, но не является центром Cognitive Harness.

Проверка. Какие формы сознательного доступа причинно необходимы для изменения стратегии и какие функции выполняются без сознательного отчета.

Источники главы

— Block, N. (1995). «On a Confusion about a Function of Consciousness».

— Baars, B. J. (1988). A Cognitive Theory of Consciousness.

— Dehaene, S., Naccache, L. (2001). «Towards a Cognitive Neuroscience of Consciousness».

— Tononi, G. et al. (2016). «Integrated Information Theory».

— Lau, H., Rosenthal, D. (2011). Higher-order theories of consciousness.

— Graziano, M. S. A., Webb, T. W. (2015). Attention Schema Theory.

— Koch, C., Tsuchiya, N. (2007). «Attention and Consciousness».

— Nelson, T. O., Narens, L. (1990). Metamemory framework.

Глава 6. Интерес: как возможное получает вес

Задача без недостатка интеллекта

У человека свободный вечер. Он может продолжить важный проект, позвонить близкому, посмотреть лекцию, открыть ленту или просто лечь спать. Для каждого варианта можно построить разумный аргумент. Проблема не в отсутствии решений. Система должна определить, чему предоставить время.

Мы называем это интересом, мотивацией, значимостью, желанием или приоритетом. Слова пересекаются, но описывают разные процессы. Интерес может быть устойчивой ориентацией на область; любопытство — стремлением уменьшить конкретный пробел знания; значимость — приоритетом сигнала; мотивация — готовностью мобилизовать действие; цель — представлением желаемого результата.

В ранней аналогии интерес легко сравнить с prompt. Это полезный первый образ и плохая теория. Prompt приходит агенту извне как текст. Человеческий интерес вырастает из тела, опыта, среды, аффекта и социальных отношений. Он способен действовать до осознанной формулировки и конфликтовать с декларируемой целью.

Salience: заметность не равна ценности

Значимость (salience) описывает способность сигнала выделяться и получать приоритет. Громкий звук, новое сообщение, лицо в толпе или внутреннее ощущение боли конкурируют за обработку. Исследования связывают обнаружение значимых событий с распределенными системами, включая островковую кору и переднюю поясную область, но было бы ошибкой объявить единственную «сеть значимости» местом интереса (Seeley et al., 2007; Uddin, 2015).

Сигнал может быть заметным, не будучи ценным для долгосрочной цели. Цифровые интерфейсы используют новизну, социальное вознаграждение и неопределенность, чтобы захватить внимание. Архитектура Harness должна различать как минимум сенсорную заметность, ожидаемую награду, угрозу и ценностную значимость.

Это различие меняет практику. Проблема отвлечения не всегда решается усилием. Если среда постоянно генерирует высокосалентные события, контур перегружен на входе. Изменение уведомлений и доступности приложения становится когнитивным вмешательством.

Аффект: оценка до аргумента

Аффект сообщает, как ситуация относится к состоянию организма. Валентность различает привлекательное и отталкивающее, возбуждение — интенсивность мобилизации. Эмоция связывает оценку, телесное изменение, тенденцию действия и интерпретацию.

История рационализма часто представляла эмоцию помехой. Современные исследования принятия решений показывают более сложную роль: без аффективной оценки человеку трудно расставлять приоритеты, даже если логические способности сохранены (Damasio, 1994). Но из этого не следует, что эмоция всегда мудра. Она может отражать устаревшее обучение, травму, социальный страх или манипуляцию.

В Cognitive Harness аффект — не приказ и не шум, а сигнал с неопределенным статусом. Его нужно учитывать и интерпретировать. Страх может указывать на риск или защищать привычную идентичность. Скука — на отсутствие смысла, недостаток сложности или истощение. Архитектурная задача состоит в том, чтобы не подавить сигнал и не отдать ему все полномочия.

Reward: обучение не равно удовольствию

В reinforcement learning награда (reward) — числовой сигнал, относительно которого изменяется политика поведения. В нейронауке дофаминергические процессы часто связывают с ошибкой предсказания награды: различием между ожидаемым и полученным, а не простым «гормоном удовольствия» (Schultz, Dayan & Montague, 1997).

Популярный язык смешивает награду, удовольствие, желание и ценность. Между ними существуют расхождения. Система может стремиться к стимулу, который уже не приносит удовлетворения; новое обещание вознаграждения захватывает поведение; долгосрочная ценность проигрывает частому локальному подкреплению.

AI-агент получает objective или reward, но не следует автоматически считать, что он «хочет» результат. Числовой критерий выполняет функцию оптимизации, не доказывая переживания. Сходство с человеком полезно для анализа reward hacking: и организации, и алгоритмы находят способ улучшить показатель в ущерб исходному смыслу.

Любопытство и внутренняя мотивация

Любопытство направляет систему к информации, которая обещает уменьшить неопределенность, увеличить компетентность или открыть новые возможности. Психологические исследования связывают устойчивый интерес с новизной, понятностью, личной значимостью и возможностью развития (Kidd & Hayden, 2015). Теория самодетерминации подчеркивает автономию, компетентность и связанность как условия внутренней мотивации (Deci & Ryan, 2000).

В машинном обучении intrinsic motivation обычно означает внутренне вычисляемый сигнал — новизну, ошибку предсказания или прогресс обучения. Он помогает исследовать среду при редкой внешней награде. Это функциональная аналогия человеческого любопытства, а не его полная модель.

Любопытство тоже имеет предел. Максимальная новизна превращается в хаос. Слишком предсказуемая задача скучна, слишком непонятная — отталкивает. Продуктивный интерес часто возникает на границе, где новое достаточно связано с уже известным.

Explore—exploit: искать или использовать

Дилемма исследования и эксплуатации (exploration—exploitation) возникает, когда система выбирает между известным вариантом с ожидаемой выгодой и поиском неизвестного, который может оказаться лучше. Она изучается в теории решений, reinforcement learning и нейронауке.

Человеческая жизнь усложняет формальную задачу. Исследование меняет не только знания о вариантах, но и самого выбирающего. Новая профессия может сформировать способность, которой раньше не было; отношения меняют ценности; путешествие расширяет множество сравнимых миров.

Harness регулирует не постоянный выбор «исследовать или использовать», а режим и бюджет. В начале проекта полезно расширять гипотезы. Перед необратимым сроком нужно сократить пространство. После неожиданной обратной связи режим исследования возвращается.

Сбои симметричны. Чрезмерная эксплуатация закрепляет знакомое и создает преждевременную определенность. Бесконечное исследование позволяет не брать ответственность за действие. Условие остановки является частью интереса: любопытство должно иногда уступать обязательству.

Active inference: сильная рамка с широкими претензиями

Active inference описывает восприятие и действие через минимизацию вариационной свободной энергии в генеративной модели; организмы действуют так, чтобы получать ожидаемые сенсорные состояния и уменьшать неопределенность (Friston, 2010). Рамка связывает восприятие, действие, обучение и предпочтения и потому близка архитектурным вопросам книги.

Однако active inference имеет множество уровней формализации и широкие интерпретации. Утверждение, что система минимизирует свободную энергию, не заменяет конкретного психологического механизма и может быть трудно фальсифицируемым без точной модели. Нельзя просто назвать интерес «минимизацией неопределенности»: человек ищет неожиданность, сохраняет тайну, избегает информации и ценит процессы, не сводимые к прогнозу.

Cognitive Harness берет ограниченный урок: действие и восприятие связаны, а распределение уверенности влияет на то, какая ошибка будет замечена. Он не принимает active inference как доказанную общую теорию мотивации.

Интерес, цель и ценность

Интерес открывает направление, но не обязан становиться целью. Цель задает состояние или вопрос, относительно которого организуется действие. Ценность помогает решить, почему цель заслуживает ресурса. Между ними возможен конфликт.

Человек может интересоваться тем, что разрушает долгосрочный проект. Может выполнять ценную обязанность без текущего интереса. Может потерять интерес после достижения компетентности. Поэтому формула «следуй интересу» слишком проста.

В архитектуре Harness интерес выполняет три функции. Он обнаруживает потенциальную значимость, поддерживает исследование при отсутствии немедленной награды и сообщает о соответствии задачи развивающейся модели себя. Но решение о действии включает ограничения, последствия и обязательства.

Социальное производство интереса

Интерес не только внутренний. Школа, профессия, медиа и окружение формируют доступное пространство вопросов. То, чему не дано имя и социальная поддержка, труднее превратить в устойчивую ориентацию. Платформы конкурируют не просто за внимание, но за производство привычной значимости.

В агентской экономике персональный AI может защищать долгосрочные интересы пользователя или, напротив, оптимизировать коммерческий интерес платформы. Рекомендация никогда не нейтральна: она меняет набор видимых возможностей. Поэтому в архитектуру внешнего Harness входят раскрытие стимулов, контроль памяти и право изменить профиль.

Практический случай

Исследователь откладывает сложную статью и читает новости по своей теме. Субъективно он сохраняет профессиональный интерес. Архитектурно происходят разные процессы: новости дают частое вознаграждение новизной; статья создает неопределенность и угрозу самооценке; социальный поток захватывает salience; декларируемая цель не защищена средой.

Совет «соберись» не различает причин. Более точное вмешательство отделит сбор информации от написания, ограничит вход, сформулирует маленький исследовательский вопрос и сделает действие обратимым — черновик, который не обязан подтверждать идентичность хорошего автора.

AI может быстро собрать обзор, но увеличит риск бесконечного исследования. Его роль нужно ограничить: найти контраргументы в течение заданного времени, затем остановиться. Интерес поддерживается не объемом новизны, а связью нового материала с вопросом.

Сильнейшее возражение

Можно возразить, что интерес слишком размытый термин для архитектурной модели. Он смешивает эмоцию, ценность, любопытство и внимание. Это справедливо, если использовать его как отдельный модуль. В этой книге интерес — зонтичное название динамики, через которую возможное получает субъективный вес; конкретный механизм всегда должен уточняться.

Второе ограничение — нормативность. Высокий интерес не делает цель хорошей. Манипулятивная среда способна формировать устойчивое вовлечение. Поэтому Harness не следует за salience, а сопоставляет его с ценностями и последствиями.

Интерес определяет, куда направить исследование. Следующий вопрос: что происходит после того, как направление выбрано? Система должна построить возможные объяснения мира и прогнозы действия. Для этого мы обратимся к мозгу — не как к машине готовых ответов, а как к воплощенной системе гипотез.

Факт / данные. Значимость, аффект, награда, любопытство и цель исследуются как связанные, но различимые процессы; выбор включает компромисс между исследованием и использованием известного.

Гипотеза Cognitive Harness. Интерес обозначает динамику распределения субъективного веса, которая направляет Harness, но не заменяет ценности и решение.

Проверка. Как измерять продуктивный интерес отдельно от захвата внимания и когда внешние AI-системы поддерживают, а когда деформируют долгосрочную мотивацию.

Источники главы

— Seeley, W. W. et al. (2007). Salience network.

— Uddin, L. Q. (2015). Salience processing and network switching.

— Schultz, W., Dayan, P., Montague, P. R. (1997). Reward prediction error.

— Deci, E. L., Ryan, R. M. (2000). Self-determination theory.

— Kidd, C., Hayden, B. Y. (2015). «The Psychology and Neuroscience of Curiosity».

— Friston, K. (2010). «The Free-Energy Principle».

— Sutton, R. S., Barto, A. G. Reinforcement Learning.

Глава 7. Мозг как воплощенная система гипотез

Восприятие начинается до сигнала

В сумерках человек замечает у дороги фигуру. Несколько мгновений она кажется животным, затем оказывается пакетом на кусте. Сенсорный вход менялся постепенно, а переживаемая гипотеза — скачком. Мозг не ждал полной информации. Он использовал контекст, прошлый опыт и оценку риска, чтобы построить наиболее вероятное объяснение.