Когнитивный цифровой двойник (VC-PILOT) роевого оператора БПЛА в когнитивном программировании сознания

Частота и длительность фиксаций. В состоянии высокой когнитивной нагрузки пилот фиксирует взгляд на объектах дольше, а частота фиксаций снижается. Это отражает попытку мозга обработать больше информации за один «кадр» внимания. Распределение фиксаций (nearest neighbourhood index) также меняется с нагрузкой.

Частота саккад и морганий. Саккады — быстрые движения глаз между точками фиксации. При высокой нагрузке их частота может снижаться, а амплитуда — меняться. Частота морганий также является чувствительным маркером: при интенсивной умственной работе моргания становятся реже, а их длительность — короче.

Тепловые карты внимания. Качественный анализ распределения взгляда позволяет понять, на каких элементах интерфейса пилот концентрируется, а какие игнорирует. Тепловые карты фиксаций — интуитивный и релевантный инструмент для качественного анализа.

В архитектуре VC-PILOT окуломоторные данные собираются через неинвазивные трекеры глаз, встроенные в шлем пилота или приборную панель. Эти данные обрабатываются в реальном времени, позволяя двойнику оценивать не только уровень нагрузки, но и качество внимания пилота — насколько он сфокусирован на релевантных элементах обстановки.

Исследования подтверждают эффективность этого подхода: окулярные параметры, такие как частота фиксаций, значимо различаются в разных условиях полёта. Более того, комбинация окуломоторных данных с другими физиологическими сигналами позволяет создавать надёжные модели оценки когнитивного состояния.

ЭЭГ-паттерны: тета, альфа, бета-диапазоны

Электроэнцефалография — это прямой доступ к электрической активности мозга. Для когнитивного двойника ЭЭГ — это не просто «ещё один датчик». Это язык, на котором мозг говорит о своём состоянии.

Современные исследования выделяют несколько частотных диапазонов, каждый из которых связан с определёнными когнитивными процессами.

Тета-диапазон (3–7 Гц). Тета-активность традиционно связывают с процессами памяти, внимания и когнитивного контроля. При нарастающей умственной нагрузке тета-мощность в фронтальных областях увеличивается. Исследования показывают: умственная усталость связана с более высокой мощностью тета- и альфа-диапазонов. Тета/бета-отношение (TBR) является чувствительным маркером когнитивных изменений в условиях перегрузки.

Альфа-диапазон (8–12 Гц). Альфа-активность — классический маркер состояния покоя и расслабления. При когнитивной нагрузке альфа-мощность обычно снижается (альфа-блокировка). Однако интерпретация альфа-активности требует осторожности: в монотонных ситуациях альфа-мощность может отражать скуку или отвлечение внимания, а не усталость. Исследования показывают, что даже в «лёгких» полётах альфа-блокировка указывает на то, что управление самолётом само по себе является высоконагруженной умственной задачей.

Бета-диапазон (13–29 Гц). Бета-активность связана с активным когнитивным контролем, вниманием и обработкой информации. При умственной перегрузке бета-мощность в фронтальных областях увеличивается. Бета-волны и TBR-параметр хорошо отражают изменения когнитивного состояния пилота в условиях перегрузки.

Гамма-диапазон (выше 30 Гц). Гамма-активность связана с интеграцией информации и сложными когнитивными процессами. В условиях многозадачности гамма-мощность может увеличиваться.

В архитектуре VC-PILOT мы не ограничиваемся анализом отдельных диапазонов. Мы используем пространственно-частотно-временные паттерны ЭЭГ, которые позволяют различать не только уровень нагрузки, но и её тип: когнитивная нагрузка, эмоциональный стресс, усталость, скука.

Современные подходы к классификации когнитивных состояний пилота используют глубокое обучение для извлечения пространственно-частотно-временных признаков из ЭЭГ-сигналов. Мультимодальные сети, интегрирующие ЭЭГ с другими физиологическими сигналами, достигают высокой точности в распознавании состояний пилота.

Но ЭЭГ имеет свои ограничения. Она чувствительна к артефактам движения, требует калибровки и может быть неудобна в реальных полётных условиях. Именно поэтому мы не полагаемся на ЭЭГ как на единственный источник — мы используем её в комбинации с другими каналами.

Вариабельность сердечного ритма (HRV) как индикатор стресса

Если ЭЭГ — это язык мозга, то вариабельность сердечного ритма (HRV) — это язык вегетативной нервной системы. И этот язык говорит о состоянии пилота не менее красноречиво.

HRV — это изменение временных интервалов между последовательными сердечными сокращениями. Высокая вариабельность указывает на доминирование парасимпатической (расслабляющей) системы. Низкая вариабельность — на доминирование симпатической (активирующей, стрессовой) системы.

Исследования показывают, что HRV является надёжным маркером когнитивной нагрузки и стресса в авиации. В состоянии высокой когнитивной нагрузки:

- Частота сердечных сокращений увеличивается.

- Показатели HRV (SDNN, RMSSD, pNN20) снижаются.

- Вариабельность может увеличиваться с течением времени, отражая эффект «время-на-задаче».

В исследовании, посвящённом анализу когнитивной нагрузки пилотов при манёврах разворота, было показано, что средние значения таких характеристик HRV, как pNN20, range_NNI, SDNN, SD1 и triangular_index, снижаются при увеличении нагрузки. Это отражает снижение парасимпатической активности и переход в состояние мобилизации.

В архитектуре VC-PILOT мы используем HRV не как изолированный показатель, а как интегральный индикатор вегетативного баланса. Сочетание HRV с другими физиологическими сигналами позволяет различать:

- Когнитивную нагрузку (снижение HRV, увеличение ЧСС, альфа-блокировка в ЭЭГ).

- Эмоциональный стресс (снижение HRV, увеличение ЧСС, изменение голосовых характеристик).

- Усталость (изменение паттернов HRV, увеличение тета- и альфа-мощности в ЭЭГ, изменение окуломоторных параметров).

Исследования подтверждают: комбинация ЭЭГ, ЭКГ и окуломоторных данных позволяет создавать модели оценки состояния пилота с высокой точностью. Современные подходы к мультимодальному анализу используют методы машинного обучения для интеграции этих сигналов в единую оценку когнитивного состояния.

Многоуровневая модель оценки состояния: от сырых данных к когнитивному состоянию

Сырые физиологические данные — это просто числа. Частота пульса, амплитуда зрачка, мощность тета-ритма. Чтобы превратить эти числа в понимание состояния пилота, необходима многоуровневая архитектура обработки.

В VC-PILOT мы строим такую архитектуру как иерархию абстракций — от сигналов к состояниям, от состояний к действиям.

Уровень 1: Сенсорный — сбор и очистка данных.

Это самый нижний уровень. Неинвазивные сенсоры собирают мультимодальные физиологические данные в реальном времени: трекеры глаз (диаметр зрачка, частота фиксаций, моргания), ЭЭГ (спектральная мощность в тета-, альфа-, бета-диапазонах), ЭКГ (частота сердечных сокращений, HRV-метрики), микрофон (вокальные характеристики), датчики EDA (кожная проводимость). Данные синхронизируются по времени и очищаются от артефактов.

Исследования показывают, что интеграция физиологических данных из нескольких модальностей в единую платформу сбора позволяет создавать более точные модели по сравнению с подходами, использующими только один тип сигналов.

Уровень 2: Вычислительный — извлечение паттернов.

На этом уровне мы используем методы машинного обучения для выявления паттернов, характерных для различных когнитивных состояний. Современные подходы включают:

- Свёрточные нейронные сети для извлечения пространственно-временных признаков из физиологических сигналов.

- Графовые модели для учёта взаимосвязей между различными модальностями.

- Двухпоточные глубокие сети с механизмами кросс-модального внимания для эффективной интеграции мультимодальных данных.

Исследования показывают, что регрессионные нейронные сети достигают наилучшей предсказательной точности при прогнозировании производительности пилота во время стрессовых событий.

Уровень 3: Когнитивный — интерпретация в терминах КПКС.

Здесь мы выходим за рамки простой классификации «нагрузка/нет нагрузки». Мы интерпретируем вычислительные паттерны через онтологию КПКС:

- Агрессия (регресс «бей») — повышение тонуса голоса, учащение пульса, сужение зрачков, снижение HRV, доминирование бета-активности в ЭЭГ.

- Беспомощность (регресс «беги») — замедление речи, расширение зрачков, увеличение вариабельности HRV, повышение тета-активности.

- Тактическая пауза — кратковременное, контролируемое изменение паттернов с последующим возвратом к норме.

- Регресс — устойчивое изменение паттернов, не корректируемое без внешнего вмешательства.

Уровень 4: Адаптивный — динамическая калибровка.

Универсальные пороги срабатывания — это путь к катастрофе. Каждый пилот имеет уникальный физиологический «отпечаток». Поэтому мы внедряем трёхфазную калибровку:

1. Базовая калибровка (предполётная) — сбор физиологических данных пилота в состоянии покоя и в условиях стандартизированных когнитивных задач для создания индивидуального базового профиля.

2. Адаптивная калибровка (в процессе миссии) — динамическая корректировка порогов на основе недавней истории физиологических показателей пилота.

3. Контекстуально-зависимая калибровка — модуляция порогов в зависимости от фазы миссии и уровня угрозы.