Айтрекинг в психологической науке и практике

Айтрекинг в психологической науке и практике

Ответственный редактор В. А. Барабанщиков

© Межрегиональная ассоциация экспериментальной психологии, 2015

© Московский институт психоанализа, 2015

Редакционная коллегия:

К. И. Ананьева, В. А. Барабанщиков (отв. редактор), И. А. Басюл, А. А. Демидов (отв. секретарь), В. Б. Дорохов, А. Н. Гусев, О. А. Королькова, А. А. Обозное, Е. В. Соловьева, Л. И. Сурат, Е. Г. Хозе, Ю. Е. Шелепин

* * *

Предисловие

Данная книга посвящена вопросам измерения направленности взора человека и его использованию в науке и практике. Внимание специалистов к данной, казалось бы, очень узкой теме обусловлено ролью движений глаз в структуре взаимоотношений индивида со средой, человека с миром. Тесные связи окуломоторики с центральной нервной системой, с одной стороны, с содержанием психических процессов, состояний и свойств личности – с другой, с многообразными формами активности субъекта (поведением, деятельностью, общением) – с третьей, позволяют путем регистрации и анализа движений глаз изучать механизмы работы мозга и их нарушения, выявлять динамику функциональных состояний человека, закономерности восприятия, мышления, представлений, прослеживать интенции, намерения и установки личности. Знания о движениях глаз носят междисциплинарный характер и могут быть использованы в интересах многих профессий.

В последние годы окуломоторная тематика стала особенно популярной. В развитых странах Европы и Америки число исследований, использующих движения глаз в качестве индикатора нейрофизиологических процессов, психических явлений и поведения людей, растет по экспоненте. Переживаемый бум поддерживается появлением удобных средств регистрации направленности взора (айтрекеров) и программных продуктов, позволяющих эффективно собирать и обрабатывать полученные данные. Складывается новый термин, фиксирующий наряду с инструментальной и измерительной информационно-коммуникативную и интерпретационную составляющие видеоокулографии – айтрекинг.

Разработка проблем окуломоторной активности в нашей стране имеет глубокие корни и достижения мирового уровня. Блестящие эксперименты, выполненные А. Л. Ярбусом, В. П. Зинченко, Ю. Б. Гиппенрейтер, Н. Ю. Вергилесом, Б. Ф. Ломовым, В. Д. Глезером, Б. Х. Гуревичем, Л. И. Леушиной и мн. др. по праву входят в «золотой фонд» отечественной науки. Возвращение интереса к окуломоторной тематике во многом инициировано появлением в России современных айтрекеров, существенно упростивших регистрацию и анализ окуломоторной активности. Проблемы движений глаз все чаще обсуждаются на российских конференциях, растет объем тематических публикаций. Среди новых научных направлений обращают на себя внимание закономерности организации окуломоторной активности в совместной деятельности людей, особенности движений глаз в межличностном восприятии, использование маршрутов обзора в качестве индикаторов решения тестовых заданий, включение окуломоторной активности в систему «интерфейс-мозг-компьютер» и т. п. Делаются попытки восстановить исследования инженерно-психологического профиля (использование видеоокулографии при изучении деятельности летчиков, машинистов электропоездов, водителей автотранспорта, при оценке дизайна интернет-сайтов и др.). Регистрация движений глаз возвращается в пато- и нейропсихологию, в частности, в связи с проблемами аутизма и диагностики локальных поражений мозга. Вызывают интерес вопросы сопряжения методов регистрации взора и магнитнорезонансной томографии мозга. Особую популярность айтрекеры приобретают в сферах маркетинга и рекламы.

На сегодняшний день айтрекинг представляет собой сложную систему процедур, связывающую оборудование, необходимое для регистрации окуломоторной активности, способы предъявления стимульного материала, компьютерную обработку данных, их оценку и интерпретацию. На любом из этапов применения айтрекера исследователь либо практик сталкивается с множеством вопросов, без решения которых получаемые результаты могут оказаться некорректными. Освоение современных методов видеорегистрации движений глаз – новая задача российской науки и практики, которая предполагает коллективное творчество, активный контакт специалистов, регулярный обмен информацией, новыми данными и способами решения текущих проблем.

Коллективный труд подготовлен по итогам Всероссийской научной конференции «Айтрекинг в психологической науке и практике» (16–17 октября 2015 года), проведенной Межрегиональной ассоциацией экспериментальной психологии (МАЭП) совместно с Московским институтом психоанализа. На конференции обсуждался ряд ключевых вопросов, связанных с совершенствованием и развитием методов окулографии в науке, практике и образовании. В частности: контактные и бесконтактные методики регистрации движений глаз; основные алгоритмы детекции разных видов движений глаз; программно-статистическое обеспечение анализа окулографических данных; функциональные характеристики окуломоторной активности; связь окуломоторной активности, (нейро-)физиологических и психических процессов и состояний; возможности использования айтрекинга в фундаментальных и прикладных исследованиях; перспективы разработки отечественных аппаратурно-программных комплексов по регистрации движений глаз. В ходе конференции продемонстрированы новейшие технические и программные средства регистрации и анализа окуломоторной активности человека, а также проведены мастер-классы специалистов, работающих на современных аппаратурных комплексах.

Исследования окуломоторной активности – ее механизмов, свойств, функций – одна из немногих экспериментальных областей психологии, результатами разработки которой российские ученые могут гордиться. Хотелось бы надеяться, что на очередном витке развития науки использование айтрекинга позволит существенно расширить наши представления о природе движений глаз и их роли в процессах познания, деятельности и общения людей.

* * *

Редакционная коллегия выражает глубокую признательность сотрудникам факультета психологии Московского института психоанализа и Центра экспериментальной психологии МГППУ, участвовавшим в подготовке рукописи к изданию: К. И. Ананьевой, И. А. Басюлу, А. А. Демидову, Д. А. Дивееву, А. В. Жегалло, О. А. Корольковой, Е. А. Лободинской, Е. А. Лупенко, А. Н. Харитонову, Е. Г. Хозе.

В. А. Барабанщиков

Раздел I

Методы и технологии регистрации окуломоторной активности человека

Окуломоторная активность человека как предмет и метод психологического исследования[1]

В. А. Барабанщиков

Окуломоторная активность является необходимым компонентом психических процессов, связанных с получением, преобразованием и использованием зрительной информации, а также состояний, деятельности и общения человека. Поэтому, регистрируя и анализируя движения глаз, исследователь получает доступ к скрытым (внутренним) формам активности, которые обычно протекают в свернутой форме, исключительно быстро и неосознанно. Как показывают исследования, по характеру движений глаз можно определить:

– направленность взора и динамику оперативного поля зрения воспринимающего;

– стратегии прослеживания движущихся объектов и маршруты сканирования воспринимаемых сцен;

– информационную сложность объекта и точность фиксации его элементов;

– зоны поиска и «проигрывания» вариантов решения наглядно-действенных задач;

– структурные единицы деятельности и уровень сформированности познавательных действий;

– состояния сознания;

– уровень развития зрительных функций на разных стадиях онтогенеза;

– эффективность решения оперативных задач и/или исполнения отдельных этапов практической деятельности;

– деструкции познавательных процессов человека и др.

В отличие от самоотчета или внешнего наблюдения за движениями глаз, окулография – регистрация окуломоторной активности – дает не только непрерывную, достоверную, детализированную, но и качественно иную информацию об изучаемых явлениях. Это один из наиболее чувствительных индикаторов динамики познавательных процессов, функциональных состояний и форм взаимодействия человека с окружающим миром.

Несмотря на кажущуюся простоту и однозначность, связь психических явлений с окуломоторной активностью является исключительно сложной, многократно опосредствованной и изменчивой. Ее содержание составляет самостоятельную проблему исследования, которая выступает как комплексная, объединяющая представителей разных специальностей (психологов, физиологов, инженеров, программистов, оптиков, медиков и искусствоведов), а ее разработка поддерживается не только потребностями фундаментального знания, но и запросами практики: эргономики, офтальмологии, психиатрии, радиологии, инженерной психологии, маркетинга, рекламы и др. По своему научно-практическому потенциалу это «точка роста» нового знания и исследовательских технологий.

Современное состояние проблемы характеризуется многообразием изучаемых явлений (их сторон, планов, измерений) и неравномерностью их проработки. Большое внимание уделяется анализу движений глаз в процессах поиска, обнаружения, опознания и прослеживания значимого элемента среды, рассматривания сюжетных изображений, выполнения сложных зрительных и интеллектуальных задач. Наиболее частым предметом исследования оказываются макросаккады и дрейф либо прослеживающие движения – они исследованы достаточно полно; хуже изучены тремор, вергентные и торзионные движения. В качестве контролируемых параметров обычно выступают относительная позиция глаза в орбите, последовательность (маршруты) и продолжительность зрительных фиксаций; амплитуда, частота и латентный период саккад; векторная скорость и амплитуда дрейфа и плавных прослеживаний; частота, амплитуда и направление различных форм нистагма, причем в каждом отдельном исследовании оценивается не более двух-трех параметров. Многомерное, или «объемное», описание окуломоторной активности, включающее все или большинство видов движений глаз, остается недостижимой мечтой. Наконец, фрагментарен контингент испытуемых, который составляют нормальные взрослые (в основном от 18 до 60 лет), дети (от двухнедельного возраста), а также больные с нарушением окуломоторной активности различного анамнеза.

Функциональная организация окуломоторной активности несет отпечаток многообразия ее связей и отношений и в зависимости от контекста исследования становится индикатором разных аспектов психических процессов, состояний, деятельности либо общения. В плане субъект-объектного взаимодействия, например, стратегия и тактика решения наглядно-действенных задач, выработка или восстановление перцептивного навыка; в плане внутренних условий – структура взаимодействия мотивационного, диспозиционного, когнитивного и исполнительного компонентов познавательного процесса; в плане зрительного образа – динамика стадий и фаз его осуществления. Соответственно, эффективность метода регистрации движений глаз как индикатора психических явлений зависит от того, насколько полно в конкретном исследовании учитывается вся совокупность их связей и опосредствовании.

Окуломоторные структуры

Длительное время окуломоторная активность изучалась поэлементно, на уровне отдельно взятых движений (саккад, плавных прослеживаний и т. п.). Каждое движение рассматривалось как ответ на простейший стимул (локализацию точечного элемента в зрительном поле, его перемещение относительно наблюдателя и т. п.), связывалось с наличием самостоятельного исполнительного механизма и непосредственно соотносилось с процессами познания, прежде всего зрительного восприятия, внимания и деятельности. Предполагалось, что знание закономерностей элементарных движений глаз достаточно для интерпретации сложных или составных форм окуломоторной активности.

На первых порах подобные представления оправдывались, стимулируя быстрое накопление эмпирических знаний. За сравнительно короткий срок были описаны простейшие виды окуломоторной активности и их детерминанты (Ярбус, 1965; Леушина, 1971; Alpern, 1972; Ditchburn, 1973), высказаны гипотезы о механизмах регуляции элементарных движений глаз (Шахнович, 1965; Robinson, 1964,1965), исследовано развитие окуломоторики в фило- и онтогенезе (Гатев, 1973; Walls, 1962), получены важные сведения о характере движений глаз в процессах поиска, обнаружения, опознания и оценки объектов (Леушина, 1966; Зинченко, 1967; Гиппенрейтер, 1978); выявлен ряд окуломоторных феноменов зрительного восприятия (Festinger, Canon, 1965; Festinger, Easton, 1974), прослежены связи элементарных движений глаз с перемещениями головы, рук, локомоциями (Bizzi, 1974; Ebenholtz, Shebilske, 1975; Gauthier, Hofferer, 1976) и др.

Co временем темпы разработки проблемы замедлились, обнажив ограниченность используемых представлений там, где основным предметом исследования оказывается конкретный познавательный процесс, деятельность либо общение человека. Принимаемые допущения выглядят здесь излишне упрощенными и порой неадекватными. Так, нередко малоамплитудный дрейф отождествляется с устойчивой фиксацией, обеспечивающей съем полезной зрительной информации, а саккада – с поворотом глаз, меняющим предмет восприятия. «Спроецировав» окулограмму на поверхность воспринимаемого объекта (напр., приборную панель или текстовый материал), казалось бы, без труда можно определить, что выделяет наблюдатель (что его интересует), в течение какого времени и в какой последовательности. Однако результат подобного анализа далеко не всегда соответствует действительности.

Фиксационный поворот глаз может состоять не из одной, а из нескольких макросаккад, число которых зависит от локализации предмета восприятия (Гуревич, 1971). Возможно появление экспресс-саккады, которая не связана с глубокими (предметно-смысловыми) слоями переработки зрительной информации (Fischer, 1987). Наряду с обслуживанием когнитивных функций, саккады способны корректировать направление глаз, достигнутое в результате предшествующей фиксации (Becker, Jurgens, 1979), возвращать его в позицию покоя (Bender, 1955), «дробить» непрерывный поток зрительных афферентаций на отдельные порции (Филин, 1975) и т. п. Наконец, как макро-, так и микродвижения глаз поддаются произвольному контролю и могут не только инициироваться, но и подавляться наблюдателем (Steinman, 1976). Не меньше вопросов порождает и малоамплитудный дрейфа, который сам по себе не указывает на действительный предмет восприятия. В силу многоканальности зрительного «входа», обеспечивающего симультанное отображение элементов среды разных угловых размеров в различных частях зрительного поля, направленность взора чаще всего оказывается многозначной, а ее отношение к потенциальным предметам восприятия требует дополнительных подтверждений.

Альтернативный путь разработки проблемы связан с изучением целостных окуломоторных образований (структур), выражающих более высокий уровень организации движений глаз. Влияние этого уровня (он исследован в значительно меньшей степени) обнаруживается, например, в программировании паттернов сканирования (Zingale, Kowler, 1985), которые не сводятся к сумме отдельных дрейфов и саккад; каждое из выполняемых движений может быть понято лишь в рамках всего паттерна в целом. Не случайно, несмотря на большой разброс отдельных значений, суммарная длительность фиксаций, сопровождающих чтение слов, остается примерно одинаковой (O'Regan, 1986). В отличие от элементарных движений глаз окуломоторные структуры содержательно включены в процесс зрительного восприятия и имеют собственные закономерности организации (Барабанщиков, 1997; Stark, Ellis, 1981).

В рамках данного подхода окуломоторный акт выражает не просто ответ на проксимальный стимул. Это активность субъекта восприятия, которая направляется как прошлым и настоящим, так и будущим: определенными намерениями, целями, планами или программами. За направленностью взора скрывается уникальная позиция наблюдателя, благодаря которой целенаправленный поворот оказывается столь же пристрастным, сколь пристрастно самое чувственное восприятие действительности. Через отношение к субъекту глазодвигательная активность становится предметом психологического исследования, а ее регистрация – методом изучения психических процессов, состояний, деятельности и общения людей. Отмечаемые в литературе функции движений глаз, такие как гностическая, исполнительная, измерительная, контролирующая и др. (Запорожец и др., 1967; Зинченко, Вергилес, 1969), являются характеристиками субъекта восприятия (содержанием того, что он делает в данный отрезок времени), перенесенными на средства его взаимодействия с объектом; с точки зрения механизма выполнения окуломоторного акта они, конечно, искусственны (Андреева и др., 1975; Гиппенрейтер, 1978).

Методический смысл отнесенности движений глаз к субъекту восприятия состоит в возможности расчленять поток окуломоторной активности на целостные, относительно самостоятельные единицы и внутренне сопоставлять их с динамикой познавательных процессов, состояний человека, форм его деятельности и общения. Через отнесенность к субъекту раскрывается механизм произвольного контроля движений глаз и управления взором наблюдателя, а также индивидуально-психологическая стилистика познавательных процессов.

Окуломоторное целое (структура) обеспечивается интеграцией (прилаженностью друг к другу) эфферентных и афферентных процессов, развертывающихся в центральной нервной системе. Хотя двигательная цель или намерение реализуются в виде последовательности окуломоторных команд, сами по себе они недостаточны: слишком разнообразен и непредсказуем расклад сил, действующих на глазное яблоко. Решающая роль в построении окуломоторного акта принадлежит обратной афферентации (зрительной, проприоцептивной, вестибулярной), которая информирует заинтересованные инстанции ЦНС об эффективности выполняемых движений: отношение прогнозируемой и актуальной направленности глаз. За тем или иным окуломоторным феноменом всегда стоят особенности управления, или способ функционирования глазодвигательной системы.

Информационное содержание афферентации, задействованных в осуществлении окуломоторных структур, весьма разнообразно. Оно включает совокупность пространственно-временных характеристик среды, текущее положение глаз в глазнице, наклоны головы, положение или перемещение наблюдателя и многое другое. Нетрудно допустить, что афферентные потоки, организующие окуломоторную активность и питающие зрительные впечатления, в значительной степени совпадают или, по крайней мере, тесно взаимосвязаны. Есть основания полагать, что информация о пространственно-временных отношениях среды, заключенная в двигательных командах, входит в содержание зрительного образа (Festinger, Canon, 1965; Coren, 1986). Влияние на зрительный процесс проприоцепции экстраокулярных мышц не раз демонстрировалось экспериментально (Shebilske, 1978; Steinbach, 1987). Однако до сих пор и вопросы о роли движений глаз в зрительном восприятии (познавательных процессах вообще), и о перцептивной (когнитивной) регуляции самих движений остаются открытыми. В конечном счете они упираются в знание принципов зрительно-окуломоторной интеграции, которые пока сформулированы в самом общем виде.

Наконец, целенаправленная окуломоторная активность открывается исследователю как конфигурация (паттерн), образованная на основе элементарных генетически заданных движений – саккад и дрейфов. Типичными примерами могут служить оптокинетический нистагм (Курашвили, Бабияк, 1975), п-образные движения во время фиксации точечного источника света (Карпов и др., 1982), синусоидальные колебания глаз у пациентов с локальными нарушениями центральной нервной системы (Dell'Osso et al., 1974), регулярные паттерны движений глаз, сопровождающие процессы чтения и рассматривания сложных изображений (Ярбус, 1965; Нотон, Старк, 1974; Rayner, 1992, 1998). Несмотря на широкую вариативность двигательных элементов (изменения амплитуды, направления, латентного периода саккад, скорости, ускорения, амплитуды и направления дрейфа или прослеживающих движений), характер их отношений остается неизменным, а окуломоторное целое несводимо к сумме своих частей.

Способы включения глазодвигательной активности в процесс взаимодействия наблюдателя (субъекта восприятия) со средой (объектом), механизмы зрительно-окуломоторной интеграции, которая складывается для выполнения конкретной зрительной или двигательной задачи, и соответствующая ей устойчивая конфигурация (паттерн) собственно движений глаз характеризуют разные уровни организации и функционирования окуломоторных структур, без анализа которых окулография сама по себе оказывается малоэффективной.

Типичным примером и репрезентативной моделью окуломоторных структур восприятия является целенаправленный фиксационный поворот глаз (Барабанщиков, 1997, 2002). Нередко, особенно в психологических работах, фиксационный поворот рассматривают абстрактно – как двигательный автоматизм, характеристики которого определяются особенностями воспринимаемого объекта. В действительности же он формируется в ходе онтогенеза, имеет собственную организацию и подчиняется не только внешним, сколько внутренним детерминантам, к которым относятся прогнозирование конечного и/или промежуточного результата, способ управления движениями глаз, ведущий уровень, на котором они строятся, сопряженность окуломоторики с другими двигательными актами и т. п. Действие внешних детерминант фиксационного поворота глаз опосредствовано констелляцией его внутренних условий. Без их учета анализ окулограмм оказывается неполным или недостаточно корректным. Чаще всего именно внутренние условия являются источником дисперсии амплитуды саккад, нелинейности и ограниченности влияния внешних детерминант, продолжительности и амплитуды дрейфов, состава поворотов глаз и др. Согласно исследованиям, фиксационный поворот глаз представляет собой целостный поведенческий акт, реализующий познавательное либо коммуникативное отношение индивида к среде. Его результатом становится новое, относительно устойчивое направление взора, которое обеспечивает оптимальные условия восприятия значимого элемента или отношения среды. Этому направлению соответствует локализация (или тенденция локализации) проекции объекта в центральной области сетчатки. Визуальная данность субъекту значимых свойств действительности оказывается здесь и побуждением, и полезным эффектом движения, и условием его завершения. Как и любой поведенческий акт, фиксационный поворот имеет сложную архитектуру, которая неплохо описывается в понятиях теории функциональных систем (Барабанщиков, 1997; 2002).

В рамках психологического исследования вертикальная организация целенаправленных движений глаз может быть представлена в виде иерархии окуломоторных событий трех уровней.

Уровень интенции и произвольного контроля движений выражает отнесенность окуломоторной активности к субъекту восприятия (наблюдателю). Здесь складываются намерение и «первичный проект» движений, «сформулированные» на языке зрительно данных предметных отношений действительности: куда смотреть, на что обратить внимание, что контролировать, в какой последовательности, как долго и т. п. «Первичный проект» непосредственно увязан со схемой ситуации и планом выполняемого наблюдателем действия и соотносится с системой координат внешнего пространства (среды). На этом уровне ставятся или принимаются зрительные (окуломоторные) задачи и осуществляется произвольный контроль за их исполнением.

На уровне механизмов организации движений «первичный проект» переводится в цепочки исполнительных команд и критерии адекватности их выполнения. События этого уровня описываются на языке информационных потоков, или эфферентно-афферентных процессов в глазодвигательной системе (ГДС), соотнесенных с ретинальной и окуломоторной системами координат. Здесь учитываются либо устанавливаются взаимосвязи окуломоторики с другими двигательными актами (поворотами головы, локомоциями и т. п.).

Уровень феноменов движений характеризует способ выполнения поворота глаз. Здесь доминирует язык моторных единиц, сокращений и растяжений экстраокулярных мышц, развертывается действие активных и реактивных сил, влияющих на глазное яблоко и т. п. Выполняемые движения соотносимы как с внешней, так и с ретинальной (окуломоторной) системами координат.

Хотя содержание, функции и язык событий каждого из уровней существенно отличаются друг от друга, они подчинены выполнению общей задачи и выступают как одно целое.

Целостный взгляд на природу окуломоторной активности

Накопленные наукой эмпирические данные (Андреева, Вергилес, Ломов, 1975; Барабанщиков, 1990, 1997, 2002, 2011, 2012, 2015; Барабанщиков, Белопольский, Вергилес, 1980; Барабанщиков, Белопольский, 2008; Барабанщиков, Жегалло, 2013, 2014; Барабанщиков, Жердев, 2014; Белопольский, 2007; Владимиров, Хомская, 1981; Гиппенрейтер, 1978; Гуревич, 1971; Зинченко, Вергилес, 1969; Моторные компоненты зрения, 1975; Филин, 2002; Ярбус, 1965; Bachy-Rita, Collins, 1971; Bizzi, 1974; Ditchburn, 1973; Duchowski, 2003; Engbert, 2006; Findlay, Gilhrist, 2005; Fisher, Monty, Senders, 1981; Gale, Johnson, 1984; Groner, Menz, Fisher, Monty, 1983, Holmqvistet al., 2011; Monty, Senders, 1976; Rayner, 1992; van Gopel, Fisher, Murray, Hill, 2007; Underwood, 1998; Wong, 2008) позволяют наметить целостное представление о природе окуломоторной активности человека в процессах познания, деятельности и общения.