Полная версия
Читать между строк: Контент-анализ для точных выводов и сильных решений
Фёдор Северный
Читать между строк: Контент-анализ для точных выводов и сильных решений
Читать между строк: Контент-анализ для точных выводов и сильных решений
Фёдор Северный
Контент-анализ: что он может и чего не обещает
В 8:17 утра на экране переговорной уже светились жалобы. «Водитель даже не посмотрел в мою сторону». «На просьбу открыть заднюю дверь ответил так, будто я ему должен». «Опять это отношение к людям». Сообщения были короткими, разными по тону и похожими в главном: пассажиры всё чаще говорили о неуважении.
— Нам нужно понять, кто за это отвечает, — сказал директор. — Водители? Диспетчеры? Руководители маршрутов? Давайте не растягивать.
Исследовательница Мира не стала спорить с важностью вопроса. Она лишь уточнила:
— Вы хотите выяснить, что пассажиры пишут, или кто виноват?
В комнате стало тихо. Казалось, это один и тот же вопрос. Но именно в этом месте начинается работа контент-анализа — и заканчиваются обещания, которые ему не следует давать.
Фонарь, а не детектор
Контент-анализ — это систематическое изучение содержания сообщений: текстов, изображений, аудио, публикаций, документов. Исследователь заранее определяет, какие материалы рассматривает, что именно в них отмечает и по каким правилам сравнивает. Метод помогает увидеть повторяющиеся темы, способы описания событий, различия между группами сообщений и изменения во времени.
Ключевое слово здесь — систематическое.
Если прочесть три особенно раздражённых комментария, можно составить впечатление о настроении пассажиров. Если собрать подходящие сообщения за определённый период, определить правила отбора, одинаково разметить материалы и проверить, как часто встречаются разные темы, получится исследование. Оно не становится безошибочным оттого, что в нём много таблиц. Но его ход можно объяснить и, в разумных пределах, повторить.
Контент-анализ — фонарь. Он освещает то, что попало в его луч, и помогает рассмотреть очертания. Он не показывает автоматически, что происходило за пределами освещённого участка, не читает мысли авторов и не назначает виновных.
Мира предложила команде начать не с поиска ответственного, а с более скромного вопроса: какие именно переживания и ситуации пассажиры описывают, когда говорят о неуважении?
Формулировка не уклонялась от проблемы. Напротив, она превращала смутное слово в предмет исследования.
От слова к наблюдаемому признаку
«Неуважение» звучит ясно, пока не нужно решить, какие сообщения считать относящимися к этой теме. Один пассажир назовёт неуважением резкий ответ. Другой — отсутствие ответа. Третий использует это слово для любой неприятной ситуации: переполненного автобуса, сбоя оплаты или задержки.
Чтобы анализировать тексты, нужно отличать понятие, которое волнует исследователя, от признаков, которые можно найти в материале. Например, команда может отмечать, упоминает ли автор:
• резкий или пренебрежительный тон;
• отсутствие ответа на обращение;
• отказ помочь или объяснить ситуацию;
• нарушение правил доступности;
• опасное или резкое поведение;
• задержку или сбой, описанные как пренебрежение к пассажирам;
• оценочное слово «неуважение» без конкретного эпизода.
Последний пункт особенно важен. Слово «неуважение» действительно присутствует в сообщении, но само по себе не раскрывает, какое событие за ним стоит. А иногда автор подробно описывает ситуацию, но вовсе не употребляет этого слова.
Исследовательница предложила команде разбирать каждый комментарий на три уровня.
Что текст позволяет увидеть
Что можно осторожно предположить
Чего по этим данным утверждать нельзя
«Попросила водителя открыть заднюю дверь. Он промолчал, двери закрылись». Упомянуты просьба, отсутствие ответа и закрытие дверей.
Пассажирка могла воспринимать молчание как игнорирование; сообщение может относиться к теме коммуникации или доступности.
Что водитель намеренно проигнорировал пассажирку; что он услышал просьбу; что так поступают водители этого маршрута в целом.
«На вопрос, почему автобус задерживается, водитель сказал: “Не знаю, отстаньте”». Приведена цитата с грубым выражением и задан вопрос о задержке.
Автор воспринимает ответ как резкий; случай можно отнести к описаниям тона общения.
Что цитата передана дословно; что причиной ответа была личная неприязнь; что именно водитель виноват в задержке.
«На остановке опять было унизительное отношение. Город совсем забыл о людях». Есть оценка «унизительное», но нет описания конкретного эпизода.
Автор может связывать накопленный опыт с более общей оценкой сервиса.
Какое именно событие произошло, кто участвовал и насколько часто подобные случаи происходят в действительности.
Эта таблица не заставляет исследователя отказаться от интерпретации. Она помогает не перепутать интерпретацию с наблюдением. В первой колонке — признаки, которые можно указать в самом сообщении. Во второй — объяснения, совместимые с текстом, но не подтверждённые им окончательно. В третьей — утверждения, для которых нужны другие данные.
Различие кажется очевидным, пока руководству не требуется ответ к обеду.
Что мы считаем и с чем сравниваем
Прежде чем считать сообщения, команда должна решить, какие именно сообщения попадут в исследование. Посты на официальной странице компании? Отзывы на городском портале? Упоминания перевозчика в открытых соцсетях? За неделю, за месяц или за год?
Нет нейтрального решения «взять всё». Платформы отличаются, люди пишут на них по разным поводам, а способы поиска могут пропускать часть публикаций. Жалоб на официальной странице может быть больше не потому, что там хуже сервис, а потому, что пассажиры знают, куда обратиться. Рост количества сообщений может отражать и реальный всплеск недовольства, и изменение модерации, и новый городской инфоповод, и то, что аккаунт компании стал популярнее.
Нужно определить и единицу анализа. Ею может быть отдельный пост, комментарий, фрагмент сообщения или описанный эпизод. Один длинный пост способен содержать три истории: о грубом ответе, задержке и неудобной пересадке. Если считать его одной жалобой, мы узнаем число публикаций, но не число упомянутых проблем. Если считать отдельные эпизоды, придётся установить правила, как их разделять.
Затем составляется схема кодирования — инструкция, по которой сообщения относят к темам. Например, что считать «отсутствием ответа»? Достаточно ли фразы «меня не слушали»? Нужно ли наличие описанного вопроса? Что делать с сарказмом? Как классифицировать сообщение, где пассажир одновременно жалуется на грубость и на опоздание?
Чем точнее правила, тем меньше исследование зависит от интуиции одного человека. Полезно попросить двух аналитиков независимо разметить часть корпуса, сравнить результаты и обсудить разногласия. Если они по-разному понимают категорию, проблема может быть не в невнимательности кодировщиков, а в неясном определении. Согласие между ними не доказывает, что найдено единственно верное толкование. Оно показывает, насколько последовательно применяются правила.
Для качественного анализа разногласие тоже бывает полезно: оно показывает, где текст многозначен, где не хватает контекста и какие категории слишком грубы. Цифры здесь не заменяют мышление — они дисциплинируют его.
Почему яркие комментарии — ещё не картина
После совещания директор попросил показать «самые показательные» сообщения. Мира согласилась, но добавила: эти примеры помогут услышать конкретные голоса, а не измерить распространённость проблемы.
Несколько комментариев — это иллюстрации, а не автоматически репрезентативная картина. Яркие истории запоминаются лучше спокойных. Грубая цитата кажется убедительнее, чем десятки коротких сообщений «автобус приехал вовремя». Если выбирать примеры по эмоциональной силе, можно незаметно построить анализ вокруг того, что сильнее задело исследователя.
Контент-анализ способен ответить, например, какие темы чаще встречаются в собранных публикациях или как меняется доля сообщений о тоне общения внутри этого корпуса. Но даже точный подсчёт не означает, что мы знаем, как чувствуют себя все пассажиры. Люди, которые пишут публично, могут отличаться от тех, кто молчит, звонит в диспетчерскую или вообще не пользуется соцсетями.
Важно и то, что именно стоит в знаменателе. Если в одном месяце найдено 80 сообщений о грубости, а в другом — 100, это ещё не доказывает ухудшение. За второй месяц могло появиться вдвое больше всех сообщений. Тогда доля публикаций о грубом общении, возможно, даже снизилась. Имеет значение не только число упоминаний, но и объём корпуса, правила его формирования и сравнимость периодов.
Контент-анализ также отличается от опроса. Опрос помогает задавать людям вопросы напрямую: сталкивались ли они с определённой ситуацией, как её оценивают, что предпочли бы изменить. Но ответы зависят от формулировок, памяти, готовности участвовать и состава выборки. Публичные тексты, напротив, часто возникают без исследовательского вопроса, но исследователь не может уточнить у автора, что тот имел в виду. Эти методы не конкурируют: они освещают разные стороны проблемы.
А анализ причин поведения — ещё одна задача. Даже если публикации показывают рост жалоб на резкий тон, сами по себе они не объяснят, почему он возник. Изменились ли условия труда? Перераспределили ли маршруты? Появилось ли обучение сотрудников? Стало ли больше пассажиров? Чтобы проверять причинные объяснения, нужны дополнительные данные, подходящий дизайн исследования и, как правило, несколько источников свидетельств.
Текст может подсказать, что стоит проверить дальше. Он не всегда может показать, что именно вызвало наблюдаемое явление.
Как команда получила полезный ответ
Мира предложила ограничить первый этап исследования публичными сообщениями за последние три месяца, где упоминались городской перевозчик и поездка. Команда описала правила поиска и исключения материалов: например, дубликаты не считались новыми сообщениями, а объявления без рассказа о пассажирском опыте не включались.
Затем аналитики размечали не «виновников», а наблюдаемые темы: тон общения, отсутствие ответа, доступность, задержки, переполненность, технические сбои и общие оценки без конкретного эпизода. В одном сообщении можно было отметить несколько тем. Для каждой категории команда записала примеры и спорные случаи.
Результат оказался менее эффектным, чем список обвиняемых, зато полезнее для решений. В собранном корпусе значительную часть сообщений, называвших сервис неуважительным, составляли описания ситуаций, где пассажир не получал ответа или объяснения. Часть жалоб относилась к доступности транспорта, часть — к задержкам, а некоторые содержали общее недовольство без конкретного эпизода.
Это не означало, что сотрудники намеренно проявляли неуважение. Но стало понятно, что первоначальное слово скрывало несколько разных проблем. Для одних сообщений следовало изучить порядок коммуникации с пассажирами, для других — доступность и информирование о сбоях. Теперь компания могла сопоставить публикации с обращениями в диспетчерскую и данными о выполнении рейсов, а затем проверить, совпадают ли публичные жалобы с зарегистрированными случаями.
Контент-анализ не вынес приговор. Он помог точнее поставить следующие вопросы.
Так выглядит хорошая работа метода: не эффектное разоблачение, а более ясная карта местности. Иногда карта показывает, что дорога ведёт не туда, куда предполагало руководство. Это не недостаток исследования. Это и есть одна из его задач.
Практический маршрут: от тревоги к анализу
Если перед вами уже есть массив текстов и хочется немедленно «понять, что происходит», пройдите несколько шагов.
1. Сформулируйте наблюдаемую задачу. Вместо «почему компания не уважает пассажиров?» спросите: «Какие ситуации пассажиры связывают с неуважительным отношением в публичных сообщениях за выбранный период?»
2. Определите корпус. Укажите источники, временные рамки, критерии включения и ограничения поиска. Не называйте собранные публикации «мнением пассажиров вообще», если это только открытые сообщения на двух площадках.
3. Выберите единицу анализа. Решите, что именно будете считать: публикации, отдельные эпизоды или упоминания тем. Объясните, как поступите с длинными и многотемными текстами.
4. Опишите категории простыми правилами. Для каждой категории запишите определение, подходящий пример и случай, который в неё не входит. Если правило нельзя применить к реальному сообщению, его нужно уточнить.
5. Проверьте схему на небольшой части материалов. Разметьте сообщения, обсудите расхождения, исправьте неясные категории и только затем переходите к основному массиву.
6. Представьте результат с границами. Сообщайте, что обнаружено в конкретном корпусе, как собраны данные и чего они не позволяют установить. Отдельно обозначьте гипотезы, которые требуют проверки другими методами.
Для небольшой практики выберите двадцать открытых комментариев о сервисе, удалите имена и другие личные данные и попробуйте выделить в них описанные события. Не начинайте с подсчёта слова «плохо». Спросите себя: какой эпизод описан, что сказано прямо, что я достраиваю по привычке? Затем попросите другого человека применить ваши правила к тем же материалам. Разница между разметками — не повод объявить кого-то неправым, а подсказка, где инструкция требует ясности. Даже учебный разбор стоит проводить бережно: публичность сообщения не отменяет обязанности не раскрывать лишние персональные сведения и не вырывать цитаты из контекста.
Перед тем как включить фонарь
Контент-анализ особенно полезен, когда нужно упорядочить большой массив материалов, сравнить периоды или группы, обнаружить повторяющиеся способы описания проблемы, проследить, какие темы соседствуют в сообщениях. Он помогает перейти от «кажется, жалоб много» к проверяемому описанию: что именно встречается, в каких данных и по каким правилам это было замечено.
Но метод не превращает текст в прозрачное окно в человеческий разум. Он не устанавливает намерения автора по одной фразе, не представляет автоматически тех, кто молчит, и не доказывает причинность одним подсчётом. Чем серьёзнее вывод, тем важнее контекст и дополнительные свидетельства.
Перед началом анализа задайте себе три вопроса:
• На какой вопрос отвечает метод? Что я хочу описать в содержании сообщений: темы, формулировки, оценки, различия или изменения?
• Какие данные для этого нужны? Где, за какой период и по каким правилам я соберу материалы? Что станет единицей анализа?
• Где проходит граница вывода? Что можно будет показать непосредственно по текстам, что останется осторожной интерпретацией и какие утверждения потребуют опроса, наблюдений или других данных?
В начале совещания руководству нужен был виновный. К его концу у команды появился вопрос, на который действительно можно было ответить: какие повторяющиеся ситуации пассажиры описывают, когда говорят о неуважении, и как проверить эти наблюдения по другим источникам? Это не самый быстрый путь к уверенности. Зато он защищает от быстрой ошибки.
Любое исследование начинается не с таблицы и не с алгоритма, а с точного понимания того, что именно мы пытаемся узнать. Первый рабочий вопрос звучит так: какие закономерности в публичных обсуждениях можно проверить систематически? Ответ на него контент-анализ дает не по отдельной яркой цитате, а по совокупности материалов, изученных по прозрачным правилам. Он помогает увидеть повторяющиеся темы, формулировки и способы описания опыта — но сам по себе не доказывает, что наблюдаемое характерно для всех пассажиров, объясняет причины их мнений или устанавливает, что произошло на самом деле. Сила вывода зависит от того, какие материалы вошли в исследование, как определены категории и чем проверены результаты.
Поэтому задача исследователя — не обещать больше, чем позволяют данные, а ясно обозначить границу между тем, что обнаружено в текстах, и тем, что еще предстоит выяснить. Чтобы провести эту границу, нужно сначала превратить практическую проблему в вопрос, на который можно ответить с помощью конкретного материала и понятной процедуры. Именно с этого шага начинается надежное исследование.
От практической задачи к точному исследовательскому вопросу
В понедельник в 10:17 на совещании уже спорили громче, чем работал проектор.
Новая система оплаты проезда запустилась три недели назад. В приложении можно было пополнить баланс, оплатить поездку и посмотреть историю списаний. Но в отзывах и обращениях пользователей всё чаще встречались слова «непонятно», «списали дважды», «никому не дозвониться». Директор по продукту считал, что дело в неудобном интерфейсе. Руководитель поддержки — что пассажиры не доверяют компании. Маркетинг винил неудачное объяснение запуска, а операционный директор напоминал, что «людям всегда что-нибудь не нравится».
На экране появилась презентация с заголовком: «Почему пользователи негативно воспринимают новую систему оплаты?»
— Давайте просто поймём, что им не нравится, — предложил кто-то.
Исследовательница Марина, до этого молча делавшая заметки, подняла глаза:
— А какое решение мы примем, когда поймём?
В комнате стало тише. Это был не эффектный вопрос. Но именно он остановил спор — и впервые за утро направил его в полезную сторону.
Спор о причинах и вопрос без границ
Фраза «почему людям не нравится?» кажется естественной. Она звучит как начало исследования, но на деле часто скрывает сразу несколько нерешённых задач. Кто именно эти «люди»? Что считать «не нравится»? Где искать ответ — в отзывах, переписке со службой поддержки, интервью или статистике отказов? И главное: какое решение будет зависеть от результата?
Марина попросила команду не отвечать на эти вопросы вслух, а сначала отредактировать исходную формулировку. На проекторе появилось первое уточнение:
«Понять всё про отношение пользователей к новой оплате».
— Всё? — переспросил аналитик. — Включая тарифную политику, дизайн кнопки и детские воспоминания о первом автобусе?
Посмеялись, но фраза была опасна не только своей широтой. «Понять всё» нельзя проверить на завершённость: даже после года работы всегда найдётся ещё один аспект, ещё одна группа, ещё один канал. Такой запрос приглашает собирать материалы без ясного конца. В результате команда может получить много данных и всё ещё не знать, какой вывод считать достаточным.
Марина вывела следующую версию:
«Насколько неудачно компания внедрила оплату?»
Тут проблема была другой. «Неудачно» — оценка, а не наблюдаемый признак. В неё заранее помещён вердикт, хотя исследователям ещё предстоит выяснить, что именно происходило и как это описывают пользователи. Такая формулировка незаметно подталкивает искать подтверждения провалу: каждую жалобу записывать в доказательство, а нейтральные или положительные сообщения считать исключениями.
Третья версия появилась почти мгновенно:
«Как неудобный интерфейс вызывает негативные отзывы?»
— А если люди жалуются не на интерфейс? — спросила Марина.
Фраза уже назначила виновника и даже нарисовала причинную связь: неудобство якобы вызывает негатив. Исследование в таком виде превращается в допрос с заранее известным подозреваемым. Команда будет замечать подтверждения собственной гипотезы и хуже видеть альтернативы — например, сбои платежей, непонятные списания, недостаток информации или трудности с обращением в поддержку.
У всех трёх формулировок разные недостатки, но общий симптом один: вопрос пытается сразу перескочить от тревоги к объяснению. Чтобы сделать его исследуемым, нужно пройти несколько ступеней — от решения, которое предстоит принять, до признаков, которые можно обнаружить в материалах.
Редакторская лестница вопроса
Марина нарисовала на доске пять ступеней. Не для красоты: каждая не давала перескочить через важное уточнение.
1. Решение, которое нужно принять
Сначала команда сформулировала не тему исследования, а практическую ситуацию.
Варианты решения были вполне конкретны:
• переработать отдельные шаги в приложении;
• проверить и улучшить коммуникацию о списаниях и возвратах;
• изменить маршрутизацию обращений в поддержку;
• отложить крупные изменения, пока не выяснится, где именно затруднение.
Важно: исследователь не обязан сам выбрать один из этих вариантов по одним текстам. Но нужно понимать, какие решения результаты должны поддержать. Иначе легко провести аккуратный анализ, который окажется любопытным, но никак не повлияет на работу.
Управленческая проблема звучит примерно так: «Мы не знаем, на что направить ограниченный бюджет и внимание команды». Это реальная проблема, но ещё не исследовательский вопрос. Ответ «нужно срочно переделать приложение» был бы рекомендацией. А задача анализа — собрать основания, которые помогут сравнить варианты.
2. Информационный пробел
Следующая ступень — назвать, чего именно не хватает для решения.
Команда уже знала, что отзывов с негативной оценкой стало больше. Но не знала, какие ситуации и темы за ними стоят: непонятный интерфейс, технические ошибки оплаты, вопросы доверия, трудности с возвратом или что-то другое. Кроме того, руководители смешивали два разных вопроса:
1. Что люди пишут о системе?
2. Почему они на самом деле так относятся к компании?
На первый можно искать ответ в текстах. Второй значительно шире: текст может передать объяснение самого автора, но не открывает прямой доступ к его внутренним мотивам. Человек может написать «вам нельзя доверять», однако по одной этой фразе нельзя достоверно установить, что именно сформировало его отношение и насколько оно устойчиво.
Контент-анализ позволяет выявить закономерности в сообщениях: какие темы повторяются, как они формулируются, в каких контекстах встречаются. Но он не превращает текст в окно в сознание автора. Это важное ограничение, а не недостаток метода.
3. Объект исследования
Теперь нужно определить, какие именно материалы будут рассматриваться. Не «отношение пассажиров вообще», а конкретный объект, очерченный границами.
Марина спросила:
— Какие источники у нас уже есть?
Оказалось, что доступны отзывы в магазине приложений, обращения в поддержку и публичные комментарии в социальных сетях. Но в пределах проекта команда могла надёжно выгрузить только отзывы и обращения. Период — первые три недели после запуска. Аудитория — люди, которые оставили текст о новой системе, а не все пассажиры города.
Это уточнение сразу уменьшило риск чрезмерных выводов. Если анализировать только тексты пользователей, которые решили написать отзыв или обратиться в поддержку, нельзя автоматически утверждать, что они представляют всех пассажиров. Молчание остальных не означает ни удовлетворённости, ни безразличия: причины не писать могут быть самыми разными.
Итак, объектом стали отзывы в магазине приложения и обращения в поддержку, содержащие упоминания новой системы оплаты, за первые три недели после запуска. У такого определения есть края. Например, в него не входят разговоры, которые люди не записали, и проблемы, о которых они сообщили только устно.
Границы не обедняют исследование. Они показывают, на какую территорию распространяются выводы.
4. Исследовательский вопрос
Только теперь команда попробовала сформулировать вопрос, который можно проверить по выбранным материалам:
«Какие проблемы и темы, связанные с новой системой оплаты, чаще всего описывают пользователи в отзывах и обращениях в поддержку в первые три недели после запуска?»
