Карьера продакт-менеджера. Все что нужно знать для успешной работы в технологической компании

Но IP-адреса все равно могли находиться за много миль от местоположения пользователей, даже если почтовый индекс был указан правильно. Как определить, что точнее: IP-адрес или почтовый индекс? Опять же, представьте, что вы работаете в Google и решаете эту проблему. Какие данные могут быть вам полезны?

Я подумала, что те же самые пользователи также периодически искали конкретные рестораны или магазины. Теперь вопрос заключался в следующем: когда они искали конкретные адреса, они совпадали с почтовым индексом или с IP-адресом?

Оказалось, что IP-адрес был намного точнее, чем почтовый индекс, а значит, он в принципе был довольно надежным источником информации. Теперь я была готова с уверенностью приступить к эксперименту, потому что знала, что ошибок с определением местоположения практически не будет. Эксперимент оказался успешным, и мы запустили новую функцию.

Все это стало возможным только потому, что я знала, какие данные существуют.

Проявите любопытство и изучите, какие данные доступны в вашей компании. Это могут быть дашборды Google Analytics, необработанные логи пользователей, отчеты NPS[29], журналы поиска – все, к чему у вас есть доступ. Начните с любых вопросов, пришедших вам в голову, независимо от того, связаны ли они непосредственно с вашими проектами или просто с чем-то интересным для вас. Ищите что-то необычное, затем попробуйте разобраться, что это может означать и чем было вызвано. Если вы найдете нечто интересное, обязательно поделитесь этим с другими людьми.

СФОРМИРОВАТЬ КЛЮЧЕВЫЕ ПОКАЗАТЕЛИ УСПЕХА ВАШЕЙ КОМПАНИИ

Выбор отслеживаемых метрик не является догмой. По мере продвижения в карьере вы сможете помогать всей компании фокусироваться на самых важных показателях. Если вам кажется, что люди отслеживают не те метрики или путаются в расстановке приоритетов, это знак, что пора вмешаться и помочь.

Чтобы сформировать метрики успеха компании, понадобится кросс-функциональный корпоративный процесс, а также поддержка и участие многих коллег. Обозначьте, какие проблемы в связи с текущими показателями успеха видите вы, и попросите сотрудников разных отделов и направлений рассказать, что видят они и какие опасения у них возникают в связи с изменением метрик.

В конце этой главы мы дали некоторые рекомендации о том, как правильно выбрать нужные метрики и показатели.

Смотрите также разделы «Значимые показатели против метрик тщеславия» на с. 66 и «Пиратские метрики» на с. 67.

ОТВЕЧАТЬ ЗА ПРИБЫЛИ И УБЫТКИ

В некоторых компаниях PM-сеньор отчитывается за то, какие прибыли и убытки (P&L) показывает их структурное подразделение. Это означает, что они выходят на другой уровень ответственности, где им приходится работать не только с командой разработчиков, но и с другими группами, например отделом продаж или маркетинга. PM в данной позиции отвечает не только за создание отличного продукта, но и за то, чтобы тот приносил достаточную прибыль и не вызывал лишних затрат.

Если вы отвечаете за P&L, вам приходится вести бюджет своей команды с кем-то из отдела финансов. Бюджет содержит плановые и целевые показатели на год, обычно с разбивкой на кварталы или месяцы. В нем учитывается количество людей, которых вы собираетесь нанять на каждую позицию, затраты на рекламу и другие издержки. Также он включает в себя доход, прогнозируемый на основе дохода предыдущего периода, сезонности, численности персонала отдела продаж, маркетинговых мероприятий и запуска продуктов[30].

Может показаться, что правильный прогноз получить невозможно; но, к счастью, он и не требуется. Илай Лернер (Ely Lerner), отвечающий за P&L в Yelp, поделился своей точкой зрения:

«Скорее всего, вам никогда не удастся составить точный прогноз, поэтому мой совет таков – продумывайте все на шаг вперед, чтобы заранее видеть возможные ошибки. Так у вас будет больше времени, чтобы исправить недочеты и сообщить об изменениях другим заинтересованным участникам. Полезно подготовить консервативный финансовый план для стейкхолдеров, а перед своими командами поставить более амбициозные внутренние цели – пытаясь их выполнить, они достигнут нужных результатов».

При составлении бюджета, особенно в публичной компании, приходится давать обоснование тех или иных инвестиций. Предположим, ваша стратегия состоит в том, чтобы максимизировать прибыль, или в том, чтобы повысить вложения для увеличения доли на рынке. Любой из вариантов может сработать, но ваша задача – убедить инвесторов в том, что вы делаете правильный выбор.

Прогнозирование играет большую роль, потому что цели, которые вы ставите, и ваша способность их достичь отражаются на стоимости акций компании напрямую. Это, в свою очередь, влияет на уровень компенсаций и может даже повысить риск того, что активные инвесторы получат контроль над вашей компанией[31].

Каждый месяц или неделю вы будете отчитываться о прогнозах и анализировать, что на них влияет. Если начнут снижаться доходы или вырастут расходы, вам придется разобраться, почему это происходит. Со временем вы построите дашборды и модели, которые помогут вам быстро определять, в какой части воронки идет отставание.

Анализ движущих факторов может показаться сложным. Но, как сказал Сачин Рекхи (Sachin Rekhi), руководитель по P&L в LinkedIn, такой анализ улучшает продуктовую интуицию и способен сделать из вас хорошего PM:

«Теперь, выдвигая инициативу, вы будете думать о том, какой движущий фактор она будет стимулировать и как сильно. Понятно, что вы не можете быть точны на 100 %, но в конце каждого квартала вы сможете оценить, что действительно было сделано, и интуитивно понять, какие дополнения и изменения продукта привели к тем или иным значимым показателям».

Если что-то пойдет не по плану, вместе с командой вы сможете решить, за какие рычаги потянуть, чтобы вернуть процесс в нужное русло. Можно переориентировать бюджет с долгосрочных ставок на более краткосрочные проекты, например на рекламу. Или попросить инженеров разработать инструмент, который повысит продуктивность отдела продаж.

Практики роста

ИСПОЛЬЗУЙТЕ БЕНЧМАРКИ ДЛЯ ОСМЫСЛЕНИЯ ДАННЫХ

В начале карьеры я думала, что PM должен держать в голове множество разных сведений о продукте, и меня это очень пугало. Я не могла понять, зачем помнить наизусть количество пользователей продукта или темпы роста прибыли от его продаж. Мне сразу вспоминался урок истории, где я с трудом пыталась запомнить какие-то важные даты. Иногда я даже сомневалась, создана ли я для того, чтобы быть PM.

Моим спасением стало использование бенчмарков, которые добавляли определенный контекст и показывали важность тех или иных значений. Бенчмарки – это опорные точки, отраслевые стандарты или принятые в компании нормы, основанные на прошлых запусках продуктов.

Например, у венчурных компаний есть бенчмарки доходов и роста, используемые для оценки работы продукта.

При изучении данных выберите некую контрольную точку, чтобы понимать, как интерпретировать те или иные значения.

УЧИТЕСЬ ИНТУИТИВНО ПОНИМАТЬ ДАННЫЕ

Со временем вы научитесь лучше распознавать важные сведения среди информационного шума. Это похоже на магию, но на самом деле этот процесс основан всего лишь на узнавании паттернов, с которыми вы уже сталкивались в прошлом.

Вы можете развить свою интуицию, если присмотритесь к тому, как другие люди анализируют данные и выявляют закономерности. Примите участие в разборе эксперимента или изучите материалы прошлых разборов. Попытайтесь увидеть смысл в цифрах и понять, какая история стоит за ними.

ПОВЫШАЙТЕ КАЧЕСТВО ЭКСПЕРИМЕНТОВ

Эксперименты полезны, но это вовсе не значит, что их нужно использовать для проверки каждой идеи или разрешения любого спора. Провалить эксперимент – это нормально, даже хорошо. Но их подготовка и проведение отнимает массу времени. И если вы слишком часто терпите неудачу, вероятно, вы неразумно тратите время своей команды.

Нунду Джанакирам (Nundu Janakiram), директор по продуктам для пассажиров Uber, рассказал о том, почему важно повышать эффективность экспериментов:

«Хорошие PM учатся на ошибках… а лучшие меньше ошибаются.

Тщательное изучение потребностей пользователей избавляет от множества ошибок. Благодаря глубокому пониманию взаимоотношений клиентов с вашим продуктом вы сможете проводить более эффективные эксперименты.

Из-за большого количества скрытых издержек чрезмерное увлечение экспериментами может затормозить процесс принятия решений и замедлить импульс вашего роста. Не стоит каждый раз задавать себе вопрос “Почему бы нам просто не провести тест?”, чтобы рассеять внутренние сомнения.

Направьте свою энергию на эксперименты, которые дадут ответы на самые важные вопросы и позволят вам уверенно продолжать разработку продукта. Самые сильные PM реже ошибаются, потому что эффективно применяют полученные знания. Со временем они приобретают навык интуитивного понимания продукта, и для получения хороших результатов им требуется намного меньше экспериментов».

Если какой-то из экспериментов провалился, не торопитесь – подумайте, как можно было выявить проблемы раньше. Хорошо ли вы спланировали и провели эксперимент? Можно ли было проверить идею при помощи прототипа, прежде чем проводить тесты?

Концепции и фреймворки

ЗНАЧИМЫЕ ПОКАЗАТЕЛИ ПРОТИВ МЕТРИК ТЩЕСЛАВИЯ

Хорошие метрики дают реальное представление об эффективности вашего продукта и о том, улучшается ли его качество. Плохие – вводят в заблуждение и являются всего лишь «метриками тщеславия»: они могут казаться положительными, но на деле не играют роли в успехе компании.

Рассмотрим для примера такие метрики, как общее количество зарегистрированных пользователей или ежедневные просмотры страницы. На первый взгляд эти показатели кажутся потенциально полезными. Нам действительно может казаться важным число пользователей и объем трафика.

Но имеют ли эти данные прикладную ценность? Означает ли рост этих показателей, что продукт стал более успешным? (Задумайтесь, так ли это в отношении общего количества зарегистрированных пользователей и ежедневных просмотров.)

• Общее количество пользователей: оно растет с течением времени и просто не может уменьшиться. Поэтому, безусловно, увеличение этого показателя не означает рост успеха продукта.

• Ежедневные просмотры страницы: иногда этот показатель имеет значение, но просмотры можно произвольно накрутить за счет разбиения какой-нибудь статьи на несколько страниц.

Эти показатели – не что иное, как метрики тщеславия, которые могут расти даже при плохом раскладе. Они не позволяют команде понять, какие изменения помогают бизнесу, а какие ему вредят.

Хорошие метрики – это те, которые коррелируют со стратегическим и долгосрочным успехом. Они подтверждают, что продукт работает так, как того хотят клиенты и бизнес, всегда достаточно конкретны и полезны с практической точки зрения.

Как правило, они представляют данные за неделю или месяц (например, удержание клиентов за первую неделю) или дают разбивку значений на одного клиента (например, средний доход на одного пользователя, или ARPU – average revenue per user). Увеличение таких показателей будет с большей долей вероятности отражать реальное улучшение ситуации.

ПИРАТСКИЕ МЕТРИКИ

Один из самых запоминающихся наборов правильных показателей – тот, что Дейв Макклюр (Dave McClure) назвал «пиратскими метриками» (в английском языке первые буквы их названий образуют забавную аббревиатуру AARRR)[32]. Это показатели жизненного цикла клиента, и называются они «метриками воронки» (некая метафора дырявой воронки, из которой капает вода). Идея в том, что сверху воронки вы помещаете большое количество клиентов, но потом постепенно теряете их на каждом следующем этапе. Те, кто доберется до самого дна воронки и не «утечет», как раз и дадут реальный доход.

• Привлечение (acquisition): новые пользователи продукта, например число подписок или загрузок в месяц.

• Активация (activation): количество довольных пользователей; для каждого продукта оно представлено своим показателем. Например, для Facebook это может быть добавление семи и более друзей. Для SurveyMonkey – получение не менее пяти ответов на рассылку опроса. Как правило, это месячный показатель конверсии, то есть процент новых пользователей, перешедших от знакомства с продуктом к его использованию.

• Удержание (retention): число клиентов, повторно использующих продукт. Отслеживается в виде таких показателей, как количество активных пользователей в день (DAU, daily active users), в месяц (MAU, monthly active users) или их соотношение (DAU/MAU). Также сюда относятся метрики использования, такие как количество минут просмотра видео на YouTube.

• Рекомендации (referral): готовность клиентов советовать продукт другим пользователям. Можно оценивать, например, по количеству отправленных приглашений. Многие компании также отслеживают индекс потребительской лояльности (NPS, net promoter score), рассчитываемый на основе ответов на вопрос: «Какова вероятность, что вы порекомендуете наш продукт?» Этот вопрос показывает, насколько успешным может быть сарафанное радио.

• Доход (revenue): объем дохода. Например, стоимость подписки, приобретение продукта или продажа рекламы. Здесь важно отслеживать пожизненную ценность клиента (lifetime value, LTV), чтобы сравнить ее со стоимостью его привлечения (cost of acquiring a customer, CAC). Существует универсальное правило – соотношение LTV: CAC должно быть не менее 3: 1. Когда действующий клиент отменяет подписку, это называется оттоком.

Обратите внимание, что эти метрики тесно связаны с концепцией «Путь клиента» (с. 50). Они подходят для широкого спектра продуктов, но, возможно, их придется слегка доработать, чтобы они отвечали задачам именно вашего бизнеса.

A/B-тестирование и статистика

A/B-тестирование, также известное как сплит-тестирование или онлайн-эксперимент, представляет собой живой эксперимент с имеющейся базой пользователей. Одна случайная выборка пользователей получает одну версию продукта, так называемый вариант, а другая – второй вариант. Затем вы сравниваете, какой из вариантов лучше сработал для достижения ваших целей, например увеличения кликабельности или конверсии. Как правило, по завершении теста версия, показавшая лучшие результаты, распространяется среди 100 % пользователей.

Одновременно тестируя продукт на двух случайных группах пользователей, вы можете быть уверены, что любые различия между результатами групп будут обусловлены разницей между версиями. Если вместо этого предложить модифицированную версию всем пользователям, а потом сравнить полученные значения с показателями предыдущего месяца, вам будет сложно понять, какие изменения вызваны внешними факторами, например сезонностью или рекламной кампанией конкурентов, а какие нет.

Некоторые A/B-тесты сравнивают две альтернативы какой-то функции, например синий или зеленый цвет кнопки. Другие сопоставляют текущее положение дел с возможными изменениями, такими как добавление окна поиска в верхней части страницы.

A/B-тестирование невероятно полезно, потому что оно дает реальную информацию о том, как люди действуют на самом деле, а не о том, как они, по их мнению, поступят. Оно наиболее точно отображает действительный эффект от вашего продукта.

Такие мелочи, как надпись на кнопке в форме регистрации, могут значительно повлиять на важные показатели, например количество зарегистрировавшихся пользователей. С другой стороны, A/B-тестирование увеличивает сроки выполнения проекта и может сбить с толку пользователей или вызвать у них раздражение, если они заметят, что видят разные версии продукта. К применению А/В-тестирования нужно подходить очень разборчиво – используйте его, только чтобы проверить изменения чувствительных к интенсивному трафику компонентов продукта, которые будут иметь преимущественно краткосрочный эффект[33].

ЧТО НУЖНО ЗНАТЬ О СТАТИСТИКЕ

• Принцип, лежащий в основе A/B-тестирования, достаточно прост – сравнить две вещи и выбрать ту, что лучше. Все!

Более сложный вопрос заключается в следующем: как долго нужно проводить эксперимент? Когда вы будете уверены, что вариант 2 на самом деле лучше, чем вариант 1? Вот тут-то и пригодится понимание статистики.

Представьте, что вы пытаетесь определить, «честная» ли у вас монетка, то есть дает ли она равную вероятность выпадения орла и решки. После 20 бросков количество орлов равно 60 %. Значит, монета «нечестная»? Трудно сказать. Однако, если вы подбросите монетку 1000 раз и орел выпадет снова в 60 % случаев, вы можете сделать вывод, что монета, вероятно, и правда не совсем «честная».

Чем дольше идет эксперимент, тем выше наша уверенность в правильности результата. Однако здесь есть нюанс. Эксперименты отнимают много времени, поэтому не стоит проводить их дольше, чем необходимо.

Это касается и A/B-тестов. Проверять варианты А и В нужно так долго, пока не появится уверенность в правильности выбора, но не затягивать их настолько, чтобы нельзя было принять решение или испробовать другие варианты.

Итак, как долго должен длиться эксперимент? Сколько людей должны увидеть варианты А и В, прежде чем мы сможем определиться с выбором? Проводить эксперимент нужно до тех пор, пока результат не приобретет статистическую значимость для метрик успеха, то есть пока не станет ясно, что случайное возникновение изменений в показателях маловероятно.

Чтобы определить статистическую значимость, можно вычислить одну из следующих величин: доверительный интервал (confidence interval) или p-значение (p-value). Обе они помогают понять, является ли результат статистически существенным, но доверительный интервал дает дополнительную информацию о диапазоне возможных значений.

Доверительный интервал

Предположим, что мы хотим узнать средний рост учащихся в школе. Чем больше детей мы измерим, тем ближе наши расчеты будут к фактическому среднему значению. Допустим, мы измерили рост 50 случайных учеников, и с вероятностью в 95 % (стандартное значение, используемое большинством компаний) получили доверительный интервал от 122 до 132 сантиметров. Это значит, что с вероятностью в 95 % фактический средний рост – если бы мы измерили рост всех учеников в школе – составляет от 122 до 132 сантиметров[34]. Однако все еще существует вероятность в 5 %, что мы ошибаемся, и средний рост выше или ниже этого диапазона.

Конечно, для PM рост пользователей не важен. PM занимаются обновлением приложений и хотят знать, помогли внесенные изменения или нет, и насколько.

Если эксперимент с вероятностью в 95 % показывает доверительный интервал количества зарегистрированных пользователей в 10–12 %, это означает, что вариант B увеличил количество новых регистраций на 10–12 %. Отлично! Если бы вместо этого он показывал диапазон от –12 до –10 %, это был бы провал.

Часто доверительный интервал охватывает сразу отрицательные и положительные значения, а также ноль, например от –4 до 3 %. Это значит, что нам неизвестно, привело ли изменение продукта к росту или снижению показателей. Поскольку доверительный интервал включает в себя ноль, изменение может дать как отрицательный результат – потерю до 4 %, так и положительный – прирост до 3 %.

Если помимо имеющихся в вашем распоряжении данных у вас есть причины полагать, что изменение будет успешным (например, оно понравилось пользователям из бета-группы), то вы можете принять потерю в 4 % как приемлемую и запустить обновление продукта.

Итоговое значение доверительного интервала может означать успех, провал или быть нейтральным. По мере сбора большего количества данных в ходе эксперимента границы доверительного интервала будут сжиматься, и мы сможем увидеть, что эксперимент покажет 1–2 % успеха.

Чем дольше длится эксперимент, тем сильнее уменьшается доверительный интервал (то есть диапазон сокращается, и мы получаем более точную информацию об ожидаемом воздействии изменений). Если к концу эксперимента интервал равен 1–2 %, это означает, что с вероятностью в 95 % тестируемые изменения улучшат показатели на 1–2 %. Это можно считать успехом.

P-значения

Другой вид расчетов, о которых вы могли слышать, это вычисление р-значения. Оно отражает вероятность получения результатов эксперимента при проигрышном или нейтральном изменении метрик. Большинство компаний в качестве порогового значения используют 0,05 (5 %), что соотносится с 95 % доверительной вероятности.

Доверительный интервал и р-значение напрямую связаны. Если р-значение ниже 0,05, нижний предел доверительного интервала при вероятности в 95 % будет выше нуля. Большинство PM предпочитают работать с доверительным интервалом, так как он дает больше информации о наилучшем и наихудшем сценарии событий.

Остерегайтесь p-хакинга

Применять пороговое значение 5 % нужно аккуратно, иначе это вызовет некоторые проблемы.

Предположим, что в результате А/В-тестирования редизайна приложения выяснилось, что с вероятностью в 95 % произошел рост использования чата. Наверняка это что-то значит, верно?

И да, и нет. Если мы на 95 % уверены, что к такому росту привел именно новый дизайн, все равно остается 5 % вероятности того, что наблюдаемое изменение было случайным.

Теперь представьте, что мы пытаемся оценить потенциальное воздействие нововведений на десятки функций: чат, профили пользователей, поиск, группы, события, экспорт данных и т. д. Установив возможный порог ошибки в 5 %, мы, скорее всего, увидим воздействие на одну из десятков функций с вероятностью в 95 %[35].

Это так называемый p-хакинг (p-hacking) – попытка выудить нужные вам значения и связи из общего объема данных. Если долго мучиться, что-нибудь получится. Просто случайно (см. «P-хакинг на примере комикса xkcd» на с. 73).

Что же делать? Действуйте методично.

Во-первых, заранее решите, что вы хотите измерить, зафиксируйте эти переменные как свою цель и не пытайтесь отследить воздействие на множество факторов сразу.

Во-вторых, если вы все-таки обнаружите что-то выходящее за рамки вашего исследования, просто отбросьте эти данные. Это не значит, что вы должны их проигнорировать. Просто отложите. Повторите эксперимент с самого начала. Если вы снова получите тот же результат, значит, вы все делаете правильно (вероятно!).

СТАТИСТИКА И ЭКСПЕРИМЕНТЫ

Теперь, когда вы начали разбираться в статистике, подумайте, какое значение она имеет для экспериментов.

• Чтобы получить более точную информацию о влиянии обновлений на метрики, эксперимент следует проводить дольше. Если вам нужен рост показателя, скажем, на 1 %, потребуется провести довольно длительный эксперимент. Выявить улучшение на 50 % можно намного быстрее. Поработайте со своим специалистом по обработке данных, чтобы определить, реально ли получить изменения метрик с нужной вам точностью.

• Игнорируйте изменения тех показателей, которые не являются статистически значимыми, особенно если вы предварительно не фиксировали их как свою цель. Вы всегда будете получать улучшение или ухудшение каких-то показателей, которое происходит по чистой случайности.

• Чем больше экспериментов вы проводите или чем больше показателей отслеживаете, тем выше вероятность того, что вы получите аномальный результат – показатель, который будет выглядеть как статистически значимый успех или провал, но на самом деле будет нейтральным. Это означает, что не нужно проводить кучу случайных экспериментов просто так. Иначе вы потеряете возможность определить, какое изменение точно сработало.

• Намного легче заметить изменение локальных метрик (например, количества кликов по кнопке), чем показателей успеха (таких как удержание пользователей). Планируйте эксперименты так, чтобы узнать что-то ценное, даже если ключевые показатели успеха при этом не изменятся.

Основные выводы

• Ключевые показатели успеха продукта являются проявлением стратегии: одни продукты ориентированы на то, чтобы завоевать долю рынка, в то время как другие нацелены на повышение прибыльности. Для каких-то продуктов успехом считается их использование раз в месяц, а для иных – несколько раз в день. Убедитесь, что отслеживаемые вами метрики согласуются с предполагаемой стратегией.