В чём разница

Для начала необходимо чётко определить, что подразумевается под этими понятиями.

Говоря простым языком, количественные данные — это информация, которую можно измерить и представить в виде чисел. Например, сколько раз использовалась та или иная опция или сколько просмотров набрала та или иная страница сайта. Качественные данные — это субъективная информация, которую нельзя измерить: например, насколько какая-либо функция удобна в использовании.

В контексте менеджмента продуктов эти понятия обозначают собранные от пользователей сведения об их опыте взаимодействия с продуктом. Количественные данные собирают при помощи опросов, встроенных в приложения метрик и A/B-тестирования, а качественные — из интервью, звонков, почтовой переписки или обычных бесед с потребителями. Ещё один аспект данных — достоверность («жёсткость») и недостоверность («мягкость»). Количественные данные считаются достоверными: они измеримы и однозначны. Качественные данные, напротив, недостоверны, то есть субъективны и отражают личную точку зрения лишь отдельных людей.

Чтобы принять взвешенное решение по продукту, необходимо учитывать оба вида данных. Оба они описывают поведение пользователей, но каждый — с разного ракурса и с разной степенью детализации. Достоверные данные более точны, так как основаны на измерениях — например, сколько пользователей совершают определённое действие. Они также позволяют лучше представить впечатление пользователей от продукта, например, через среднее время ожидания ими отклика сайта. Недостоверные данные дают гораздо больше деталей и контекста пользовательского поведения: «из-за этой опции я не могу работать», «эта функция для меня важна» или «мне не нравится такой интерфейс — он слишком перегружен». По мнению экспертов, именно эта субъективность помогает компаниям улучшить продукт.

То, как количественные и качественные данные могут дополнять друг друга, можно показать на примере А/В тестирования, помогающего выяснить, каким цветом оформить кнопку призыва к действию при проектировании интерфейса — зелёным или оранжевым. Получив статистически значимые результаты, можно понять, какой из цветов лучше использовать, но не то, почему один цвет окажется предпочтительнее другого. Эту информацию можно получить, изучив недостоверные данные, например, комментарии пользователей во время проведения тестов, вроде «я и не заметил эту кнопку — она как-то сливается с фоном».

Почему важны оба вида данных

В примере выше может показаться, что достоверных данных будет вполне достаточно, чтобы действовать дальше, ведь задача определить, какого цвета кнопка эффективнее, успешно решена. Даже если это так в данном отдельном случае, понять, почему тот или иной цвет привлёк потребителей больше, возможно только если продолжить разбираться глубже. Можно пообщаться с потребителями и спросить их мнение — это поможет лучше понять их предпочтения в целом, а информация пригодится в дальнейшей разработке продуктов. Но если в данном тесте выиграла зелёная кнопка, значит ли, что все остальные кнопки стоит также перекрасить в зелёный, или же зелёный будет выглядеть лучше лишь в данном контексте — чтобы ответить на этот вопрос, нужно больше недостоверных, «мягких» данных.

«Качественные данные позволяют сузить круг правильных вопросов благодаря пониманию проблем потребителя, того, что для них важно и почему. Достоверные данные дают чёткие ответы на чёткие вопросы, как только вы их определили», — размышляет на тему комбинирования обоих видов данных менеджер группы в компании Zillow Сергей Шевлягин.

С чего начать

В менеджменте продукта универсального ответа на этот вопрос нет. С каких данных начинать, зависит от контекста, измеряемых характеристик и доступных данных.

Когда начинать с количественных данных

Принимая решения в условиях высокой неопределённости, обычно полагаются на достоверные данные. Например, если компания планирует добавить новый продукт в портфолио, она может собрать все имеющиеся идеи в анкету, которую потом разослать клиентам. Это позволит выяснить, найдут ли эти идеи отклик среди пользователей (по крайней мере тех, которые решат выполнить анкету до конца), но не покажет, почему та или иная идея заинтересовала их больше или же то, какими более важными проблемами могла бы заняться компания. Для интерпретации полученных результатов потребуются «мягкие» данные.

Другое направление, где весьма полезны «жёсткие» данные — выявление закономерностей в поведении пользователей. Допустим, проанализировав поведенческие данные покупателей некоторый интернет-магазин выяснил, что они не пользуются предлагаемыми скидками. На первый взгляд можно сделать вывод, что предложения недостаточно привлекательны, и их нужно или подкорректировать, или вообще удалить. Но это предположение может быть ошибочным: если в попытке добраться до истины провести опрос, может оказаться, что эти скидки пользователям просто было сложно заметить на странице. Основываясь исключительно на «жёстких» данных, магазин рисковал пойти по ложному пути, так как видел бы лишь часть общей картины.

Когда начинать с качественных данных

Альтернативный способ выяснить, какой создавать продукт, — начать с недостоверных данных. Из общения с существующими или же потенциальными клиентами можно вынести много полезного об их проблемах и потребностях, и потом использовать эти знания для формирования таких продуктов, которые будут нести максимальную ценность для той или иной целевой аудитории. Далее можно заняться сбором «жёстких» данных, чтобы подтвердить предположения. Если начинать со сбора субъективных «мягких» данных, можно корректнее подобрать вопросы для анкет, а также правильнее организовать эксперименты, чтобы подкрепить очевидно правильные предположения достоверными данными.

Когда имеется больше достоверных «жёстких» данных, обычно начинают с «мягких». Допустим, нужно найти оптимальный способ повысить конверсию интернет-магазина. Для этого уже имеются достоверные данные о поведении пользователей, которые покажут возможные проблемные моменты. Однако, если эти показатели нестабильны и изменчивы, то можно сделать вывод лишь о том, что происходит, но не почему именно пользователи ведут себя тем или иным образом. Ключ к решению проблемы содержат именно «мягкие» данные: без них можно продолжать решать неправильные проблемы или неправильный аспект правильной проблемы.

Цикл данных о клиентах

Достоверные и недостоверные данные тесно взаимосвязаны. Начав с достоверных, можно выяснить значимые сценарии использования продукта. Это позволит проводить опросы, которые помогут лучше понять контекст или же подтолкнут к новым идеям, значимость которых позже можно проверить через имеющиеся достоверные данные. В отдельных случаях они позволят получить другие не менее полезные достоверные данные. То же самое применимо, если начинать с недостоверных данных.

Отличный пример такого цикла — мобильное приложение для медитации Calm. После запуска функции напоминания, команда заметила, что ею пользуется только 1 процент клиентов. Дальнейший анализ показал, что коэффициент удержания среди них был в три раза выше, чем среди остальных пользователей. Пытаясь понять, почему клиенты не пользуются напоминаниями, команда Calm изучила страницу настроек и предположила, что функция была неудобно расположена на ней. Отталкиваясь от этого, команда преобразовала страницу, сделав функцию более броской и подталкивая пользователей создавать напоминания. После некоторых испытаний разработчики обнаружили, что теперь 40 процентов пользователей, которые видели подсказку, ставили напоминания, а метрика удержания возрастала в те же три раза. Всё это команде Calm удалось благодаря балансу достоверных и недостоверных данных.

Осторожно с предположениями

Даже при анализе как достоверных, так и недостоверных данных, полученные результаты всё равно могут оказаться неправильными. Например, как верно истолковать имеющиеся метрики использования той или иной функции и как действовать на основе полученных выводов, насколько универсальны и правдивы результаты опросов, и действительно ли сделанные исследователями выводы были объективны — к любым получаемым данным нужно относиться критически.

Не нужно выбирать

Необходимо признать важность использования обоих видов данных — и качественных, и количественных. Не зная, в какой мере обратная связь от небольшой группы пользователей будет важнее по сравнению со всей клиентской базой, можно переоценить её важность. Не разобравшись, почему в поведенческих данных пользователей прослеживается та или иная закономерность, можно решать неправильные проблемы, или правильные, но неправильным образом.

Задача менеджера по продукту — собрать как можно больше информации о потребителе, что поможет выбрать перспективное направление развития продукта. В основе принимаемых по продукту решений должен лежать баланс качественных и количественных данных.