Нас ведет к беде не то, что мы чего-то не знаем… К беде ведет знание, которое мы считаем «истинным», но которое на самом деле ошибочно.
В отличие от науки, бизнес редко гонится за истинным знанием. Вполне достаточно принимать решения быстрее конкурентов и не совершать при этом фатальных ошибок. Исследование не всегда позволит найти лучшее решение, но должно подстраховать компанию от провалов и потерь. Поэтому чтобы управлять рисками, важно регулярно проводить исследования.
В исследованиях потребителей и пользователей различных продуктов и услуг обычно анализируются:
Факты из биографии (пол, возраст, место жительства и т.п.)
Осведомленность и мнение о чем-либо
Конкретное поведение и действия (наблюдаемые, либо воспоминания о них)
Установки и намерения в отношении людей, вещей, идей и явлений
Атрибуция — причины, которыми объясняют поступки, события и состояние дел
Рефлексия — самоотчет о своих психических состояниях, чувствах
Изучая человека, легко принять его мнение о себе за реальное поведение. При этом люди часто говорят одно, думают другое, а делают — третье. Исследования, которые выявляют такие противоречия, оказываются особенно полезными. Поэтому важно фиксировать и объективно наблюдаемое поведение, и то, что люди об этом говорят, всегда отличая одно от другого.
В науках о человеке есть пять базовых методов сбора данных:
Наблюдение: отслеживаем поведение людей сами или техническими средствами
Изучение документов: ищем нужную информацию в текстах и медиа
Опрос: задаем заготовленные заранее вопросы в анкете или в ходе интервью
Эксперимент: оцениваем влияние на людей разных факторов и ищем закономерности
Тест: стандартным образом проверяем что-то на соответствие нормам
Методов обработки и анализа данных гораздо больше. Условно их можно разделить на две категории по типу анализируемых данных:
Качественные данные — это субъективный опыт человека, выраженный в тексте, речи или в другой форме. Интерпретируя качественные данные, мы обретаем понимание того, что изучаем. Пример метода: обоснованная теория
Количественные данные — это результат подсчета наблюдаемых нами явлений, их свойств и связей. Анализ количественных данных позволяет объяснить изучаемый феномен на основе статистических закономерностей. Пример метода: корреляционный анализ
Метод или сочетание методов исследования выбирается исходя из трех критериев:
Что именно мы хотим изучить — см. Что можно исследовать
Какая требуется точность измерений — какая погрешность допустима для наших задач
Как часто и кто будет повторять исследование — важна ли воспроизводимость и однозначность результатов
Начинать всегда стоит с формулировки проблемы, решение которой нужно найти с помощью исследования.
Проблемы можно разделить на три категории по сложности:
Поиск удовлетворительного (рабочего) решения
Поиск оптимального (лучшего) решения
Создание нового решения (ноу-хау)
Разберем на примере. Допустим, что у интернет-магазина есть проблема низкой конверсии в покупку. В формулировке «нам нужно увеличить конверсию на 10%» решение этой проблемы предполагает анализ всех факторов, влияющих на конверсию, и поэтапную оптимизацию воронки продаж. Нужно будет опрашивать клиентов, наблюдать за их поведением, проводить A/B-тесты.
Но ту же самую задачу можно сформулировать иначе: «нам нужно сделать не хуже, чем у конкурентов». В таком случае достаточно будет изучить путь клиента у лидеров рынка и внедрить их лучшие практики. Хороший художник копирует, великий художник ворует.
Точная формулировка проблемы и оценка ее сложности позволяет выбрать оптимальный подход к исследованию, оценить затраты и сроки. Когда минимизация сроков и затрат оказывается важнее, работает и обратный принцип — можно свести задачу исследования к поиску любого работоспособного решения.
Как мы помним, исследования — это способ управления рисками при принятии решений.
Бывает, что решение хочется принять как можно быстрее, поэтому результаты исследования нужны «вчера». Но абсолютное большинство решений, которые можно принять быстро, — не такие уж и рискованные. Критически важные решения, которые впоследствии сложно изменить, быстро не принимаются.
В ситуации дефицита времени и ресурсов велик соблазн начать исследование с более удобной и доступной аудиторией — со знакомыми и коллегами. Это напоминает старый анекдот про пьяницу, который искал свой кошелек не там, где потерял его, а под уличным фонарем, потому что «под фонарем светлее». Подход «лучше такое исследование, чем никакого» не приведет к тому, что кошелек будет найден.
Исследование не требуется, когда риск от ошибочного решения минимален, либо доступны более простые способы управления этим риском.
Метод наблюдения позволяет понять, как люди ведут себя в процессе решения задачи и как взаимодействуют друг с другом. Результаты наблюдения не отвечают на вопрос, почему человек повел себя именно так, а не иначе. Чтобы не приписывать причины «из головы», наблюдение часто сочетают с опросными методами (например, с интервью).
Как организовать наблюдение:
Определить объект и ситуацию наблюдения. За кем наблюдать — кто эти люди или группы людей? За чем наблюдать — за каким поведением, действиями и в каких условиях? Насколько регулярно нужно это делать?
Выбрать способ наблюдения и фиксации результатов. В «полевых» условиях и в «лаборатории» результаты могут быть разными. Люди не всегда ведут себя естественно, когда знают, что за ними наблюдают. Когда нужно наблюдать за большим количеством людей, используются технические средства: счетчики посещений, действий в интерфейсе, видеоаналитика по камерам и т.д.
Создать протокол наблюдения. Когда результаты наблюдения фиксируются человеком, важно разработать подробную и однозначную классификацию событий, чтобы отделить факты от их субъективной интерпретации. Например, если мы наблюдаем за работой пользователя в приложении, то стоит фиксировать отдельные действия («открыл», «нажал», «выбрал»), а не объяснять происходящее («не заметил», «перепутал», «не понял»).
Выбрать метод обработки результатов. Небольшое количество наблюдений можно проанализировать вручную по видеозаписям, протоколу и заметкам наблюдателя. Большой массив поведенческих данных обычно собирается и обрабатывается в аналитических системах (например, в Яндекс Метрике) с помощью анализа воронок, когорт, карт нажатий, пользовательских путей и других инструментов.
Пробное наблюдение и доработка процедуры. Даже у опытных исследователей не все получается с первого раза. Также полезно убедиться в отсутствии технических проблем с записью видео, разметкой событий в интерфейсе и т.п.
Только наблюдение дает объективную картину поведения человека в разных ситуациях. Надежность данных обеспечивается скрытым или «ненавязчивым» наблюдением, единой процедурой и сверкой данных нескольких наблюдателей, либо инструментов наблюдения.
Опрос — это вербальный метод сбора информации путем получения ответов на подготовленные заранее вопросы. Эффективность его применения во многом зависит от социального интеллекта и навыков общения исследователя. Основные формы опроса — это интервью и анкетирование.
Интервью всегда предполагает разговор респондента (кого опрашивают) с интервьюером (кто опрашивает). Обычно интервью проводят устно в очном или дистанционном формате (например, по телефону), но можно общаться и письменно, и асинхронно через голосовые сообщения. Разговор может быть как очень коротким (несколько минут), так и длиться более часа (например, глубинные интервью).
Помимо личных интервью, когда общение с респондентом ведется один на один, проводят групповые интервью с несколькими респондентами (например, с ребенком и одним из родителей) и фокус-группы. Фокус-группа отличается от обычного группового интервью тем, что исследователь поощряет общение между респондентами, выступая в роли модератора дискуссии. Это позволяет изучить, как у людей формируются мнение по заданной теме, как они спорят, аргументируют свою точку зрения и приходят к общим выводам.
Анкетирование — это самостоятельное прохождение опроса без участия исследователя. Анкетирование позволяет быстро опрашивать большое количество респондентов, проводить анонимные опросы и исключить влияние личности интервьюера на результаты. При этом стандартизация вопросов анкеты приводит к потере части информации (редких кейсов, особого мнения и реакций респондентов). Без интервьюера респондентов сложнее мотивировать к прохождению опроса, они менее внимательны и вовлечены, поэтому среднее время на заполнение анкеты должно быть в разы меньше длительности интервью на ту же тему.
Анкета или сценарий (гайд) интервью строится по плану:
Приветствие и вступление: цель опроса, кто проводит, условия участия
Тематические блоки вопросов: от общих вопросов — к частным, от простых — к сложным
Заключение и благодарность
Вопросы формулируются исходя из того, какая информация позволит решить задачи исследования (см. Что можно исследовать). Закрытые вопросы с вариантами ответов удобны для респондентов и в основном используются в количественных исследованиях. При сборе качественных данных в глубинных интервью или фокус-группах вопросы, напротив, задаются в открытой форме так, чтобы респондент не давал быстрых и кратких ответов (например, да или нет, согласен или не согласен), а развернуто и подробно рассказывал о своем опыте.
Частые ошибки в формулировках вопросов:
Длинные и сложные предложения с перечислением или логическими условиями
Абстрактные понятия и ситуации («Вы опытный пользователь?»)
Несколько вопросов в одном («Какие бренды вы любите и покупаете?»)
Вопрос с подсказкой («Понятно, что это кнопка для оформления заказа?»)
Специальные термины и сленг («Какой из этих виджетов кликабельный?»)
Эмоциональная нагрузка («Насколько вас это бесит?»)
Убеждение, навязывание мнения («У приложения рейтинг 5 звезд — вам нравится?»)
Советы для интервью:
Подберите комфортное время, место и условия для респондента, чтобы ничего не отвлекало
Заранее проверьте работоспособность техники и ПО, имейте резервные каналы для связи
Установите доверительный контакт, рассказав немного о себе
Ведите аудио или видео-запись интервью с согласия респондента
Используйте приемы активного слушания
Не бойтесь длинных пауз и дайте респонденту время подумать
Ваш внешний вид, мимика и жесты влияют на респондента, поэтому будьте сдержанны и благожелательны
После первых интервью оцените, насколько результаты отвечают задачам исследования, и при необходимости скорректируйте сценарий
Советы для анкетирования:
Вступление должно мотивировать, не быть длинным и формальным
Открытые вопросы в анкетах снижают отклик на опрос и тратят ваше время на кодировку
Рандомизируйте порядок вариантов ответа и оцениваемых материалов
Не забывайте варианты ответов «Другое» и «Затрудняюсь ответить»
Очно пилотируйте анкету на 3-5 респондентах, чтобы увидеть их реакцию на вопросы и сразу получить обратную связь
Старайтесь сократить среднее время заполнения анкеты, которое можно замерить в ходе пилотажа
Проверяйте отображение анкеты на мобильных устройствах (например, горизонтальные шкалы часто не помещаются)
Замеряя какой-то показатель, сразу планируйте, какие группы будете сравнивать, чтобы не получить «цифру в вакууме»
У исследователя редко есть время и ресурсы, чтобы исследовать всю целевую аудиторию, поэтому приходится делать выборку. На этом этапе всегда встает вопрос, насколько хорошо мы уже знаем целевую аудиторию? Кто эти люди или компании? По каким критериям мы должны включать их в выборку для исследования? Среди стартапов часто встречается очень условное представление о рынке (TAM/SAM/SOM), а в больших и зрелых продуктах — несколько противоположных мнений о том, кто их клиенты. Например, можно спросить «как вы понимаете, что клиент ушел?» и получить десяток разных определений оттока.
Как отобрать аудиторию для исследования? Есть как минимум два популярных подхода к формированию выборки — это вероятностная выборка и теоретическая выборка.
Вероятностная выборка возможна, когда есть четкие границы и известна степень разнообразия генеральной совокупности людей, на которых мы планируем обобщить результаты исследования. Смысл вероятностной выборки в том, чтобы создать достаточно точную (репрезентативную) модель целевой аудитории. По аналогии с игрушечными машинками, чем больше модель, тем она реалистичнее: у маленькой машинки будут крутиться колеса, а у машинки побольше могут открываться двери, откидываться крыша и т.п. Репрезентативная выборка — это всегда баланс между ее размером и теми особенностями целевой аудитории, которые важно смоделировать максимально реалистично. Если мы заранее не можем определить эти критерии репрезентативности, то вероятностная выборка не подойдет.
Вероятностная (или «случайная») выборка позволяет использовать методы статистической проверки гипотез: обнаружить значимые различия между группами (например, по конверсии) или корреляции между метриками (например, связь между удовлетворенностью клиентов и оттоком). Бытует мнение, что вероятностная выборка обязательно должна быть большой, но сильная корреляция r = 0,8 будет статистически значима уже на выборке из 10 человек — можете проверить на калькуляторе (вероятности ошибок I и II рода будут в общепринятых пределах α = 0,05 и β = 0,2). Тем не менее, интуитивно кажется, что 10 человек не могут репрезентировать сотни тысяч и миллионы очень разных людей. Отчасти это так. Например, отобрать и изучить по-настоящему случайным образом 10 человек среди всего населения страны — это практически невыполнимая задача. Поэтому собирать выборку часто приходится «по кусочкам» — это стратифицированная случайная выборка, где отдельные страты (подгруппы) отражают те черты генеральной совокупности, которые нам нужно репрезентировать для задач исследования. Среди клиентов компании это могут быть страты по месту жительства, по доходам, по частоте использования продукта и т.д. Минимальный размер каждой страты и выборки в целом можно рассчитать с помощью общедоступных калькуляторов ошибки выборки и минимального размера эффекта, который требуется обнаружить.
Теоретическая выборка — это хорошая стратегия в тех случаях, когда мы практически ничего не знаем о рынке, пользователях продукта и их поведении. Она была предложена создателями обоснованной теории, но не привязана к этому методу. Теоретическая выборка предполагает итеративный подход, когда исследователь собирает и анализирует данные в несколько шагов. Каждый раз выборка зависит от результатов предыдущего шага – какие появились новые гипотезы для проверки в ходе категоризации и сравнения данных. Это повышает чувствительность к новым данным, которые способны изменить направление исследования. Исследование продолжается до точки насыщения, когда результаты (кейсы) начинают повторяться, и у исследователя не появляется новых гипотез и вопросов.
Оба подхода к выборке предполагают принцип постоянных сравнений. И при планировании вероятностной выборки, и в ходе сбора теоретической выборки, исследователь должен думать о том, какие группы кейсов (измерений) или людей он будет сравнивать, чтобы проверить гипотезу. Размер выборки зависит от того, насколько разнообразна целевая аудитория, и необходимости статистической проверки гипотез.
Эксперимент — один из немногих способ понять, как одно влияет на другое. Например, в эксперименте можно выяснить, как разный призыв к действию влияет на покупки. Если в интервью можно понять, что ……..
// выборка
Размер вероятностной выборки в эксперименте зависит от того, насколько редкий признак мы измеряем, и какой размер эффекта в экспериментальной группе хотим обнаружить. Допустим, средняя конверсия в интернет-магазине сейчас — это 2% от всего трафика. Здесь признак — это факт конверсии, когда посетитель стал покупателем. Директор магазина будет рад увеличить конверсию на четверть (до 2,5%) — это размер эффекта, который нам нужно статистически доказать или опровергнуть. Получается, чтобы статистически доказать эффект от предложенных нами измерений, в ходе A/B теста нужно отправить более 25 тыс. посетителей (калькулятор выборки) на старый вариант А и на новый вариант B в пропорции 50/50%. К сожалению, не каждый продукт может похвастать такой посещаемостью, а вариант B может потребовать ресурсов на дизайн и разработку, поэтому A/B тесты — это долгий и дорогой метод, который подходит не всем.
В 2023 году курс не проводится. Здесь будем публиковать материалы по теории и практике исследований потребителей и пользователей цифровых продуктов.