- Регистрация
- 19 Окт 2018
- Сообщения
- 26,132
- Реакции
- 4,208
Какой метод выбрать для исследования аудитории сайта
Перевод обзора специалиста по пользовательскому опыту Nielsen Norman Group Кейт Мейер.
Посмотреть вложение 34338
Многие UX-специалисты чаще используют качественные методы исследований, потому что они, согласно распространенному мнению, считаются более лёгкими и дешёвыми, чем количественный анализ. Количественный анализ часто ассоциируется с огромными объёмами выборки данных и статистики, поэтому специалисты стараются избегать пугающую их перспективу.
Если это похоже на вас, то вы многое упускаете. Количественные методы являются важной частью инструментария любого опытного UX-специалиста. Они позволяют:
В статье перечислены наиболее распространённые сценарии использования этих методов и оценены затраты и сложность каждого из них. Как и любой исследовательский метод, они могут быть адаптированы под самые разные потребности. В зависимости от ваших конкретных обстоятельств, затраты и сложность могут сильно различаться. Нужно помнить, что у каждого метода свои минимальные размеры выборки для определения статистической значимости.
Количественное юзабилити-тестирование (бенчмаркинг)
Основное различие между этими двумя методами в том, что в качественном юзабилити-тестировании главное — наблюдения, например, определение проблем с удобством использования продукта. Суть количественного юзабилити-тестирования же, наоборот, заключается в сборе таких метрик, как время выполнения задания или успешность его выполнения.
Когда вы соберёте метрики из относительно большой выборки (около 35 участников или более), можно использовать их для отслеживания прогресса в удобстве использования вашего продукта с течением времени или для сравнения удобства использования вашего продукта и продукта вашего конкурента.
Посмотреть вложение 34339
Если отслеживать какую-нибудь метрику в течение некоторого времени и с учётом множества отладок продукта, то можно создавать такие графики. Эта информация поможет мониторить UX вашего продукта и отслеживать улучшения.
В зависимости от того, какой тип юзабилити-тестирования вы выберете (личная встреча, удалённое модерируемое или удалённое немодерируемое), будут отличаться стоимость и сложность его выполнения. Так как у количественного и качественного тестирований разные цели, структура и задания тоже должны будут отличаться.
Веб-аналитика (или аналитика приложений)
Такая информация может поддерживать огромное разнообразие UX-процессов. В частности, так вы можете отслеживать результативность разнообразного контента, пользовательских интерфейсов или различных функциональностей вашего продукта и определять, что не работает.
A/B-тестирование или многомерное тестирование
Во время A/B-тестирования команды создают две разные действующие версии одного и того же пользовательского интерфейса, а затем показывают их разным пользователям, чтобы посмотреть, какая версия работает лучше. Например, можно создать две версии одной кнопки призыва к действию: «Узнать стоимость» или «Узнать больше».
Затем можно отследить количество кликов по той и другой кнопкам. Многофакторное тестирование похоже на этот метод, но здесь тестируются сразу несколько элементов дизайна (например, в тестировании могут участвовать несколько надписей на кнопках, различная типографика и расположение на странице).
Оба основанные на аналитике типы тестирования отлично подходят, чтобы выбрать один вариант дизайна из нескольких — с их помощью можно прекратить споры в команде о том, какая версия лучше.
Посмотреть вложение 34340
A/B-тестирование разделяет входящий трафик (пользователей) и направляет одну часть пользователей на первую версию UI, а другую часть — на вторую версию.
Главный недостаток этого метода заключается в том, что он часто неправильно эксплуатируется. Некоторые команды проводят тестирование меньше, чем следовало бы, поэтому принимают рискованные решения на основании небольшой выборки.
Сортировка карт
Посмотреть вложение 34341
Если сортировка карт проводится при личном присутствии, пользователь сортирует и категоризирует физические карты. На каждой карте есть описание контента, который она представляет.
Такой метод позволяет представить когнитивную карту информационного пространства пользователя. Какой терминологией они пользуются? Какой логикой руководствуются при группировании этих концептов?
Количественный анализ процентного соотношения участников опроса, которые группировали концепты схожим образом, может помочь установить, какой подход к категоризации будет понятен большей части пользователей.
Тестирование «дерева» сайта
Например, представьте, что ваш продукт — сайт товаров для животных, а ниже представлена ваша иерархия первого уровня.
Посмотреть вложение 34342
Визуализация вашей иерархии могла бы выглядеть примерно так. Участников тестирования «дерева» сайта можно попросить найти какой-то конкретный продукт в вашей иерархии (например, ошейники). Сначала они будут видеть только категории первого уровня (например, собаки, кошки, птицы и так далее). Как только пользователь сделает выбор (собаки), он увидит дочернюю категорию.
Вы можете попросить своих участников найти ошейники для собак. Количественный анализ результатов тестирования «дерева» сайта покажет, могут ли люди найти правильный путь к этому товару в информационной иерархии. Сколько участников выберет неверную категорию?
Этот метод полезен, если нужно определить, соответствуют ли информационно-архитектурная структура, метки и местонахождение товара ожиданиям людей.
Опросы или анкетирование
Опросы могут принести как количественные, так и качественные данные — рейтинги, процентное соотношение выбора одного из вариантов ответов на вопрос с несколькими вариантами ответа, а кроме того, ответы на открытые вопросы. Вы даже можете конвертировать качественные ответы из опроса в цифровые данные.
Посмотреть вложение 34343
В такой семантической дифференциальной шкале оценок, как эта, каждая кнопка с зависимой фиксацией означает свою числовую величину. Респонденты могут выбрать «легко использовать» (1), «сложно использовать» (5) или значение между ними. Среднее значение ответов на этот вопрос покажет воспринимаемую сложность вашего приложения.
Можно создать собственные индивидуальные опросы или использовать одну из множества уже созданных анкет (например, System Usability Scale или Net Promoter Score). Преимущество этих опросников заключается в том, что вы можете сравнить свои результаты со средним значением по своей индустрии или с результатами конкурентов, и понять, как идут ваши дела.
Даже если вы создадите опрос индивидуально под себя, вы всё равно сможете отслеживать свою среднюю оценку за период времени, чтобы наблюдать улучшение продукта.
Кластеризация комментариев, полученных в качественном исследовании
Например, представьте, что вы проводите исследование методом дневника, и просите участников каждый день сообщать об их опыте использования вашего продукта в течение недели. Ваша цель — понять, в каком контексте они пользуются вашим продуктом. Вы можете посчитать количество раз, когда люди пользовались продуктом на работе, дома или в пути.
С помощью этого метода можно определить преобладание или частоту употребления какой-то конкретной темы или ситуации — например, как часто пользователь жалуется или как часто возникают проблемы UI.
Этот подход хорош, чтобы добывать числовые данные из большого количества качественной информации, но может требовать серьёзных временных затрат.
Оценка целесообразности
Эти исследования могут быть индивидуально настроены в зависимости от предметов исследования, но сначала вы должны показать свой продукт участникам исследования (можно показать статичные изображения или попросить использовать ваш продукт или его прототип).
Затем вы должны попросить описать дизайн, выбрав варианты из списка ключевых слов. При довольно большой выборке можно заметить возникновение трендов. Например, вы можете заметить, что 84% респондентов описывают ваш дизайн как «свежий».
Айтрекинговое тестирование
Отслеживание взгляда поможет определить, на каких элементах контента и интерфейса нужно акцентировать внимание, а от каких — наоборот, его отвлечь, чтобы пользователи смогли достичь своих целей.
Посмотреть вложение 34344
С помощью айтрекингового ПО можно создать необходимые визуализации, используя совокупные данные (зелёные точки показывают, на какую часть интерфейса смотрели пользователи).
Самый большой минус в проведении айтрекинговых исследований — необходимость высокоспециализированного, непозволительно дорогого и в некоторой степени нестабильного оборудования, для использования которого требуется серьёзная тренировка.
Выбор метода
В этой таблице представлены сводные данные по тому, что обсуждалось выше.
Посмотреть вложение 34345
Начните с предмета исследования
Чтобы понять, какой количественный метод исследования использовать, определите предмет исследования. Что вам нужно знать? Некоторые из этих методик лучше подходят для очень общих предметов исследования.
Другие методики работают лучше, если у вас более конкретный вопрос.
Однако не все наши рекомендации однозначны. Например, A/B-тестирование может не подходить вашей компании по соображениям безопасности или техническим причинам. Если это ваш случай, и вы не можете провести такой тип исследования, то проведите количественное юзабилити-тестирование с личным присутствием, так можно сравнить два прототипа. Однако это не типичный вариант применения количественного юзабилити-тестирования, поэтому мы не обсуждали здесь этот вариант.
Учтите затраты
После предмета исследования второй наиболее значимый фактор для выбора методологии — затраты. Все вышеперечисленные методологии будут сильно отличаться по затратам в зависимости от того, как вы будете их применять.
То, какие инструменты вы будете использовать, количество привлеченных участников, время, потраченное теми, кто будет проводить исследование, всё это повлияет на окончательные затраты. Ещё больше ситуацию усложняет то, что у команд могут быть совершенно разные бюджеты. Опять же, оценка затрат здесь очень относительна.
Команды с небольшим бюджетом могут полагаться на цифровые методы — удалённое юзабилити-тестирование, онлайн-платформы для сортировки карт, такие как OptimalSort, A/B-тестирование, веб-аналитика или аналитика приложений. Опыт показывает, что методы, предполагающие личное присутствие (такие как юзабилити-тестирование с личным присутствием, сортировка карт с личным присутствием), оказываются более затратными, потому что тот, кто проводит их, тратит гораздо больше времени.
Ещё для их проведения, возможно, потребуются затраты на проезд и аренду оборудования. Самая дорогостоящая методология в списке — айтрекинг. Поэтому её следует применять только тем командам, у которых большой бюджет и предмет исследования которых оправдывает использование этой методики.
Посмотреть вложение 34346
Эта таблица показывает, где обсуждаемые в этой статье количественные методы находятся с точки зрения их пригодности для предметов исследования с различными уровнями детализации (от общего к специальному).
Следующие шаги
Выбрав метод, изучите его. Сделайте домашнюю работу, чтобы спланировать и провести исследование так, как вам нужно, чтобы получить действительно полезные результаты. В разделе «Что почитать» в конце статьи можно найти ссылки на некоторые полезные сайты.
Учтите: нельзя просто собрать метрики и начать принимать решения, не проведя статистический анализ. Недостаточно просто собрать оценки пяти пользователей, взять среднее значение и пойти дальше.
У каждого метода, который мы тут обсудили, есть различные рекомендованные размеры выборки — количество данных, которые вам лучше собрать, чтобы получить достоверные результаты и определить статистическую значимость. Так что вам нужно достичь минимального размера выборки. А если вы не сможете это сделать, то не сможете и быть уверенными, что полученные результаты не являются случайностью.
Постарайтесь учесть и время, которое вам потребуется, чтобы исследовать актуальный статистический концепт, какой бы метод вы ни выбрали, а также стоимость получения корректной минимальной выборки. Я обещаю, что всё не так сложно, как кажется, и ради этих количественных данных стоит и потрудиться.
Что почитать
Перевод обзора специалиста по пользовательскому опыту Nielsen Norman Group Кейт Мейер.
Посмотреть вложение 34338
Многие UX-специалисты чаще используют качественные методы исследований, потому что они, согласно распространенному мнению, считаются более лёгкими и дешёвыми, чем количественный анализ. Количественный анализ часто ассоциируется с огромными объёмами выборки данных и статистики, поэтому специалисты стараются избегать пугающую их перспективу.
Если это похоже на вас, то вы многое упускаете. Количественные методы являются важной частью инструментария любого опытного UX-специалиста. Они позволяют:
- Получить точные данные по удобству использования вашего продукта. Иногда они более убедительны, чем результаты качественных методов исследования и видеоролики по ним (особенно когда вы пытаетесь повлиять на решение других людей, например руководства).
- Сравнить различные дизайны (например, новую версию продукта со старой версией или ваш продукт с продуктом конкурентов) и определить, являются ли видимые различия статистически значимыми, не обусловлены ли они случайностью.
- Улучшить качество компромиссных решений в UX. Например, если предложенные изменения в дизайне сложно внедрить, стоит ли это делать? Если у вас есть приблизительная оценка того, как определённые изменения повлияют на юзабилити, то количественные исследования помогут понять, стоит ли проводить редизайн.
- Привязать улучшения UX к организационным целям и ключевым показателям эффективности (демонстрируя таким образом доходностьна вложенные средства и оправдывая существование вашей UX-команды).
- Количественное юзабилити-тестирование (бенчмаркинг);
- Веб-аналитика (или аналитика приложений);
- A/B-тестирование или многомерное тестирование;
- Сортировка карт;
- Тестирование «дерева» сайта;
- Опросы или анкетирование;
- Кластеризация комментариев, полученных в качественном исследовании;
- Оценка целесообразности продукта;
- Айтрекинговое тестирование.
В статье перечислены наиболее распространённые сценарии использования этих методов и оценены затраты и сложность каждого из них. Как и любой исследовательский метод, они могут быть адаптированы под самые разные потребности. В зависимости от ваших конкретных обстоятельств, затраты и сложность могут сильно различаться. Нужно помнить, что у каждого метода свои минимальные размеры выборки для определения статистической значимости.
Количественное юзабилити-тестирование (бенчмаркинг)
- Применение: отслеживание изменения удобства использования продукта во времени, сравнение с конкурентами.
- Затраты: средние.
- Сложность сбора: средняя.
- Сложность анализа: средняя.
- Тип метода: поведенческий (что люди делают).
- Контекст использования: задачно-ориентированный.
Основное различие между этими двумя методами в том, что в качественном юзабилити-тестировании главное — наблюдения, например, определение проблем с удобством использования продукта. Суть количественного юзабилити-тестирования же, наоборот, заключается в сборе таких метрик, как время выполнения задания или успешность его выполнения.
Когда вы соберёте метрики из относительно большой выборки (около 35 участников или более), можно использовать их для отслеживания прогресса в удобстве использования вашего продукта с течением времени или для сравнения удобства использования вашего продукта и продукта вашего конкурента.
Посмотреть вложение 34339
Если отслеживать какую-нибудь метрику в течение некоторого времени и с учётом множества отладок продукта, то можно создавать такие графики. Эта информация поможет мониторить UX вашего продукта и отслеживать улучшения.
В зависимости от того, какой тип юзабилити-тестирования вы выберете (личная встреча, удалённое модерируемое или удалённое немодерируемое), будут отличаться стоимость и сложность его выполнения. Так как у количественного и качественного тестирований разные цели, структура и задания тоже должны будут отличаться.
Веб-аналитика (или аналитика приложений)
- Применение: определение или приоритизация проблем, контроль выполнения.
- Затраты: низкие.
- Сложность сбора: низкая.
- Сложность анализа: высокая.
- Тип метода: поведенческий (что люди делают).
- Контекст использования: в реальном времени.
Такая информация может поддерживать огромное разнообразие UX-процессов. В частности, так вы можете отслеживать результативность разнообразного контента, пользовательских интерфейсов или различных функциональностей вашего продукта и определять, что не работает.
A/B-тестирование или многомерное тестирование
- Применение: сравнение двух вариантов дизайна.
- Затраты: низкие.
- Сложность сбора: низкая.
- Сложность анализа: низкая.
- Тип метода: поведенческий (что люди делают).
- Контекст использования: в реальном времени.
Во время A/B-тестирования команды создают две разные действующие версии одного и того же пользовательского интерфейса, а затем показывают их разным пользователям, чтобы посмотреть, какая версия работает лучше. Например, можно создать две версии одной кнопки призыва к действию: «Узнать стоимость» или «Узнать больше».
Затем можно отследить количество кликов по той и другой кнопкам. Многофакторное тестирование похоже на этот метод, но здесь тестируются сразу несколько элементов дизайна (например, в тестировании могут участвовать несколько надписей на кнопках, различная типографика и расположение на странице).
Оба основанные на аналитике типы тестирования отлично подходят, чтобы выбрать один вариант дизайна из нескольких — с их помощью можно прекратить споры в команде о том, какая версия лучше.
Посмотреть вложение 34340
A/B-тестирование разделяет входящий трафик (пользователей) и направляет одну часть пользователей на первую версию UI, а другую часть — на вторую версию.
Главный недостаток этого метода заключается в том, что он часто неправильно эксплуатируется. Некоторые команды проводят тестирование меньше, чем следовало бы, поэтому принимают рискованные решения на основании небольшой выборки.
Сортировка карт
- Применение: определение информационно-архитектурных меток и структур.
- Затраты: низкие.
- Сложность сбора: низкая.
- Сложность анализа: средняя.
- Тип метода: оценочный (что люди говорят).
- Контекст использования: продукт не используется.
Посмотреть вложение 34341
Если сортировка карт проводится при личном присутствии, пользователь сортирует и категоризирует физические карты. На каждой карте есть описание контента, который она представляет.
Такой метод позволяет представить когнитивную карту информационного пространства пользователя. Какой терминологией они пользуются? Какой логикой руководствуются при группировании этих концептов?
Количественный анализ процентного соотношения участников опроса, которые группировали концепты схожим образом, может помочь установить, какой подход к категоризации будет понятен большей части пользователей.
Тестирование «дерева» сайта
- Применение: оценка информационно-архитектурной иерархии.
- Затраты: низкие.
- Сложность сбора: низкая.
- Сложность анализа: средняя.
- Тип метода: поведенческий (что люди делают).
- Контекст использования: задачно-ориентированный, продукт не используется.
Например, представьте, что ваш продукт — сайт товаров для животных, а ниже представлена ваша иерархия первого уровня.
Посмотреть вложение 34342
Визуализация вашей иерархии могла бы выглядеть примерно так. Участников тестирования «дерева» сайта можно попросить найти какой-то конкретный продукт в вашей иерархии (например, ошейники). Сначала они будут видеть только категории первого уровня (например, собаки, кошки, птицы и так далее). Как только пользователь сделает выбор (собаки), он увидит дочернюю категорию.
Вы можете попросить своих участников найти ошейники для собак. Количественный анализ результатов тестирования «дерева» сайта покажет, могут ли люди найти правильный путь к этому товару в информационной иерархии. Сколько участников выберет неверную категорию?
Этот метод полезен, если нужно определить, соответствуют ли информационно-архитектурная структура, метки и местонахождение товара ожиданиям людей.
Опросы или анкетирование
- Применение: сбор информации о пользователях, их отношении и поведении.
- Затраты: низкие.
- Сложность сбора: низкая.
- Сложность анализа: низкая.
- Тип метода: оценочный (что люди говорят).
- Контекст использования: любой.
Опросы могут принести как количественные, так и качественные данные — рейтинги, процентное соотношение выбора одного из вариантов ответов на вопрос с несколькими вариантами ответа, а кроме того, ответы на открытые вопросы. Вы даже можете конвертировать качественные ответы из опроса в цифровые данные.
Посмотреть вложение 34343
В такой семантической дифференциальной шкале оценок, как эта, каждая кнопка с зависимой фиксацией означает свою числовую величину. Респонденты могут выбрать «легко использовать» (1), «сложно использовать» (5) или значение между ними. Среднее значение ответов на этот вопрос покажет воспринимаемую сложность вашего приложения.
Можно создать собственные индивидуальные опросы или использовать одну из множества уже созданных анкет (например, System Usability Scale или Net Promoter Score). Преимущество этих опросников заключается в том, что вы можете сравнить свои результаты со средним значением по своей индустрии или с результатами конкурентов, и понять, как идут ваши дела.
Даже если вы создадите опрос индивидуально под себя, вы всё равно сможете отслеживать свою среднюю оценку за период времени, чтобы наблюдать улучшение продукта.
Кластеризация комментариев, полученных в качественном исследовании
- Применение: определение важных тем в качественных данных.
- Затраты: низкие.
- Сложность сбора: средняя.
- Сложность анализа: средняя.
- Тип метода: оценочное (что люди говорят).
- Контекст использования: любой.
Например, представьте, что вы проводите исследование методом дневника, и просите участников каждый день сообщать об их опыте использования вашего продукта в течение недели. Ваша цель — понять, в каком контексте они пользуются вашим продуктом. Вы можете посчитать количество раз, когда люди пользовались продуктом на работе, дома или в пути.
С помощью этого метода можно определить преобладание или частоту употребления какой-то конкретной темы или ситуации — например, как часто пользователь жалуется или как часто возникают проблемы UI.
Этот подход хорош, чтобы добывать числовые данные из большого количества качественной информации, но может требовать серьёзных временных затрат.
Оценка целесообразности
- Применение: определение качеств, которые ассоциируются с вашим продуктом или брендом.
- Затраты: низкие.
- Сложность сбора: низкая.
- Сложность анализа: низкая.
- Тип метода: оценочный (что люди говорят).
- Контекст использования: задачно-ориентированный.
Эти исследования могут быть индивидуально настроены в зависимости от предметов исследования, но сначала вы должны показать свой продукт участникам исследования (можно показать статичные изображения или попросить использовать ваш продукт или его прототип).
Затем вы должны попросить описать дизайн, выбрав варианты из списка ключевых слов. При довольно большой выборке можно заметить возникновение трендов. Например, вы можете заметить, что 84% респондентов описывают ваш дизайн как «свежий».
Айтрекинговое тестирование
- Применение: определение информативных, отвлекающих внимание, легко обнаруживаемых и прочих элементов UI.
- Затраты: высокие.
- Сложность сбора: высокая.
- Сложность анализа: высокая.
- Тип метода: поведенческий (что люди делают).
- Контекст использования: задачно-ориентированная.
Отслеживание взгляда поможет определить, на каких элементах контента и интерфейса нужно акцентировать внимание, а от каких — наоборот, его отвлечь, чтобы пользователи смогли достичь своих целей.
Посмотреть вложение 34344
С помощью айтрекингового ПО можно создать необходимые визуализации, используя совокупные данные (зелёные точки показывают, на какую часть интерфейса смотрели пользователи).
Самый большой минус в проведении айтрекинговых исследований — необходимость высокоспециализированного, непозволительно дорогого и в некоторой степени нестабильного оборудования, для использования которого требуется серьёзная тренировка.
Выбор метода
В этой таблице представлены сводные данные по тому, что обсуждалось выше.
Посмотреть вложение 34345
Начните с предмета исследования
Чтобы понять, какой количественный метод исследования использовать, определите предмет исследования. Что вам нужно знать? Некоторые из этих методик лучше подходят для очень общих предметов исследования.
- Как удобство использования нашего продукта изменилось с течением времени?
- Как мы смотримся на фоне наших конкурентов?
- Какие из наших проблем оказывают на продукт самое неблагоприятное воздействие? Как понять, чему уделить внимание в первую очередь?
Другие методики работают лучше, если у вас более конкретный вопрос.
- Как нам улучшить категории глобальной навигации?
- Что думает о нашем визуальном дизайне большинство наших пользователей?
- Какой из двух дизайнов следует использовать для информационной панели?
Однако не все наши рекомендации однозначны. Например, A/B-тестирование может не подходить вашей компании по соображениям безопасности или техническим причинам. Если это ваш случай, и вы не можете провести такой тип исследования, то проведите количественное юзабилити-тестирование с личным присутствием, так можно сравнить два прототипа. Однако это не типичный вариант применения количественного юзабилити-тестирования, поэтому мы не обсуждали здесь этот вариант.
Учтите затраты
После предмета исследования второй наиболее значимый фактор для выбора методологии — затраты. Все вышеперечисленные методологии будут сильно отличаться по затратам в зависимости от того, как вы будете их применять.
То, какие инструменты вы будете использовать, количество привлеченных участников, время, потраченное теми, кто будет проводить исследование, всё это повлияет на окончательные затраты. Ещё больше ситуацию усложняет то, что у команд могут быть совершенно разные бюджеты. Опять же, оценка затрат здесь очень относительна.
Команды с небольшим бюджетом могут полагаться на цифровые методы — удалённое юзабилити-тестирование, онлайн-платформы для сортировки карт, такие как OptimalSort, A/B-тестирование, веб-аналитика или аналитика приложений. Опыт показывает, что методы, предполагающие личное присутствие (такие как юзабилити-тестирование с личным присутствием, сортировка карт с личным присутствием), оказываются более затратными, потому что тот, кто проводит их, тратит гораздо больше времени.
Ещё для их проведения, возможно, потребуются затраты на проезд и аренду оборудования. Самая дорогостоящая методология в списке — айтрекинг. Поэтому её следует применять только тем командам, у которых большой бюджет и предмет исследования которых оправдывает использование этой методики.
Посмотреть вложение 34346
Эта таблица показывает, где обсуждаемые в этой статье количественные методы находятся с точки зрения их пригодности для предметов исследования с различными уровнями детализации (от общего к специальному).
Следующие шаги
Выбрав метод, изучите его. Сделайте домашнюю работу, чтобы спланировать и провести исследование так, как вам нужно, чтобы получить действительно полезные результаты. В разделе «Что почитать» в конце статьи можно найти ссылки на некоторые полезные сайты.
Учтите: нельзя просто собрать метрики и начать принимать решения, не проведя статистический анализ. Недостаточно просто собрать оценки пяти пользователей, взять среднее значение и пойти дальше.
У каждого метода, который мы тут обсудили, есть различные рекомендованные размеры выборки — количество данных, которые вам лучше собрать, чтобы получить достоверные результаты и определить статистическую значимость. Так что вам нужно достичь минимального размера выборки. А если вы не сможете это сделать, то не сможете и быть уверенными, что полученные результаты не являются случайностью.
Постарайтесь учесть и время, которое вам потребуется, чтобы исследовать актуальный статистический концепт, какой бы метод вы ни выбрали, а также стоимость получения корректной минимальной выборки. Я обещаю, что всё не так сложно, как кажется, и ради этих количественных данных стоит и потрудиться.
Что почитать
Количественное юзабилити-тестирование
- «Что такое статистическая значимость» (статья).
- «Что значит "статистически значимый"» (статья).
- «Количественные исследования: сколько пользователей надо тестировать» (статья).
- «Как вычислить доверительный интервал: пять простых шагов» (статья).
- «Доходность на вложенные средства для юзабилити» (статья).
- Доходность на вложенные средства для юзабилити, четвёртое издание (отчёт).
- «Когда и какой метод UX-исследований использовать» (статья).
- «Шпаргалка по UX-исследованиям» (статья).
- Калькуляторы размера выборки и доверительного интервала от Measuring U (инструмент).
Аналитика
- Измерение пользовательского опыта (однодневный курс).
- «Количественное или качественное юзабилити-тестирование» (статья).
- «Точность или наблюдение в количественном юзабилити-тестировании» (статья).
- «Как написать задания для количественных и качественных юзабилити-исследований» (статья).
- «Удалённое юзабилити-тестирование: модерируемое и немодерируемое» (статья).
- «Удалённые модерируемые юзабилити-тесты: как и зачем их делать» (статья).
- «Коэффициент результативности: самая простая метрика юзабилити» (статья).
A/B-тестирование или многофакторное тестирование
- Аналитика и пользовательский опыт (однодневный курс).
- «Аналитика или количественное юзабилити-тестирование» (видео).
- «Три способа использования аналитики в UX практике» (статья).
- «Пять ключевых аналитических отчётов для UX специалистов» (статья).
Сортировка карт
- Аналитика и пользовательский опыт (однодневный курс).
- «Внедряем A/B-тестирование» (статья).
- «Создаём сильный A/B-тест с помощью UX-исследований» (статья).
- «10 вещей, которые нужно знать об A/B-тестировании» (статья).
- «Многофакторное против A/B-тестирования: постепенные или радикальные изменения» (статья).
Тестирование «дерева» сайта
- Информационная архитектура (однодневный курс).
- «Сортировка карт: выявление типа мышления пользователей для улучшения информационной архитектуры» (статья).
- «Сортировка карт: Pushing Users Beyond Terminology Matches» (статья).
- «Сортировка карт: как лучше организовать предложение продукта» (видео).
- «Как уменьшить погрешность при сортировке карт» (видео).
Опросы и анкетирование
- Информационная архитектура (однодневный курс).
- «Тестирование "дерева" сайта: быстрая, циклическая оценка меток и категорий меню» (статья).
- «Тестирование "дерева" сайта. Часть 2: Интерпретируем результаты» (статья).
- «Использование метода тестирования "дерева" сайта для тестирования информационной архитектуры» (статья).
Кластеризация комментариев, полученных в качественном исследовании
- Методы исследования пользователей: всё от стратегии до требований к дизайну (однодневный курс).
- «Индекс лояльности NPS: измеряем воспринимаемое удобство использования с помощью SUS, NASA-TLX. Применение метода одного вопроса о сложности сценария после заданий и юзабилити-тестирования» (статья).
- «12 советов по тому, как подготовить хорошие задания для опроса» (статья).
- «Выверяем данные опросов и онлайн-исследований» (статья).
Оценка целесообразности
- «Пять примеров получения количественных данных из качественных» (статья).
- «Как расшифровывать и анализировать стенограмму комментариев» (статья).
- «Исследование методом дневника: долгосрочные поведение и опыт пользователя» (статья).
Айтрекинговые исследования
- «Оценка целесообразности: измеряем эстетический ответ на визуальный дизайн» (статья).
- «Тестируем визуальную привлекательность с помощью Microsoft Desirability Toolkit» (статья).
- «Слова, описывающие реакцию на продукт из Microsoft Desirability Toolkit» (статья).