A/Б-тесты на сайте: что можно тестировать и как получать достоверные результаты

A/Б-тесты на сайте позволяют определить, какой вариант интерфейса приводит больше пользователей к целевому действию. Например: совершат они больше покупок с виджетом-счетчиком «За сегодняшний день этот товар приобрело Х пользователей» или когда такого виджета нет?

Пример виджета «За сегодня купили Х раз» на сайте бренда уходовой косметики Kerastase

В статье разбираемся:

• Какие механики можно протестировать
• Что нужно, чтобы провести тест
• Зачем нужен ААА-тест перед А/Б-тестом
• Как проводятся тесты
• Что нужно сделать, чтобы получить достоверные результаты

Какие механики можно протестировать

В CRM-маркетинге существуют десятки механик, чтобы стимулировать клиента к покупке или целевому действию. Разберем несколько показательных примеров.

Формы лидогенерации. Позволяют собирать базу контактов. Обычно выглядят как формы, в которых пользователя просят оставить email за определенную выгоду — подписаться и быть в курсе новых коллекций, получить разовый промокод на первую покупку или раздатку с эксклюзивным контентом. Такая форма всплывает, когда пользователь находится на сайте определенное время (это время можно задавать) или когда совершает определенные действия (например, клик или скролл).

Форма лидогенерации на сайте Email Soldiers. Чтобы получить pdf-раздатку, пользователю нужно оставить email

Подписки на пуш-уведомления. Подписываясь, пользователь получает всплывающие уведомления от бренда, например, о новинках и акциях.

Ниже — персонализированный пуш от Puma. Контент зависит от региона, в котором находится пользователь. Алгоритм предлагает перейти на сайт и приобрести продукт: например, если в регионе солнечно — это будут солнцезащитные очки, если резко похолодало — теплые вещи.

Пуш-уведомление от Puma

Системы обратных звонков. Пользователь может оставить свой номер телефона, чтобы представитель компании перезвонил — так можно быстро получить развернутую консультацию от специалиста.

Форма обратного звонка на сайте Tranio, международного брокера-недвижимости

Виджеты social proof. Это счетчики просмотров или действий. Рассказывают, например, сколько пользователей просматривают товар в данный момент, и стимулируют к покупке.

Виджет, отображающий количество просмотров на сайте ЦИАН

Чат-боты. Позволяют быстро решить задачу пользователя: например, получить консультацию или ответ на стандартный вопрос, выбрать нужный тип продукта, узнать больше о компании.

Чат-бот образовательных курсов Skull Cup в Telegram

Игровые механики. Это квизы, конкурсы, интерактивные виджеты и другие способы геймификации. Повышают вовлеченность, стимулируют совершить целевое действие благодаря увлекательности и предложению бонусов.

 

Адвент-календарь на сайте косметического бренда Kerastase

Все эти механики могут произвести вау-эффект и увеличить конверсию в покупку в разы, а могут, наоборот, отпугнуть потенциальных клиентов — например, если виджет слишком большой, агрессивный или навязчивый.

Понять, какая механика лучше сработает в случае с определенным продуктом и/или сегментом пользователей, помогают A/Б-тесты.

Что нужно, чтобы провести тест

1. Сайт, на котором будем проводить исследование, с заранее установленными Google Analytics и GTM.

2. Предмет тестирования. Например, виджет подписки или social proof.

3. Гипотеза. Это предположение, которое проверяем. Например, что выбранный вариант сработает эффективно — увеличит конверсию и не повлияет негативно на другие метрики (проведенное пользователем время на сайте, глубину просмотра, показатели отказов, количество и объем заказов).

4. Шаблон отчета. В нем будут фиксироваться все данные об исследовании: когда начали, сколько времени исследовали, какие результаты получили и какие выводы сделали. Отчет систематизирует данные и помогает корректно подвести итоги исследования.

5. Инструмент для проведения тестов. С этой задачей помогут справиться решения от Retail Rocket Segment Builder, Popmechanic, Bloomreach, Google Optimize и ABTasty. Мы используем наш сервис Lead Plan.

Зачем нужен ААА-тест перед А/Б-тестом

Название корректно, если сегментов три. Если их два, это будет называться АА-тестом и так далее.

ААА-тест — обязательный шаг перед тем, как провести А/Б-тест. Пользователям будут показаны страницы сайта без изменений. Основная задача ААА-теста — проверить, будет ли эксперимент с текущими настройками равномерно распределять пользователей на одинаковые по весу сегменты: например, с равным количеством мужчин и женщин, равномерной покупательской активностью и длительностью сессий. Также он проверит, за какой срок пользователи равномерно распределятся по сегментам.

Нельзя рандомно распределить пользователей по трем группам и сразу проводить А/Б-тест — в этом случае в сегментах равным будет только количество пользователей, а параметры, например, длительность сессии, частота покупок, количество заказов — разные.

Чем дольше длится тест, тем более точными будут цифры, а наполнение сегментов всё больше похоже друг на друга. Мы рекомендуем приступать к А/Б-тесту, когда разница между исследуемыми показателями сегментов не будет превышать 1–2%. Обычно, если бренд крупный и посещаемость сайта высокая, для этого требуется 1,5–2 недели.

Пример правильной сегментации — сегменты почти равнозначны, разница между ними не превышает 2%. Правило работает для каждого столбца-категории — для всех пользователей, новых пользователей и количества сеансов

Как проводятся тесты

Последовательность действий для А/Б-теста:

1. Добавляем на каждую страницу сайта код, который будет присваивать пользователям идентификационный номер сегмента (например, «Сегмент 1», «Сегмент 2» или «Сегмент 3»). Это же справедливо и для ААА-теста.

2. Таргетируем механику, которую хотим изменить, на конкретный сегмент.

3. Собираем данные в Google Analytics — по каждому сегменту в систему аналитики будут передаваться данные о поведении пользователей.

4. По итогам анализируем результаты. ААА-тест, проведенный заранее, позволит понять, с какого периода (пока сегменты станут равномерными) данные будут корректны.

Полные технические инструкции по проведению теста вы найдете в справке инструмента, который выберете. Например, вот инструкции Google Optimize.

Пример отчета с результатами А/Б-теста

Что нужно делать, чтобы получить достоверные результаты

1. Добавить код, присваивающий идентификаторы, на каждую страницу сайта, которая доступна посетителю. В противном случае пользователям, зашедшим со страниц без кода, не будут присвоены номера или будут присвоены позже реального захода на сайт — данные будут искажены.
2. Заранее настроить фильтр в Google Analytics, который исключает из статистики заданные IP-адреса. Туда должны входить IP-адреса офисов, колл-центров компании и отдельных сотрудников, которые часто заходят на сайт и используют его не как обычные пользователи.

   Например, если мы тестируем интернет-магазин, отфильтровать нужно менеджеров магазина, которые заходят на сайт десятки раз в день, — если в один сегмент попадет несколько менеджеров, в сегментации будет дисбаланс.

3. Разделить аудитории десктопной и мобильной версий и анализировать их отчеты отдельно. Механики и восприятие каждой версии отличаются друг от друга, мы рекомендуем проводить исследование с мобильной версией отдельно, даже если есть десктопная адаптивка.
4. Обращать внимание на экстремумы в статистике. Нельзя строить выводы, если график имеет слишко много экстремумов — показателей, выбивающихся из большинства. Точечно обращайте внимание на сильные отклонения: например, если один пользователь в одном из сегментов за месяц совершил 30 крупных заказов, что не свойственно никому из других сегментов — эти данные учитывать не стоит.
5. Правильно выбрать показатель для оценки результатов теста. Обычно эффективность нововведений оценивают по количеству совершенных заказов. Но если интернет-магазин небольшой, то, чтобы получить релевантное количество заказов и увидеть взаимосвязь, требуется больше времени. Например, если заказов 100 в день, равномерно по сегментам они могут распределиться и через месяц, и через два. А если использовать в качестве целевого действия не «Оформил заказ», а «Положил товар в корзину», данные можно собрать быстрее. Качество выборки будет схожим — призыв к действию сработал.
6. Не изменять параметры теста, когда он уже запущен. Например, вы тестируете новый заголовок. А спустя неделю заметили, что в нем есть орфографическая или смысловая ошибка, и решили ее поправить. В этом случае тест нужно проводить заново, данные полученные до изменения будут нерелевантными.

Источник статьи