«Неплохой» коэффициент конверсии

Как известно, в бизнесе не бывает статичных состояний. Предприятие должно постоянно развиваться, чтобы соответствовать текущей рыночной ситуации, потребностям клиентов и собственников. Остановив развитие, проект в ту же секунду начинает деградировать. Например, нельзя создать интернет-магазин, добавить на сайт 200 товаров и ежемесячно получать прибыль в сумме 100 тыс. рублей. Чтобы прибыльность проекта хотя бы не падала, предпринимателю необходимо постоянно расширять ассортимент, увеличивать охват аудитории с помощью рекламы и публикации полезного контента, улучшать поведенческие метрики сайта и коэффициент конверсии.

Одним из инструментов развития веб-проектов является A/B-тестирование. Этот метод позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики. Из этой статьи вы узнаете, как правильно проводить A/B-тестирование.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing - раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию . Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование - это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин . Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование - это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

Текст и внешний вид конверсионных кнопок, а также их расположение.
Заголовок и описание продукта.
Размеры, внешний вид и расположение конверсионных форм.
Макет и дизайн страницы.
Цену товара и другие элементы бизнес-предложения.
Изображения товаров и другие иллюстрации.
Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных сервисов. Наиболее востребованным из них является Content Experiments компании Google, доступный пользователям системы Analytics. До середины 2012 года этот инструмент назывался Google Website Optimizer. С его помощью можно протестировать различные элементы страницы, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.п. Сервис Content Experiments остается бесплатным, что относится к его основным преимуществам. К его недостаткам относится необходимость работы с HTML-кодом.

Также вы можете использовать для проведения сплит-тестирования следующие российские и иностранные инструменты:

Optimizely - наиболее популярный в буржунете платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США в зависимости от типа подписки. К преимуществам данного сервиса относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
RealRoi.ru - еще один отечественный сервис, который позволяет проводить А/Б-тестирование. Среди главных плюсов можно выделить то, что он бесплатен и очень прост в использовании. О том, как он работает, можно подробно посмотреть на следующем видео:

Visual Website Optimizer - платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость подписки составляет от 49 до 249 долларов.
Unbounce - сервис, предназначенный для создания и оптимизации лэндингов. В том числе, он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 50 до 500 долларов в месяц. Отечественный аналог - LPGenerator. Этот сервис позволяет тестировать только созданные с его помощью страницы.

Как провести A/B-тестирование с помощью Content Experiments

Сервис «Эксперименты» Google Analytics позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, маркетологи могут выполнять A/B/N-тестирования, отличающиеся от стандартных A/B-экспериментов возможностью следить за эффективностью нескольких новых страниц, каждая из которых может иметь несколько новых элементов.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Специалист может получать данные о результатах тестирования на электронную почту.

Чтобы провести сплит-тестирование с помощью Content Experiments, выполняйте следующие действия:

Войдите в аккаунт Google Analytics, выберите сайт, эффективность которого необходимо проверить. После этого выберите меню «Поведение - эксперименты».

Введите в соответствующую форму URL страницы, которую вы будете тестировать, и нажмите кнопку «Начать эксперимент».

Выберите название и цель тестирования. Определите процент трафика, участвующий в эксперименте. Решите, хотите ли вы получать оповещения о ходе тестирования на электронную почту. Нажмите кнопку «Далее» после выбора необходимых параметров.

Выберите варианты страницы, участвующие в тестировании. Добавьте их в соответствующие формы и нажмите «Далее».

Создайте код эксперимента. Если вы не знаете, как вставить его на страницу, выберите вариант «Отправить код веб-мастеру». Если вас не бросает в пот при упоминании HTML-кода, выберите вариант «Вставить код вручную».

Выбирайте «Вставить код вручную», если умеете обращаться с HTML-кодом

Скопируйте отмеченный на предыдущей иллюстрации код и вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега . После выполнения этого действия нажмите кнопку «Сохранить изменения».

Проверьте наличие кода тестирования на контрольной странице и нажмите кнопку «Начать эксперимент». Обратите внимание, код необходимо добавить только на контрольную страницу.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью сплит-тестирования

Выше неоднократно отмечалось, что A/B-тестирование помогает увеличить эффективность веб-страниц. Чтобы этот маркетинговый метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон страницы с голубого на салатовый.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
Добавьте на конверсионную страницу слова «бесплатно» или free. Конечно, аудитория знает, что подписка на рассылку является бесплатной. Но иногда слово free творит настоящие чудеса, ведь дармовой уксус сладок.
Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

Сплит-тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. Оба варианта должны иметь разные URL. После этого следует воспользоваться одним из сервисов для проведения сплит-тестов, например, Content Experiments. Оценку результатов тестирования можно проводить как минимум через две недели после запуска эксперимента.

Как вы считаете, стоит ли проводить A/B-тесты? В каких случаях этот маркетинговый метод остается бесполезной тратой времени?

kak-provodit-a-b-testirovanie

Купив тест на беременность инструкция которого находиться на упаковке, можно допустить ряд досадных ошибок, ведь место на пакетике ограничено и вся информация просто не умещается на ней. А на ранних сроках беременности это может привести к ложноотрицательному результату. Давайте рассмотрим, какие бывают тесты на беременность для домашнего применения и как ими пользоваться.

Тест на беременность — это простое и надежное устройство для определения хорионического гонадотропина человека (ХГЧ) — особого гормона, выделяемого плацентой при беременности.

Часть теста, которая контактирует с мочой адсорбирует исследуемый материал. Затем моча по капиллярам попадает на особую чувствительную матрицу. На матрицу нанесены белки, которые вступают в реакцию с ХГЧ. Если реакция произошла — на тесте, в зоне оценки результата проявляется соответствующий символ.

Срок беременности, на котором тест покажет положительный результат зависит от чувствительности теста, которая выражается в милли Международных единицах на 1 миллилитр (мМе/мл). В продаже можно встретить тесты с чувствительностью 10, 20 и 25 мМе/мл. Чем выше чувствительность (меньше цифра), тем раньше можно проводить тест.

Большинство тестов (20-25 мМе/мл) способны показать результат с первого дня задержки, самые чувствительные (10 мМе/мл) показывают результат на 7-10 день после зачатия (и имплантации). На 7-ой день задержки результат покажут абсолютно все тесты. Точность тестов, в лабораторных условиях, достигает 99% и выше. Точность теста не зависит от внешнего вида и цены.

Ложноотрицательный результат возможен в таких ситуациях:

Низкий уровень ХГЧ в моче (тест проведен слишком рано)
Индивидуальные особенности — иногда (более 10% случаев) имплантация плодного яйца затягивается до 17-го дня после полового акта
Накануне проведения теста было выпито очень много жидкости или были приняты мочегонные средства
Тест поставлен неправильно
Истечение срока годности теста
Упаковка теста не герметична

Ложноположительный результат возможен при:

Приеме лекарств, содержащих ХГЧ в 14-и дневный срок до постановки теста
При некоторых заболеваниях внутренних органов
Истечении срока годности теста
После родов, аборта или выкидыша некоторое время сохраняется повышенный уровень ХГЧ
После проведения теста прошло больше 10 минут

В любом случае, окончательную диагностику беременности должен проводить врач гинеколог.

2. Виды тестов

Тесты на беременность различаются, как уже было сказано выше, по своей чувствительности.

Следующее различие заключается во внешнем виде и способе проведения теста. Тест может быть классического вида — в виде тест-полоски (тесты первого поколения), они бывают различной ширины, может быть заключен в пластиковый корпус.

Тесты на беременность в пластиковом корпусе бывают с лакмусовой палочкой , ее необходимо погрузить в мочу, струйными (тесты третьего поколения) или кассетными (тесты второго поколения) — на них необходимо нанести несколько капель мочи.

Отдельно находятся электронные тесты на беременность. В зоне оценки результата электронного теста находиться жидкокристаллический экран и на нем появляется надпись-сообщение о том беременна женщина или нет.

Дополнительно электронные тесты могут показывать приблизительный срок беременности и/или определять уровень других гормонов, например лютеинизирующего, тогда в случае отрицательного результата, тест подскажет наиболее благоприятные дни для зачатия в следующем цикле. Есть возможность перенести полученные данные на компьютер.

Обычно, в комплекте к электронным тестам на беременность прилагаются сменные картриджи.

Цена тест полосок зависит от ширины самой полоски, чувствительности, дизайна и качества их упаковки (пакет или картонная коробочка).

Цена на тесты в пластиковом корпусе, зависит от чувствительности теста, дополнительных комфортных опций и бренда. Часто в наборе продается вся необходимая для постановки теста посуда (стаканчик, пипетка и прочее).

Давайте рассмотрим основные нюансы проведения теста на беременность.

Для большей ясности, предлагаю посмотреть видео.

Заключение

Вот мы и рассмотрели основные тесты на беременность и нюансы инструкций к ним.

Помните, что положительный тест на беременность не является достоверным признаком наступившей беременности. Для окончательной постановки диагноза обратитесь к Вашему гинекологу. Отрицательный тест при задержке менструации более 7-и дней — так же повод обратиться к врачу.

Благодарю за то, что поделились статьей в социальных сетях. Всего вам доброго!

С уважением, Елена Дьяченко

ОБЩИЕ ПРАВИЛА ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ.

ЭТИ ПРАВИЛА ПОМОГУТ ПЕДАГОГАМ-ПСИХОЛОГАМ, КЛАССНЫМ РУКОВОДИТЕЛЯМ, УЧИТЕЛЯМ И РОДИТЕЛЯМ

ПРАВИЛЬНО ПРОВЕСТИ ПРОЦЕДУРУ ТЕСТИРОВАНИЯ.

СОБЛЮДАЙТЕ ЭТИ ПРАВИЛА И ВСЕ ВАШИ РЕСПОНДЕНТЫ БУДУТ УДОВЛЕТВОРЕНЫ ПОЛУЧЕННЫМ РЕЗУЛЬТАТОМ.

Скачать:

Предварительный просмотр:

Общие правила тестирования

Избежать этических и других проблем и получить объективные результаты помогают общие правила тестирования, которые должны соблюдать любые профессиональные пользователи тестовых методик. Это следующие правила:

1. Любое сложное тестирование должно проводиться при участии специалиста по психодиагностике или при последующем его участии в качестве консультанта, прошедшего курс специальной подготовки и процедуру аттестации. Стандартизированными, теоретически и психометрически хорошо обоснованными методиками могут пользоваться не только практические психологи, но и грамотные в области психодиагностики менеджеры и другие руководители, социологи, учителя, врачи и т.д. Любой пользователь тестовой методики автоматически должен взять на себя ответственность за соблюдение всех требований профессиональной тайны и этики и стремиться исключить возможность не корректного использования тестов. Неверные выводы и рекомендации по итогам тестирования, неэтичное поведение его организатора способны лишь дискредитировать метод тестирования в глазах и испытуемых, и руководства организации.

2. Человека нельзя подвергать психологическому обследованию обманным путем или против его воли. Недопустимы никакие формы прямого или косвенного принуждения, нарушения прав личности (исключение могут составлять лишь случаи из судебной или психоневрологической практики).

3. Перед проведением тестирования испытуемого необходимо предупредить о том, что в ходе исследования он невольно может сообщить такую информацию о себе, своих мыслях и чувствах, которую сам не осознает.

4. Любой человек, за исключением случаев, оговоренных законом, имеет право знать результаты своего тестирования. Итоговые данные в доступной для понимания форме предоставляет испытуемым тот, кто проводил обследование. Ознакомление с результатами тестирования должно исключать их неправильное толкование или появление у испытуемых каких-либо опасений. При этом тестирующий обязан подчеркнуть, что выводы по тестированию носят вероятностный характер и являются относительно достоверными только при условии правильного проведения теста и полной откровенности испытуемых. Эта вероятность зависит от конкретной тестовой методики и при правильной организации процедуры тестирования колеблется в пределах от 60 до 80%.

5. При тестировании несовершеннолетних (прежде всего учащихся) право знать результаты имеют их родители или заменяющие их лица. Работа с этой категорией исследуемых требует особой внимательности и ответственности при выборе тестовых методик, информировании испытуемых и/или их родителей об итогах тестирования и даче им рекомендаций.

6. Результаты тестирования не должны травмировать исследуемого и/или снижать его самооценку. Поэтому их следует сообщать испытуемому в ободряющей форме, по возможности сопровождая их конструктивными рекомендациями.

7. Испытуемый должен быть информирован о целях тестирования и формах использования его результатов. Так, если целью тестирования является определение уровня психического развития человека при конкурсном отборе или при приеме на работу, то испытуемый имеет право знать не только о цели тестирования, но и о том, кем, где и какое решение может быть принято на его основе.

8. Тестирующий должен обеспечить беспристрастный подход к процедуре и результатам исследования. Общение с испытуемым должно быть доброжелательно-нейтральным, исключающим проявление какой-либо помощи в процессе тестирования, кроме той, которая служит правильному пониманию испытуемым инструкций.

9. Информация о результатах тестирования должна предоставляться только тем, кому она предназначается. Тестирующий обязан обеспечить конфиденциальность психодиагностической информации, полученной от испытуемого на основе «личного доверия» или в социометрических тестах. При беседе с испытуемым по результатам тестирования присутствие посторонних лиц должно быть исключено. Никто, кроме самого испытуемого и тестирующего, не имеет права доступа к результатам тестирования, изложенным в письменной форме. Для предотвращения утечки психодиагностической информации или ее неправильного использования должен быть исключен доступ к ней любых лиц, включая обучающий персонал и администрацию учреждения или учебного заведения. Психодиагностическая информация может сообщаться соответствующим лицам только по специальному запросу или в случаях, предусмотренных законодательством о судебно-медицинской экспертизе.

10. Тестирующий обязан хранить профессиональную тайну: не передавать случайным лицам инструктивные материалы, не раскрывать перед потенциальными испытуемыми секрет той или иной психодиагностической методики.

Эти правила должны быть учтены в любом профессиональном тестировании. Конечно, при использовании тестирования в учебных целях: определении уровня усвоения знаний, диагностировании степени коммуникабельности с последующим тренингом делового общения и т.п. – с согласия участников возможно некоторое отступление от вышеизложенных правил, например, публичное подведение итогов и открытое обсуждение путей самосовершенствования и развития студентов или руководителей, повышающих свою квалификацию.

источник:

Пугачев В. П. Тесты, деловые игры, тренинги в управлении персоналом: учеб. для студентов вузов. - М. : Аспект Пресс, 2003. - 285с. (с. 25-27)

Если вы емейл-маркетолог, то понятие сплит-теста вам наверняка знакомо. К A/B-тестированию мы обращаемся, когда нас одолевают сомнения насчет темы, цвета кнопки call-to-action и прочих важных элементов рассылки. Как сработает та или иная версия письма? Какая принесет больше отклика и дохода?

В этой статье мы обсудим, как правильно проводить сплит-тесты и каким результатам можно доверять.

Сплит-тестирование в стандартных письмах

С помощью сплит-теста сравниваются количественные показатели конверсии нескольких версий писем в одном сегменте получателей, и определяется победитель с наибольшим откликом.

Контент писем тестируется по следующим параметрам:

Формулировке темы, прехедера;
. длине или стилю текста;
. виду, величине, цвету шрифтов;
. цветовому оформлению и дизайну;
. оформлению кнопок;
. , видеороликов или статичного изображения;
. использованию динамического контента и персонализации;
. использованию ограничений по времени и тизеров;
. использованию таймеров и статичной картинки;
и другим элементам.

Отклик на письмо часто зависит от дня недели, в который оно отправлено. При этом одна и та же рассылка может активнее открываться в один день, а кликаться и приводить к покупке — в другой. Только эксперименты позволят выявить оптимальные день и час для общения с подписчиками. Время — отдельный показатель, поэтому одновременно с остальными элементами письма его тестировать не стоит. В своей практике мы часто сталкиваемся с — например, одновременно тестируются тема, персонализация и цветовое решение. Кажется, чем больше охватишь в одной версии, тем больше успеешь. Но на самом деле в емейле важен каждый компонент, и при таком тестировании неясно, что именно повлияло на итоговый результат.

Вариантов писем тоже не должно быть больше двух за одно исследование. Два письма — это почти всегда один победитель и один проигравший. Чем больше участников подключается к тесту, тем меньше разрыв между результатами и менее очевиден вывод. Кроме того, чем больше тестовых групп, тем меньше вероятность, что они будут однородны между собой и пройдут проверку А/А-тестом, про который мы поговорим ниже.

Регулярные сплит-тесты в автоматических цепочках писем

Помимо разовых тестов можно проводить регулярные сплит-тесты в цепочках сообщений, идущих по заданному сценарию. Идея заключается в том, что одни и те же письма могут с течением времени давать разные результаты. Если сегодня хорошо работает синяя кнопка, то это не значит, что и через неделю она также останется на лидирующих позициях. Регулярное тестирование позволит получать актуальную информацию о мнении подписчиков каждый день.

Что такое статистическая значимость и где ее взять?

В самих сплит-тестах нет ничего сложного, особенно при гибкой автоматизации сервисов для рассылок. Тем не менее, правильно провести исследование и получить какие-то цифры — еще не успех. Ключевой показатель сплит-теста — его статистическая значимость. Как узнать, был ли тест статически значимым и можно ли опираться на его результаты?

Как правило, уровень статистической значимости принято брать равным 95%, то есть в 95 случаях из 100 результат теста должен повториться при таком же наборе данных. Для каждой версии письма также рассчитывается доверительный интервал — диапазон значений, внутри которого лежит истинное значение измеряемой величины. Формула для расчета доверительного интервала громоздкая и пользуются ей только аналитики, но вкратце размер доверительного интервала зависит от количества участвующих в тестировании подписчиков, полученного результата и уровня статистической значимости. При увеличении количества подписчиков, участвующих в тесте, или при увеличении процента открытий и кликов у тестируемых писем доверительный интервал уменьшится.

В некоторых сервисах для рассылок статистическая значимость и доверительный интервал определяются автоматически. Это значит, что формулы и аналитик не понадобятся.

Небольшая хитрость для пользователей таких сервисов: если ползунки, отображающие доверительные интервалы, пересекаются по вертикали, версии считаются равнозначными, и письмо-победителя определить нельзя. Если ползунки не пересекаются и отдалены друг от друга — можно смело отправлять письмо-победитель оставшейся группе подписчиков.

А/А-тестирование

Допустим, мы соблюли все правила, чтобы результаты теста можно было признать значимыми, выбрали способ проведения сплит-теста, но все это может оказаться бессмысленным, если предварительно не провести А/А-тест. Редкий маркетолог знает, как и зачем его использовать.

При А/А-тестировании мы отправляем двум тестовым группам одно и то же письмо, но проверяем не контент или тему, а однородность базы подписчиков. Идея в том, что случайно выбранные части базы подписчиков должны показывать одинаковые результаты. Так, например, если при А/А-тестировании получились разные показатели открытий или кликов, базу пользователей можно считать неоднородной. Ее необходимо сегментировать до тех пор, пока результаты А/А-тестирования не будут приемлемыми.

Резонный вопрос — какой результат считается приемлемым? Здесь критерии успешности тоже основаны на статистической значимости, но они будут противоположны А/В-тестированию. Главное в А/А-тестах — чтобы результаты тестируемых писем не сильно отличались друг от друга, поэтому успешным будет такой тест, при котором доверительные интервалы будут пересекаться. И наоборот: если доверительные интервалы двух вариантов будут находиться далеко друг от друга, тест можно признать неубедительным.

А/А-тестирование не обязательно проводить часто — остаточно делать это один раз в месяц. Но, если вы тестируете клики, то каждый раз обращайте внимания еще и на открытия. Если они будут сильно отличаться в тестовых группах, то показатели кликов уже не имеют смысла.

Подытожим

Сплит-тест — оптимальный способ адаптировать емейлы для своей целевой аудитории. Он не требует особых денежных затрат, времени и отражает предпочтения ваших подписчиков. Однако по опыту могу сказать, что результаты любого сплит-теста - не вечны и работают в вашу пользу недолго. Выбор подписчиков может кардинально измениться в любой момент. Поэтому никогда не ленитесь лишний раз проверить, актуально ли исследование, которое вы проводили, к примеру, полгода назад.

Сергей Гудков , специалист по разработке и продвижению сайтов (более 160 сайтов и 250 сплит-тестов), руководитель Сonversion42

Андрей Осипов , сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»

Мы часто получаем запросы на тексты для А/В-тестирования. Для каких целей есть смысл его проводить?

А/В-тест можно проводить практически для любых изменений на сайте. Ведь тест – это возможность достоверно узнать, насколько они эффективны.

Если у вас страница с описанием услуги, то основной продающий контент – это именно текст. Посетители на основании текста принимают решение оставить заявку или нет. В данном случае текст является основным объектом тестирования:

какие характеристики указывать в тексте, а какие нет;
какие призывы использовать в тексте;
в каком стиле должен быть написан текст и т.д.

Запрос «текст для А/В-тестирования» звучит не очень. Лучше заказывать просто новый, более продающий текст. А измерять продающие характеристики текста можно с помощью тестирования.

A/B-тестирование для сайтов: нужно тестировать текст, дизайн, страницу в целом, «продающесть» текста или страницы?

Тестировать можно что угодно.

Если вы думаете, что кнопка «Купить» незаметна, тестируйте только изменение кнопки. Если вы сделали новый дизайн страницы, можно протестировать разницу между двумя дизайнами.

Иногда в тесте сравнивают два сайта. Это очень спорное занятие – если вам интересно, предлагаем обсудить этот вопрос на вебинаре более конкретно.

Можно тестировать и по одному элементу за раз, и сразу целые страницы. От чего это зависит? Всё очень просто. Если у вас есть 10/30/100 мелких изменений, и вы уверены, что каждое из них увеличит конверсию, совмещайте это всё в один тест. Если запускать их по отдельности, то делать даже 30 тестов – это может быть очень долго и не слишком эффективно. И наоборот. Если есть одно важное изменение, и вы сомневаетесь насчет реакции посетителей сайта на него, запускайте один тест на одно изменение.

Какие данные (максимум) можно получить при А/В-тестировании?

Смысл А/В-тестов крайне прост: делим посетителей на две группы – одной из них показываем вариант А, другой – вариант В.

Основным результатом теста считается разница между поведением пользователей. Например, мы хотим узнать, как изменится конверсия интернет-магазина.

Также при интеграции А/В-теста с системами веб-аналитики, в частности с Google Analytics, можно увидеть разницу в поведении по всем параметрам: глубина и время посещения, посещение конкретных страниц, показатели отказов, достижение всех целей и т.д.

Какие сервисы могут помочь правильно провести A/B-тест?

Правильность запуска всегда зависит от вас. Сервисы – это инструмент. Как молоток. Если вы умеете им пользоваться, то у вас всё получится. ☺

Самые распространённые сервисы для запуска А/В-тестов:

Google Analytics (бесплатный);
VWO (платный, https://vwo.com/ );
Optimizely (платный, https://www.optimizely.com/ ).

Для большинства потребностей хватает Google Analytics. Мы сами его часто используем и вам рекомендуем.

Сколько элементов можно тестировать за один раз? Правильно ли сравнивать 2 текста, в которых отличается более 1–2 элементов?

Да, можно. Самое главное, нужно понимать, как эти элементы повлияют на конверсию и почему. У вас должна быть рабочая гипотеза.

Когда вы проводите очень-очень много тестов, бывают моменты, когда идей и гипотез нет. Такой себе провал. В такие моменты можно тестировать по принципу «А давайте сделаем и поглядим… Интересно же». ☺

В А/В-тестировании самое ценное – это время и объем трафика. Иными словами, вы можете провести ограниченное количество тестов в ограниченное время. Поэтому простой сайта без теста – это растрата бесценного ресурса.

Какие условия должны соблюдаться для правильного А/В-тестирования? Какой минимум просмотров/визитов/уников?

Чтобы тест получился хорошим, должно соблюдаться достаточно много условий. Назовем основные из них:

Должен быть целевой показатель, например, общая конверсия интернет-магазина или лендинга, показатель отказов какой-то группы страниц, кликабельность кнопки «Купить» и т.д.
Тест должен завершиться победой одного из вариантов со статистической достоверностью. Это означает, что данный вариант с очень большой вероятностью действительно лучше.
Тест должен продолжаться ~2 цикла принятия решения о покупке. Например, известно, что девушки выбирают украшения около недели. Значит, минимальный срок теста составит 2 недели. В целом мы рекомендуем держать тесты от 1 до 3 недель.

Вопрос «А сколько надо трафика?» не совсем корректный. Длительность теста зависит от количества трафика и дельты целевого показателя. Например, тест с увеличением конверсии с 1% до 2% завершится быстрее, чем тест, где рост будет с 1% до 1,2%. Также тест на сайте с посещаемостью 1000 человек в сутки будет идти дольше, чем на сайте с 5000 посетителей.

Как интерпретировать полученные результаты для дальнейшей проверки гипотез?

Интерпретация результатов довольно проста. Выигравший вариант надо внедрить. ☺

В любом случае, независимо от результатов теста, вы обязаны оценить поведение людей на новом варианте. Это даст вам новые идеи для новых гипотез.

Какие главные ошибки допускаются при А/В-тестировании?

Ошибок много. ТОП-3 из них:

Тесты заканчивают раньше достижения статистической достоверности. Это может очень дорого стоить бизнесу. Внедряя изменения после таких тестов, вы не знаете, сделали вы лучше или хуже.
Тестируются необоснованные идеи, подсказанные уборщицей из соседнего офиса. По сути, впустую тратятся бесценное время сайта и ресурсы компании на подготовку и реализацию теста.
Не отслеживаются показатели во время теста. Часто бывает, что при запуске программисты ошиблись, и одна вариация работает с ошибкой. Если не контролировать тест, то узнать об этом можно через недели 2–3. Это пустая трата времени и ресурсов.