Как провести сплит тест

Обновлено: 10.01.2025

Социальные сети — мощный маркетинговый инструмент, который, позволяет создавать уникальную рекламу для взаимодействия с аудиторией. Для того чтобы определить самые эффективные объявления, вам не обойтись без А/В-тестирования (или других видов). В этой статье мы разберемся, как тестировать креативы, на что обращать внимание и как оценивать результат.

Универсальных рекомендаций и идей для создания идеальных креативов, к сожалению, не существует. Тренды стремительно сменяют друг друга, у пользователей появляются новые потребности, вкусы и привычки, аудитории постепенно выгорают. Разумеется, в такой гонке сложно поддерживать эффективность рекламы, контролировать конверсии и подогревать интерес пользователей, ориентируясь исключительно на интуицию. Надо выяснить, какие креативы сработали и понравились аудитории.

И тут к вам на выручку приходит А/В-тестирование — один из самых важных этапов запуска любой рекламной кампании. С его помощью вы определите, какие комбинации креативов/таргетингов “выстреливают”, и на основании этой информации внесете изменения в свои объявления, а за одно пощадите бюджет.

А/В-тестирование — способ получения статистической информации, на основании которой вы сможете скорректировать дальнейшую стратегию.

С главным разобрались, теперь можно переходить к переменным, которые следует проверить.

Какие существуют методы тестирования

При выборе того или иного метода тестирования необходимо учитывать несколько важных факторов: стратегию, бюджет, особенности продукта и ниши, а также площадку, на которой вы хотите запустить рекламу.

Многие специалисты рекомендуют выделять на тестирование 25-30% бюджетных средств, и мы также придерживаемся этого мнения.

Если в сплит-тестирование заложить слишком маленький бюджет, вы не получите объективных статистических данных, соответственно, мероприятие не сможет выполнить свою основную задачу. Если же вы потратите слишком много средств на этапе тестирования, то рискуете перестараться — для достаточного количества показов наиболее эффективного объявления оставшегося бюджета может не хватить.

Существует три варианта тестирования креативов:

Одновременное

Создайте несколько объявлений и подберите для них одинаковую аудиторию. В настройках задайте равный временной промежуток и показы для всех креативов. По итогам тестирования сравните, на какой вариант лучше отреагировали пользователи (при этом ориентируйтесь на значение CTR).

Последовательное Если вы хотите воспользоваться этим методом, создайте разные варианты объявлений, которые собираетесь протестировать, и запустите их подряд, например, со временным промежутком в несколько часов.

Сплит-тестирование

Стандартное А/В-тестирование предполагает, что во время эксперимента аудитории разбиваются на две части и не пересекаются. Не обязательно ограничиваться двумя креативами, их может быть намного больше (соответственно разбиваются и аудитории). Главное преимущество такой методики — более объективная выборка юзеров. Для сплит-тестирования понадобится больше времени и средств, чем в описанных выше способах, но оно поможет получить точную статистику.

Что тестировать

Как отмечалось выше, сплит-тестирование — это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

• Текст и внешний вид конверсионных кнопок, а также их расположение.
• Заголовок и описание продукта.
• Размеры, внешний вид и расположение конверсионных форм.
• Макет и дизайн страницы.
• Цену товара и другие элементы бизнес-предложения.
• Изображения товаров и другие иллюстрации.
• Количество текста на странице.

Какими инструментами пользоваться при А/В тестировании?

Для выполнения А/В тестирования необходимо воспользоваться специализированным сервисом, который позволит правильно разметить аудиторию и собрать статистические данные.

Наиболее популярным инструментом для А/В тестирования считается Google Analytics Experiements. С его помощью можно протестировать разные компоненты страницы и настроить полную автоматизацию эксперимента. Сервис бесплатный, но здесь необходимо работать в редакторе HTML.

Для проведения сплит-тестирования также можно применять:

Для проведения А/В тестирования рассылки можно воспользоваться сервисом UniSender. Он позволяет не только создавать серию электронных писем, но и тестировать их неограниченное количество раз.

Что такое A/B-тестирование и как его проводить

Бизнес не стоит на месте – чтобы выжить, нужно развиваться. Если остановить этот процесс, проект начнет деградировать. Часто приходится что-то менять – расширять ассортимент, увеличивать рекламный охват аудитории, улучшать дизайн сайта, добавлять новый, повышать конверсию. Как узнать заранее, что принесут эти новшества?

Одни из инструментов, помогающий развитию веб-проектов – A/B-тестирование. С его помощью можно проверить свои гипотезы и экспериментально оценить предпочтения посетителей – чтобы принять решение о том, стоит ли что-то менять или лучше оставить как есть.

Рассказываем, как это работает.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных инструментов. Один из наиболее востребованных – сервис Google «Оптимизация» (до августа 2019 назывался Content Experiments), который является теперь частью новой платформы для маркетологов Google Marketing Platform. С его помощью можно тестировать элементы страниц, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т. п. «Оптимизация» бесплатна для малого бизнеса и в этом ее большое преимущество по сравнению с конкурентами.

Также можно использовать для проведения сплит-тестирования следующие инструменты:

— наиболее популярный в «буржунете» платный сервис A/B-тестирования. Стоимость его использования не публикуется – для уточнения нужно связаться с отделом продаж. К преимуществам относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц. — платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость месячной подписки VWO составляет от 99 до 999 долларов. – сервис, предназначенный для создания и оптимизации лэндингов. В том числе он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 79 до 399 и более долларов в месяц. Является аналогом отечественного LPGenerator и тоже позволяет тестировать только лэндинги, сделанные в нем самом.

Как провести A/B-тестирование с помощью Google Optimize

Сервис «Оптимизация» Google Marketing Platform позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, можно проводить A/B/N-тестирование, которое отличается от стандартных A/B-экспериментов проверкой сразу несколько гипотез вместо двух.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Результаты можно наблюдать в личном кабинете или получить по e-mail.

Чтобы провести сплит-тестирование с помощью «Оптимизации» сделайте следующее:

1. Войдите в аккаунт Google Marketing Platform, откройте сервис «Оптимизация» и создайте свой первый проект. Дайте ему название, укажите URL базовой страницы, копии которой будут тестироваться и выберите режим «Эксперимент A/Б».

1. Зайдите в созданный проект и продолжайте его настройку в соответствии с планом, предлагаемым в подсказке. Последовательно выполните все пункты от 1 до 5.

1. Сначала создайте экспериментальные варианты и добавьте правила таргетинга. Для работы установите в браузер Chrome расширение «Оптимизация» из официального магазина Google. Оно позволяет визуально отредактировать изменения на страницах.

1. Укажите, при переходе на какие URL пользователь будет видеть измененные варианты страницы. Можно задать несколько условий проверки. Главное, не забыть их сразу протестировать, чтобы не было ошибки.

1. Настройте целевую аудиторию. Например, изменения на странице будут показаны только посетителям из Москвы.

1. Выберите стандартные или создайте собственные цели эксперимента. Они должны быть связаны с Google Аnalitics.Например, нас может заинтересовать в виртуальном эксперименте, как зависит количество просмотренных статей блога от цвета фона заголовка h1 на главной. Исследуем, серый или фисташковый?

Еще важный момент – определить, какая часть трафика будет участвовать в эксперименте. По умолчанию используется все 100 %, а если у вас, как у «Текстерры», миллион уникальных посетителей в месяц – вполне хватить и 20–30 тысяч. А значит, выбираем 3 %.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing — раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию. Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование — это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин. Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

7 мифов о сплит-тестировании

Несмотря на очевидные преимущества сплит-тестирования, некоторые противятся их проведению. Развеем популярные мифы о сплит-тестах.

Миф № 1: «Большинство сплит-тестов показывает негативный результат, а значит мы только потеряем деньги»

Действительно, многие тестируемые версии оказываются менее эффективными, чем исходная. Но неверно говорить, что вы будете постоянно терять деньги из-за отрицательных тестов. Тест ограничен во времени, поэтому снижение продаж будет коротким. Зато положительный тест обеспечит увеличение дохода на долгий период — месяцы или годы, что многократно перекроет потери. Кроме того, даже во время негативного теста вы узнаете что-то такое, что позволит впоследствии вырасти в доходах.

Миф № 2: «Сплит-тестирование — это не срочный вопрос»

Иногда проведение сплит-тестов откладывают, даже понимая все преимущества — кажется, что есть более приоритетные вопросы и проблемы. Но откладывая сплит-тестирование, вы потеряете время и отстанете от конкурентов. А еще тесты могут дать инсайты, которые необходимы вам для решения тех самых приоритетных проблем.

Миф № 3: «Split testing — это слишком дорого»

Сплит-тестирование поможет получить больше прибыли при тех же расходах. Поэтому не заниматься им — то же самое, что не заниматься маркетингом. Отсутствие split testing обойдется дороже.

Миф № 4: «Сплит-тестирование отнимает много времени»

Да, сплит-тесты требуют времени, но они не тормозят развитие бизнеса. Напротив, вы будете внедрять только целесообразные изменения, а значит проект будет расти быстрее.

Миф № 5: «Мы хотим инвестировать в трафик»

Если у вас есть хотя бы небольшой трафик, разумнее работать над увеличением конверсии посредством split testing, чем привлекать посетителей, которые не будут покупать.

Миф № 6: «У нас низкая посещаемость»

Если посетителей мало, то проводить статистически значимые сплит-тесты действительно непросто, но возможно. Для небольшого сайта сплит-тестирование не менее важно, потому что нужно получить максимум из немногочисленных посещений. Как проводить тест при низкой посещаемости, вы узнаете из статьи.

Миф № 7: «Результатам сплит-теста нельзя доверять»

Если соблюдать правила, о которых мы расскажем ниже, то вы точно получите надежные результаты.

Что такое сплит-тестирование (a/b split-testing)

Создайте рассылку в конструкторе за 15 минут. Отправляйте до 1500 писем в месяц бесплатно.

Сплит-тестирование (А/В тестирование, a/b split-testing) – это метод, который применяется для оценки эффективности веб-страниц. А/В тесты позволяют повысить конверсию целевых страниц, подобрать заголовки, контент в электронной рассылке, простимулировать сбыт и повысить доходность интернет-проекта.

Метод split-testing носит практический характер, поскольку при эксперименте оцениваются количественные показатели функционирования тестируемых страниц. На основании полученных результатов подбираются способы улучшения.

Какие элементы можно тестировать?

А/В тестирование (a/b split-testing) – прикладной метод, который позволяет влиять на метрики Интернет-ресурса и рассылки. Поэтому выбор компонента тестирования зависит от ваших целей и задач.

Фактически каждый элемент веб-страницы, конвертирующий посетителя в клиента, может быть протестирован. В классическом варианте тестируют изменения одного компонента. Но существует мультивариантное А/В тестирование нескольких измененных элементов.

Чаще всего тестируются такие элементы:

• заголовки, подзаголовки;
• тексты, описания продуктов;
• количество контента на странице;
• изображения;
• внешний вид и текст СТА-кнопок;
• отзывы;
• регистрационные формы;
• дизайн и макет страницы;
• цены, акции, условия доставки и другие бизнес-компоненты.

Сплит-тестирование в интернет-магазинах с низкой посещаемостью

Мы писали о важности размера выборки, поэтому вам могло показаться, что А/Б-тестирование — неподходящий инструмент для небольших интернет-магазинов. Но даже если трафик небольшой, вы можете извлечь пользу из тестирования:

Как и зачем тестировать разные варианты страниц

A/Б тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. После этого следует воспользоваться одним из сервисов для проведения экспериментов, например, «Оптимизацией» Google. Оценку результатов можно проводить как минимум через две недели после его запуска.

Кстати, экспериментальная проверка маркетинговых гипотез с помощью А/Б тестирования – одна из составляющих работ по комплексному продвижению в интернете от TexTerra.

Что такое сплит-тестирование (split test)

Сплит-тестирование — маркетинговый инструмент для прогноза результативности изменений на сайте с целью улучшения показателей эффективности его работы. Пользователям демонстрируют разные варианты страницы и оценивают, какой обеспечивает лучший результат. Например, показывая половине пользователей карточку товара с одним заголовком, а второй половине с другим, вы выявите более удачный заголовок. Затем можно протестировать прочие элементы страницы — призывы, кнопки, цены — и постепенно создать идеальную карточку товара.

Зачем нужно А/В тестирование?

Представьте, что вы запустили образовательный проект. На сайте собирается определенный трафик и просматривается некая активность. Конверсионность посадочной страницы составляет 3%, но вы желаете увеличить показатель эффективности до 6%. Предполагаете, что, изменив цвет СТА-кнопки с нейтрально зеленого на яркий оранжевый, сделаете призыв к действию более заметным.

Просто изменить цвет в текущей версии посадочной страницы нельзя. Ведь ваше решение интуитивное, а также вы не можете знать, понравится ли оно пользователям Интернет-ресурса. Чтобы проверить свою гипотезу, вам следует создать тестовый вариант страницы и посмотреть, приведет ли оранжевый цвет кнопки к увеличению конверсии и продаж.

Таким образом, А/В тестирование позволит:

• узнать влияние отдельных компонентов страницы и рассылки на поведение, привычки и потребности пользователей;
• исключить субъективность в принятии решений и возможные факторы риска;
• сконцентрировать финансовые и трудовые ресурсы на уже работающих для вашей аудитории элементах;
• улучшить конверсию любого действия и экономических метрик (объем выручки, величину среднего чека и т.д.).

Что можно тестировать

• Тему письма. Какая тема лучше работает: с персонализацией или без, длинная или короткая. Нужен ли знак вопроса в конце темы. Стоит ли добавить призыв к действию.
• Прехедер (начальный текст, который отображается в некоторых сервисах рядом с темой). Какой вариант прехедера лучше работает.
• Отправителя. Можно протестировать, как люди реагируют на разные адреса и отправителей. Например, как ваши клиенты открывают письма от Ивана Рождественского, Ивана Анатольевича и Ивана (UniSender).
• Время отправки. В какое время лучше отправлять рассылку.
• Заголовки и подзаголовки. Нужны ли. Как влияют на переходы.
• Длину текста. Какой текст сработает лучше: длинный или короткий?
• Оформление письма. Считаете, что лучше писать клиентам зеленым цветом на красном фоне? Это тоже можно протестировать:). А если серьезно, то тут широкий круг для экспериментов.
• Картинки. Нужны ли они. Какие варианты дают более высокую конверсию.
• Что лучше: ссылки или кнопки.
• Сколько ссылок нужно в письме.
• Где лучше расположить ссылки.

Провести A/B-тест

Первое правило маркетолога — «Тестируй». Только с помощью тестов можно понять, получаете ли вы максимум от своих рассылок или их можно улучшить.

Как провести сплит-тестирование?

При проведении А/В тестирования не стоит руководствоваться исключительно опытом и интуицией. Такой подход не принесет должного результата, а время и ресурсы будут потрачены впустую. Здесь применима определенная методология, которая включает следующие этапы:

1. Определяете цель А/В тестирования и показатели, которые хотите улучшить.
2. Анализируете свой веб-проект при помощи инструментов Google Analytics и определяете, как именно посетители взаимодействуют с вашим сайтом, электронными письмами и т.д.
3. Формулируете гипотезы оптимизации. Например, решаете поднять форму подписки вверх сайта и изменить цвет конверсионной кнопки.
4. Проставляете приоритеты гипотез - определяете наиболее значимые элементы, изменение которых приведет к максимальному результату.
5. Проводите А/В тестирование важных гипотез. Например, определяете количество подписок на ресурс при изменении месторасположения регистрационной формы и цвета кнопки призыва к действию.
6. Анализируете результаты А/В тестирования и делаете выводы. Если конверсия повысилась, то ваша гипотеза верна. Если существенного роста не наблюдается, возвращаетесь к пункту 3 и составляете новый список идей улучшения.
7. Делитесь результатами сплит-тестирования со всеми участниками оптимизации проекта.

Главное в этом процессе - не делать поспешных выводов. Когда вы получили первые данные А/В тестирования, которые вас удовлетворяют, есть большой соблазн прекратить эксперимент. Спешить не следует, потому что значения основных показателей могут меняться на протяжении нескольких дней.

Для сравнения случайных параметров оценивают средние показатели, поэтому потребуется 7–14 дней для накопления сведений. Следует отметить, что чем большая емкость сегмента, тем меньше разброс суточных показателей. При небольшом трафике тестирование может занять больше времени.

Сплит-тестирование – полезный инструмент маркетинга. Он позволяет оценивать результативность веб-проектов и разрабатывать эффективную маркетинговую стратегию бизнеса.

Виды сплит-тестов: A/B и A/A-тестирование, многовариантный тест и тест с исключением

Сплит-тестирование — общее название для разных вариантов тестов. Какой тест использовать зависит от того, что вы хотите выяснить и на каком этапе оптимизации интернет-магазина находитесь.

A/B-тестирование

A/B-test — самый популярный вид тестирования, при котором контрольная страница сравнивается со своей новой версией. Если изучается несколько версий страницы, то тест называется A/B/n-тестом.

Многовариантный тест (MVT)

Во время MVT сравнивается контрольная страница со страницами, в которых меняются несколько элементов, размещаемые в разных комбинациях. Например, можно проверить несколько заголовков и изображений в карточке товара, и определить лучшую комбинацию. MVT-тестирование позволяет быстро получать результаты, но требует существенно большего трафика, чем обычное A/B-тестирование, в связи с чем неприменимо для многих сайтов.

Многовариантный тест (MVT)

Тест с исключением

Тест с исключением позволяет прятать элементы страницы и смотреть, как это сказалось на конверсии. Если конверсия увеличилась, значит элемент мешает продажам. Иногда результат такого тестирования может удивлять. Например, наличие гарантии возврата денег обычно повышает конверсию. Но тест с исключением для сайта, продающего игрушки, показал, что без отображения блока с гарантией конверсия выше. Покупателями часто выступали бабушки и дедушки, и наличие гарантии заставляло их сомневаться в качестве игрушки и отказываться от покупки. В тестах с исключением элементы тестируют по очереди.

А/А тестирование

A/A-тест — сравнение двух одинаковых страниц с целью убедиться, что инструмент работает правильно. Иначе можно получить неверные показатели при A/B-тестировании, неадекватное отображение страницы или преждевременное завершение теста. Для запуска А/А-теста не нужно менять элементы, главное выбрать страницу с высоким трафиком, на которой посетители смогут совершать покупки.

Недостаток A/A-тестирования состоит в том, что оно занимает много времени, которое можно было бы потратить на реальный A/B-тест. У экспертов нет однозначного мнения на этот счет — одни рекомендуют проводить А/А-тестирование, другие — не рекомендуют. Компромиссный вариант — проводить A/A/B-тест или А/А тест, но только при использовании нового сервиса для тестирования.

Что проверять в рамках сплит-тестирования

Маркетологи спорят и том, какие изменения тестировать — небольшие или радикальные. Рассмотрим особенности обоих подходов.

Небольшие изменения при А/Б-тестировании

Методика предполагает, что изменения проводятся последовательно, постепенно обеспечивая рост показателя KPI магазина. Недостаток методики в том, что при небольших изменениях эффект не слишком заметен — иногда кажется, что результаты неопределенные, сложно получить однозначные инсайты.

Изменять можно любые элементы сайта интернет-магазина:

• заголовки;
  
• подзаголовки;
  
• описание товаров и инфографику;
  
• содержание и объем текста;
  
• вид и расположение кнопок, форм, СТА;
  
• фото и видео;
  
• наличие отзывов и их представление (текст или видео);
  
• отображение цен;
  
• условия доставки;
  
• наличие гарантии;
  
• скидки;
  
• возможность попробовать продукт.
  

Что бы вы ни тестировали, сравнивать результаты стоит по трем показателям:

1. конверсия;
   
2. экономика — средний чек, объем выручки или число продаж, cредний доход на пользователя (ARPU);
   
3. поведенческие факторы — глубина просмотра страницы, средняя продолжительность нахождения на сайте, показатели отказов, коэффициент удержания.
   

Радикальные изменения при А/Б-тестировании

При радикальных изменениях, например, полном редизайне страницы, наблюдается более заметная разница в результатах. Но методика не дает понимания, что именно способствовало или препятствовало их достижению. Радикальные изменения требуют больше времени для формулирования гипотез, создания прототипа и разработки. Если изменения дают позитивный результат, то это окупается. В ином случае — нет.

Какой подход выбрать? Постарайтесь найти баланс. Сначала проводите постепенные изменения и их тестирование, а если это не приводит к выраженным результатам, пробуйте внедрять радикальные. Также радикальный подход стоит использовать, если дизайн или структура исходной страницы ограничены для изменений или если прекращается прирост KPI по первому методу. Можно попробовать найти новый эффективный шаблон и снова постепенно его улучшать.

Как избежать распространенных проблем при А/Б-тестировании

Идеи, эффективность которых стоит обязательно проверить с помощью A/Б-тестирования

Мы уже говорили, что тестирование помогает увеличить эффективность веб-страниц. Чтобы этот метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон заголовка главной страницы, как в прошлом примере.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

• Используйте конверсионную форму, которая остается перед глазами посетителя при прокрутке страницы. Например, эта форма может быть неподвижно «прикручена» к верхней части экрана, как навигационное меню Facebook.

• Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
• Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
• Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
• Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
• Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Сплит-тестирование (А/В-тестирование): об инструменте от А до Я в разрезе задач e-commerce

Любой e-commerce проект должен постоянно развиваться, а значит внедрять изменения. Но как заранее понять, каким образом эти изменения скажутся на конверсии и других важных показателях? Один из инструментов, без которого не обойтись в электронной коммерции — сплит-тестирование, в частности А/В-тестирование. Расскажем, что такое сплит-тест, зачем и как проводить сплит-тестирование сайта, развеем популярные мифы.

Содержание

Как провести A/B тест

Предположим, что мы хотим узнать, какая кнопка в письме даст больше переходов:

• 1-й вариант — синяя;
• 2-й вариант — красная.

Так выглядит кнопка в письме:

Чтобы протестировать цвет кнопки, создайте копию письма. Для этого зайдите в раздел «Рассылки» — «Письма».

Нажмите «Создать копию» напротив нужного письма, а во всплывающем окне — «К копии».

В скопированном письме нажмите на вкладку «Создать письмо».

Поменяйте цвет кнопки в редакторе, нажмите «Сохранить».

Теперь перейдите на вкладку «Ввести тему и адрес».

Для наглядноти мы поменяли тему письма на «Письмо с красной кнопкой». В случае реального теста этого делать не стоит, так как тема тоже влияет на результат. Следуйте правилу: один тест — одна гипотеза.

Перейдите к созданию сплит-теста. Для этого выберите в меню «Рассылки» — «A/B-тест».

Откроется страница с параметрами сплит-теста.

На этой странице:

1. Укажите название сплит-теста.

2. Выберите список для отправки сплит-теста.

3. Выберите варианты писем. В UniSender можно протестировать до 10 вариантов одновременно.

4. Выберите тип сплит-теста:

• Без ожидания финальной части. В этом случае все получатели распределятся равномерно между письмами, участвующими в сплит-тесте.
• С ожиданием финальной части. A/B тест проводится на определенной доле подписчиков. Остальным отправляется письмо, которое покажет лучший результат.

5. Укажите параметр, по которому будет определен победитель (если выбрали тип «С ожиданием финальной части»):

• с максимальным количеством переходов (тестируем цвета кнопок, расположение ссылок);
• с максимальным количеством открытий (тестируем время отправки, тему письма);
• выбрать победителя вручную.

В примере мы тестируем, на какую кнопку пользователи больше кликнут, поэтому выберем «С максимальным количеством переходов».

6. Укажите долю аудитории для теста . В нашем примере выберем 20% от общей аудитории: 10% получат первый вариант, другие 10% — второй. Контакты выбираются случайно. После завершения сплит-теста автоматически определится письмо-победитель, и остальные 80% аудитории получат лучший вариант письма. Если установлен параметр «Выбрать победителя вручную», победителя нужно будет определить самостоятельно.

7. Установите время тестирования. Рекомендуем указывать не менее 3-х часов. Это оптимальное время, за которое люди открывают письма. Если аудитория неактивная (редко проверяет почту), то укажите максимальный промежуток времени — 24 часа.

Готово! Сплит-тест создан.

Результаты сплит-теста можно увидеть в отчете. Чтобы посмотреть отчет, выберите «Рассылки» — «A/B-тест».

Кликните на нужный сплит-тест, и вы увидите отчет и статистику по каждому письму.

Зачем проводить сплит-тесты

Сплит-тестирование — это надежный способ принятия важных решений в бизнесе, так как он базируется на реальных данных. Нельзя спрашивать пользователей как бы они себя вели — нужно ориентироваться на реальное поведение. Так вы будете принимать решения рационально, с уверенностью в результате.

Проведение split testing поможет:

• проверять предположения и гипотезы перед внедрением изменений, тем самым снизив риски нововведений, которые негативно скажутся на конверсии;
  
• понять пользователей и их потребности, улучшить юзабилити и дизайн сайта, поведенческие факторы;
  
• извлекать из трафика максимум пользы, уменьшив показатель отказов и количество брошенных корзин и увеличив продажи.
  

Как работает А/В тестирование?

Механизм метода А/В тестов достаточно прост – вы разделяете всех посетителей ресурса на группы и направляете на две разные страницы. Половине пользователей вы показываете контрольную страницу А, а другой – измененную страницу В.

При этом важно учитывать все каналы трафика (социальный, поисковый, рекламный, email) и делать замеры в одно время. Желательно также снизить влияние внутренних факторов – любых действий операторов call-центра, сервисной службы, модераторов ресурса, сотрудников редакции и т.д. Помогут вам в этом специальные фильтры в Google Analytics.

Алгоритм проведения A/B тестирования

A/B-тестирование можно провести по следующему алгоритму:

1. Оценка ресурсов

Оцените, насколько вы готовы проводить А/Б-тестирование. Это хороший инструмент, но он требует стабильного и высокого трафика, конверсий, налаженной системы аналитики и навыка формулирования гипотез. Без осознанного и системного подхода нет смысла тратить ресурсы.

2. Выбор страницы и элемента для А/Б-тестирования

Выберите наиболее важную страницу для показателя, который хотите улучшить. Найдите слабые места — элементы, изменение которых потенциально принесет больше конверсий. Для этого воспользуйтесь:

• инструментами веб-аналитики;
  
• тепловой картой кликов в Яндекс Метрике;
  
• данными, полученными из анализа обратной связи;
  
• данными из опросов и глубинных интервью.
  

Затем определитесь, в каком порядке будете тестировать элементы — начать нужно с тех, которые с большей вероятностью могут положительно повлиять на метрику.

3. Определение метрик и постановка цели для A/B testing

Для интернет-магазинов лучшей метрикой является доход на посетителя (RPV), а не конверсия, так как в случае покупки дешевых товаров даже при высоком коэффициенте конверсии доход может быть ниже, чем при покупке дорогих товаров и низком коэффициенте конверсии. Важно изучать доход от всего сайта, а не только процент его прироста, который считает платформа для сплит-тестирования.

Если трафик низкий, вместо RPV можно опираться на коэффициент конверсии, число добавленных в корзину позиций, количество посещений карточки товаров и другие. Выбрав основную метрику, вы можете поставить четкую цель тестирования — например, «Увеличить доход на 10%» или «Поднять конверсию до 3%».

Чтобы получить максимум инсайтов, отслеживайте и второстепенные показатели — средний чек, показатель отказов, время на сайте и другие. Но не используйте их для оценки результатов теста, если его нельзя оценить по основному показателю. Используйте их только для объяснения результатов основного показателя.

4. Формулирование гипотезы

Гипотеза — прогноз роста продаж после определенных изменений, который основывается на изучении поведения клиентов и обратной связи. Если после проверки гипотезы растет выбранная метрика, гипотеза считается подтвержденной.

Формулирование «правильных» гипотез отличает систематическую оптимизацию с помощью А/Б-тестирования от простого проведения набора тестов. Хорошо сформулированная гипотеза помогает лучше узнавать клиентов, даже если она не подтвердилась. Отрицательный результат побуждает к размышлениям и новым гипотезам.

Пример гипотезы: «Добавление функции бесплатной доставки в карточку товара увеличит конверсию». Важно понимать, какое положение дел сейчас, и какого результата вы хотите достичь.

5. Создание варианта В для сплит-тестирования

Определившись с тестируемым элементом, целями и метриками, можно перейти к созданию варианта В. Важно внести только одно изменение в выбранный элемент. Например, если вы решили протестировать кнопку «Добавить в корзину», меняйте только одну характеристику — цвет, расположение, размер или текст на кнопке. Остальные характеристики должны остаться неизменными.

Если вы запланировали радикальные изменения, например, полный редизайн, перед сплит-тестом нужно сделать несколько шагов:

1. Создать прототип и тексты.
   
2. Разработать дизайн.
   
3. Передать результаты работы и ТЗ на создание варианта В разработчикам.
   

6. Определение продолжительности А/Б-теста и размера выборки

Для каждого А/В-теста нужно определить размер выборки — минимальное количество пользователей, которое должно принять участие в эксперименте. На сайтах сервисов для тестирования, которые мы рассмотрим ниже, есть калькуляторы для расчета размера выборки и продолжительности тестирования.

Калькулятор достоверности А/В-тестирования

Тестирование лучше проводить не менее 14 дней, так как поведение покупателей может меняться в зависимости от дня недели. Чем длиннее цикл покупки, тем более длительным должен быть тест.

7. Запуск A/B теста

Тестирование проводится с помощью специальных сервисов. Вам потребуется только указать страницы, выбрать элемент и запустить проверку — сервис сам поделит трафик и соберет данные.

Запуск A/B эксперимента

Какие инструменты для A/Б-тестирования можно использовать:

— бесплатный и достаточно функциональный сервис, поэтому очень востребованный. Позволяет тестировать различные элементы страниц, проверять сразу несколько гипотез. Продолжительность тестирования — от 2 недель до 3 месяцев. Есть возможность установить долю трафика самостоятельно. За результатами можно следить в личном кабинете. Ранее мы писали мы писали, как настроить A/B-тест с помощью Google Optimize.

— платный сервис для сплит-тестирования, очень популярный на Западе. Позволяет проводить тестирование с использованием визуального интерфейса — маркетологу не нужно работать с HTML-кодом страниц.

— платный сервис, требующий знаний HTML-разметки.

— сервис со встроенной интеграцией с Google Analytics. Отличается тем, что цели автоматически загружаются в систему. Есть визуальный редактор, возможность таргетинга по геолокации пользователей и устройствам.

— также имеет интеграцию с Google Analytics.

— простой русскоязычный сервис для сплит-тестирования.

— функциональный сервис, требующий навыков работы с версткой.

8. Контроль над сплит-тестированием

После запуска теста нужно убедиться, что все работает правильно. Если страницы показывают очень сильные отличия, возможно на одной не работает какой-то элемент. Но не нужно менять что-то на ходу, дождитесь окончания тестирования.

Показатели A/B тестирования в Google Analytics

После завершения теста проверьте статистическую значимость с помощью калькулятора достоверности А/В-тестирования или прямо в сервисе. Результаты А/Б-теста должны достигнуть высоких показателей (не менее 95%) — только тогда на них можно опираться в принятии решений.

9. Анализ результатов

После окончания А/Б-теста сравните величины ключевой метрики. Важно, чтобы различие было существенным, иначе не получится сделать однозначный вывод.

Отчет A/B-теста

Если вы нацеливали тест на всю аудиторию, нужно понимать, что для разных сегментов результаты могут отличаться. Сервисы для тестирования обычно предлагают провести сегментацию после теста, иногда платно. Также можно бесплатно интегрировать тест с Google Analytics и изучить сегменты по критериям:

• пользователи десктопных или мобильных устройств,
  
• новые или вернувшиеся посетители,
  
• источники трафика,
  
• браузер или операционная система.
  

Сравнивая результаты разных сегментов, постарайтесь найти объяснение различиям в поведении.

К сожалению, успех теста не гарантирует успех в реальных условиях. Прежде чем делать выводы, пройдитесь по этому чек-листу и убедитесь, что:

• в тесте участвовало не меньшее количество посетителей, чем рекомендовал калькулятор;
  
• тест проводился минимум 2 недели;
  
• статистическая значимость не менее 95%;
  
• значение основной метрики выросло хотя бы на 2%;
  
• если победа относится к сегменту, то его размер выборки достаточен.
  

Полученные результаты важно задокументировать и включить в план по оптимизации интернет-магазина. В идеале создать электронную таблицу в Google с результатами теста и полученными инсайтами. Рекомендуем делиться результатами тестирования с командой, чтобы они лучше поняли целевую аудиторию, использовали это в маркетинге и работе с клиентами.

Читайте также:

  
• Что хочет современный турист
  
• Счастливы вместе отдых в чушке
  
• Что делать если забыл ваучер туриста
  
• Спицы урал турист 19 колесо
  
• Отдых с сочи с питанием