Что такое A/B-тестирование? (Определение + Как провести A/B-тест)

Если вы проводите маркетинговые кампании, отправляете электронные письма или пытаетесь привлечь потенциальных клиентов со своего веб-сайта, вы регулярно создаете ценный контент для своих подписчиков.

Но знаете ли вы, насколько хорошо работает этот контент?

Довольны ли вы результатами, которые вы видите? Если вы пытаетесь выяснить, почему некоторые части контента кажутся более успешными, чем другие, возможно, вы захотите провести A/B-тестирование.

Этот ценный инструмент избавляет вас от догадок при разработке контент-стратегии и предоставляет вам данные, необходимые для принятия оптимальных решений для вашего бизнеса. Не знаете, что такое A/B-тестирование и как его проводить? В этом руководстве мы переходим прямо к основам, чтобы вы могли быстро запустить свои собственные тесты!

Что такое A/B-тестирование?

Ключевым компонентом успешной маркетинговой стратегии является знание того, что работает, и использование этой информации. A/B-тестирование дает вам эту ключевую информацию и устраняет необходимость угадывать, что работает лучше всего. При A/B-тестировании вы запускаете случайный эксперимент, используя два одинаковых фрагмента контента, которыми вы делитесь с разными группами, и отслеживаете, какой из них дает желаемые результаты.

Это часто делается с электронными письмами, где для проверки могут использоваться разные строки темы или углы, что приводит к более высокому коэффициенту открываемости. Или вы можете протестировать два объявления для одного и того же предложения с немного отличающимся текстом, чтобы увидеть, какая версия приводит к более высокому рейтингу кликов.

Части контента, дающие лучший набор результатов, считаются «выигрышным» образцом и используются в будущих кампаниях или для создания других маркетинговых материалов. Если вы обнаружите, что оба образца имеют одинаковые или похожие результаты, это может означать, что вам нужно сделать каждый из них более четким, чтобы правильно их протестировать.

Конечно, это не означает, что «проигрышная» выборка плоха. На самом деле, понимание его производительности может иметь решающее значение, помогая вам решить, как лучше всего общаться с меньшим сегментом вашей аудитории или чего следует избегать в будущем.

Зачем вам проводить A/B-тестирование?

Без тестирования AB вы, по сути, летите вслепую. Вы делитесь контентом и надеетесь, что создали правильное сообщение для аудитории, которую пытаетесь привлечь. Основная причина проведения A/B-тестирования — получить представление о вашей аудитории и о том, как они реагируют на ваш контент. Это вооружает вас данными, которые вы затем можете использовать для улучшения создаваемого вами контента, частоты его распространения и даже платформы, на которой он публикуется.

На начальных этапах создания контента вы используете общую информацию, чтобы направлять вас, но A/B-тестирование позволяет вам точно настроить свой подход. Если вы провели A/B-тестирование электронного письма и отправили его одной группе в 10:00, а другой — в 15:00, вы можете использовать показатели открываемости каждой группы, чтобы определить лучшее время для отправки своих электронных писем. Точно так же вы можете внести небольшие изменения в строки темы или предварительный просмотр электронной почты, чтобы увидеть, что вызывает лучший отклик у ваших подписчиков.

Как работает A/B-тестирование?

A/B-тестирование звучит довольно просто, но его необходимо правильно выполнять, чтобы получить надежные результаты. Вы работаете со многими неконтролируемыми переменными, такими как время, программное обеспечение и люди, так что есть большая вероятность ошибки. Здесь может помочь правильное планирование. Вот несколько ключевых шагов, которые вы должны выполнить, чтобы успешно провести тест AB и получить точные результаты.

Шаг 1. Решите, какую переменную вы хотите протестировать

Первый шаг — точно знать, что вы будете тестировать. Для каждого теста AB, который вы запускаете, вам нужно сосредоточиться только на одном. Эта переменная может быть вашей темой или использованием персонализации для одного набора электронных писем или копией, используемой для вашего призыва к действию. Хотя вы можете тестировать несколько переменных для одного фрагмента контента, обязательно тестируйте каждый набор переменных в разное время. Если вы попытаетесь протестировать сразу несколько переменных, вы не сможете определить, какая переменная действительно более эффективна.

Кроме того, сузив круг того, что вы хотите протестировать, вы сможете лучше решить, как создавать переменные. Если вы хотите проверить, насколько эффективна персонализация для повышения открываемости, вы знаете, что один набор электронных писем должен включать персонализацию, а другой — нет. Точно так же, если вы сосредоточены на том, как ваш текст влияет на ваш рейтинг кликов, вы будете сосредоточены на создании двух разных наборов копий призыва к действию.

Шаг 2. Определите, на какой метрике следует сосредоточиться

Вы также должны знать, что вы хотите измерить. Это ваш рейтинг кликов? Ваши открытые ставки? Количество новых подписчиков? Имея четкое представление о метрике, вы точно знаете, на каких данных следует сосредоточиться при принятии решения о том, какая версия наиболее эффективна.

В некоторых случаях, особенно если у вас есть существующие данные, полезно иметь в виду реальную цель или даже гипотезу. Например, вы могли заметить, что определенные слова негативно влияют на ваш показатель открываемости, и вы собираетесь провести тест AB, чтобы проверить, так ли это. Ваша гипотеза может заключаться в том, что использование слова «выгорание» в моей теме письма снижает мой показатель открываемости на 3% . Ваша цель будет заключаться в том, чтобы определить, какая строка темы приводит к более высокому коэффициенту открытия.

Шаг 3. Настройте контроль и претендент

Выполнив первые два шага, вы определили свои переменные и желаемый результат. Теперь вы будете готовы решить, кто ваш «контролер» и «претендент». Для вашего контроля вы будете создавать свой контент, как обычно.

Возвращаясь к нашему примеру с попыткой увеличить открываемость за счет тестирования тем, вы должны использовать типичный формат вашей темы с включением слова «выгорание». Например, «Десять проверенных способов предотвратить эмоциональное выгорание» .

Ваш претендент — это место, где вы начнете вносить коррективы на основе имеющейся у вас гипотезы. В этом случае ваша тема может выглядеть примерно так: Десять способов подпитывать вашу творческую энергию.

Шаг 4. При необходимости разделите образец поровну

Способ разделения выборки зависит от типа тестируемого контента и используемого инструмента. Для электронных писем вы обычно делите свою выборку поровну, чтобы каждая группа была довольно похожей, но вы также можете выбрать ее случайное разделение с помощью вашего инструмента тестирования AB.

Для другого контента, над которым у вас меньше контроля, такого как целевая страница или реклама, ваша выборка будет разделена случайным образом.

Шаг 5. Выберите размер выборки

Как и при выборе способа разделения выборки, вы определяете фактический размер выборки на основе используемого вами инструмента и контента, который вы тестируете. Что касается электронных писем, вы обычно можете отправить свой контроль и запрос в небольшое подмножество вашего списка рассылки. Как только конкретная цель будет достигнута, «победитель» будет отправлен оставшимся контактам.

Веб-страницы и реклама сильно отличаются, поскольку у вас нет определенного количества людей, которые вы ожидаете их увидеть. Таким образом, размер вашей выборки будет определяться тем, как долго контент распространяется или сколько денег тратится на рекламу.

Независимо от того, какой метод используется, вы хотите, чтобы ваш тест выполнялся достаточно долго, чтобы получить окончательные результаты.

Шаг 6. Определите, насколько значительными должны быть ваши результаты

Помните тот предыдущий шаг, чтобы определить метрику, на которой вы хотите сосредоточиться? Здесь это становится особенно важным. Вам нужно определить, насколько значительными должны быть ваши результаты, чтобы выбрать «победителя» или более эффективный контент. Здесь вступает в игру статистическая значимость. Если вы давно не посещали уроки статистики, пришло время быстро напомнить.

Статистическая значимость говорит о том, насколько вероятно, что ваши результаты вызваны ошибкой или случайностью. Чем выше ваша статистическая значимость, тем надежнее ваши результаты, поскольку это означает, что ваши результаты вряд ли были случайными или получены по ошибке.

Помните, что результаты вашего теста будут использоваться для определения вашей маркетинговой стратегии, того, как вы планируете расходы на рекламу и как вы общаетесь со своей аудиторией. Поэтому вы хотите быть как можно более уверенными в том, что данные, лежащие в основе этих решений, точны. Обычно вы хотите иметь уровень достоверности не менее 95%, но вы можете подняться до 99%.

Расчет статистической значимости и уровней достоверности может быть довольно сложным процессом, но, к счастью, есть удобные инструменты, которые могут позаботиться об этом за вас.

Шаг 7. Выберите инструмент A/B-тестирования

Многие из популярных на рынке инструментов цифрового маркетинга можно использовать для проведения A/B-тестов. Такие инструменты, как Facebook Ads Manager, Google Optimizer, Hubspot, ActiveCampaign, Adobe Target и Visual Website Optimizer, — это лишь несколько примеров программного обеспечения, которое может выполнять A/B-тесты для электронных писем, веб-страниц или рекламы.

Выбирая инструмент, вы должны учитывать, как вы будете его использовать, какие типы контента или кампаний вы будете тестировать, доступность и простоту использования. Еще одна важная особенность, на которой следует сосредоточиться, — это то, как данные собираются и распределяются. Эти цифры являются наиболее важным выводом, который вам понадобится, поэтому вы должны выбрать инструмент, который предоставляет подробные отчеты в удобном для понимания формате.

Шаг 8. Тестируйте версии A и B одновременно

Ваш тест должен быть выполнен как с вашим контролем, так и с претендентом одновременно. Это означает, что вы не можете отправить электронное письмо А сегодня и электронное письмо Б на следующей неделе или запустить каждое объявление с интервалом в несколько дней. Их нужно тестировать в одинаковых условиях, с той лишь разницей, что измененный элемент и реальные люди, которые видят контент.

Единственным исключением из этого правила является случай, когда тест касается вашего времени. Если вы пытаетесь найти подходящее время или день для охвата своей аудитории, то, естественно, вы будете делиться своим контентом в разное время. В этом случае, однако, единственное различие между контролем и претендентом будет во времени .

Шаг 9. Сосредоточьте анализ на вашей основной цели

Как только вы запустите тест и начнете собирать результаты, вы будете переполнены данными. Хотя все это имеет значение, вам необходимо расставить приоритеты в метрике, которую вы намеревались измерить. Если ваша основная цель состояла в том, чтобы выяснить, что лучше всего подходит для вашей открываемости, то это должно быть в центре вашего анализа. Это будет определяющим фактором того, какой из двух был успешным.

Это не значит, что вы должны отказаться от оставшихся данных. Это может помочь вам лучше понять свою аудиторию и даже улучшить ваш контент. Важно помнить, что эти дополнительные данные просто приятно иметь, а не основная цель теста.

Шаг 10. Измерьте свои результаты с помощью калькулятора A/B-тестирования

На этом этапе у вас есть все данные, и вы перебираете цифры. Итак, как вы на самом деле измеряете свои результаты и определяете, достаточно ли они существенны, чтобы внести изменения в вашу стратегию?

Такие инструменты, как Hubspot или калькулятор A/B-тестирования Survey Monkey, могут избавить вас от догадок. Используя эти инструменты, вы вводите количество людей, получивших каждую переменную, и количество людей, предпринявших действия. Это даст коэффициенты конверсии для каждого и даст четкий индикатор того, какой из них работает лучше.

Шаг 11. Используйте свои результаты, чтобы определить свои следующие действия

Теперь, когда у вас есть надежные данные, вы можете уверенно использовать их, чтобы определить, какие изменения необходимы для вашей стратегии. Обратите внимание, что AB-тестирование не всегда является разовым мероприятием. Вы можете протестировать свой выигрышный контент против другого претендента, чтобы получить еще больше информации, пока не убедитесь, что то, что вы создаете, дает оптимальные результаты.

И если вы не удовлетворены результатами, вы всегда можете начать все сначала с совершенно новыми наборами контента. Самое замечательное то, что даже если результаты неудовлетворительны, они все равно предоставляют вам ценную информацию, которую вы можете использовать.

Как интерпретировать результаты A/B-тестирования

Мы много говорили о том, насколько ценна информация, полученная в результате вашего теста, но как правильно ее интерпретировать? Еще раз вам нужно сосредоточиться на вашей основной цели. Если метрикой, на которой вы сосредоточились, были открытые ставки, вы сначала посмотрите на них. Это число, которое вы вставите в свой инструмент A/B-тестирования.

Далее вы посмотрите на различия в коэффициентах конверсии. Возможно, вы видели коэффициент конверсии 3 % для письма А и коэффициент конверсии 7 % для письма Б с уровнем достоверности 95%. Эти результаты считаются статистически значимыми, и вы можете ожидать, что использование электронной почты B в качестве модели для будущих электронных писем должно привести к более высокому коэффициенту конверсии.

Вы также можете изучить другую информацию — демографические данные аудитории, такие как возраст, пол, местоположение, тип устройства или время дня, когда ваши электронные письма были открыты. Вся эта информация дает вам более широкое представление о том, кто ваша аудитория и что может сработать для них.

Распространенные ошибки A/B-тестирования, которых следует избегать

Даже опытные маркетологи допускают ошибки при тестировании AB, что может негативно сказаться на их результатах и, соответственно, на стратегии. Вот некоторые из наиболее распространенных ошибок и шаги, которые вы можете предпринять, чтобы их избежать.

Не позволять тесту работать достаточно долго

Тесты AB обычно выполняются через определенную платформу, и эти платформы предоставляют данные в режиме реального времени. Теперь это может быть большим преимуществом, если вы терпеливы. Легко увидеть начальную производительность теста и закончить его преждевременно, потому что вы хотите быстро принять решение. Проблема в том, что вы не позволяете тесту работать достаточно долго, чтобы дать вам возможность взглянуть на общую картину. Если вы закончите тест через несколько часов, этого времени будет недостаточно для получения реальных результатов.

Чтобы избежать этого, решите на этапе планирования, как долго вы хотите, чтобы ваши тесты выполнялись. Если вы выберете 24 часа , ничего не делайте в течение этих 24 часов, независимо от того, как работает контент.

Существует также проблема, когда люди не выделяют достаточно времени для проведения своих тестов. Помните, что разные типы контента нужно тестировать в разных обстоятельствах. Например, ваши объявления не могут тестироваться в течение того же периода времени, что и ваши электронные письма или целевые страницы. Кроме того, вы захотите выделить больше времени для более широкой аудитории. Можно ожидать, что небольшая группа из 50 человек даст значительные результаты за меньшее время, чем группа из 35 000 человек.

Тестирование слишком большого количества переменных одновременно

Есть причина, по которой это называется тестированием AB — вы тестируете элемент A в сравнении с элементом B. Хотя существуют многовариантные тесты, это совершенно другая форма тестирования и проводится в других условиях. Что происходит, когда вы запускаете тест AB и включаете слишком много переменных, так это то, что результатам нельзя доверять. Было бы слишком много ошибок или случайностей, которые могли бы повлиять на результат. Если вы отправляете свои электронные письма в разное время, это может повлиять на открываемость, а не на строку темы. Если вы измените дизайн кнопки призыва к действию и текста, вы не можете быть уверены, что изменило ситуацию.

Вот почему так важно знать свою цель и использовать ее, чтобы определить, как будет проводиться ваш тест. Если вы хотите сосредоточиться на открытых ставках, ваша переменная должна относиться к этому. Если вы пытаетесь получить больше посещений веб-сайта, у вас должна быть только одна переменная, которая связана с этим, и ничего больше. Когда вы делаете это, вы можете более уверенно полагаться на результаты.

Тестирование слишком рано

Это может показаться немного запутанным, но потерпите меня. Чем больше у вас трафика, тем больше ваша аудитория, тем больше людей вы можете включить в свой тест и тем надежнее будут ваши результаты.

Это не означает, что вы не должны тестировать свой контент, когда вы только начинаете, но вы не можете слишком полагаться на полученные данные. Вам нужно будет снова пройти тестирование, когда ваши цифры вырастут. Другое предостережение заключается в том, что слишком раннее тестирование может быть вызвано чувством отчаяния, чтобы увидеть лучшие цифры, которые могут исказить ваш тест. Это заставляет вас проявлять нетерпение при выполнении теста, и вы можете попасть в ловушку, завершив его слишком рано, оставив неубедительные или ошибочные данные.

Лучший способ избежать этой ошибки — просто набраться терпения. Подождите, пока ваш исходный контент получит возможность работать, а затем решите, есть ли возможности для улучшения. Дайте себе некоторое время, чтобы начать расширять свою аудиторию и привлекать идеальные цели, чтобы данные были действительно актуальны для вас. Скорее всего, со временем вам не нужно будет запускать тест — ваши кампании начнут набирать скорость, а если этого не произойдет, тогда вы сможете принять решение.

Готовы использовать AB-тестирование для улучшения своей маркетинговой стратегии?

Нет никаких сомнений в том, что A/B-тестирование является жизненно важной частью любой успешной маркетинговой стратегии, но оно должно быть выполнено хорошо. Это означает определение вашей цели, основной метрики, инструментов, которые вам необходимо использовать, и определение ваших переменных.

Если вы правильно спланировали свой тест, используя шаги, описанные выше, сбор и интерпретация результатов должны быть простыми. Введите данные в свой калькулятор и решите, достаточно ли значительна разница, чтобы внести изменения в ваш контент.

Если это так, найдите время, чтобы действительно взглянуть на данные и интерпретировать свои результаты. Затем используйте полученные результаты, чтобы усилить свою маркетинговую стратегию.

И прежде чем вы это узнаете, вы и ваш бизнес уже будете пожинать плоды тестирования AB.