什么是 A/B 测试？ （定义 + 如何运行 A/B 测试）

如果您正在开展营销活动、发送电子邮件或试图从您的网站获得潜在客户，那么您正在定期为您的关注者制作有价值的内容。

但是您知道这些内容的表现如何吗？

您对所看到的结果满意吗？ 如果您一直试图弄清楚为什么某些内容似乎比其他内容更成功，您可能需要考虑运行 A/B 测试。

这个有价值的工具可以消除您的内容策略中的猜测，并为您提供为您的业务做出最佳决策所需的数据。 不确定什么是 A/B 测试或如何进行测试？ 我们将通过本指南直接了解基础知识，因此您将能够立即运行自己的测试！

什么是 A/B 测试？

成功营销策略的一个关键组成部分是了解有效的方法并利用这些信息。 A/B 测试为您提供了这一关键洞察力，无需猜测什么是最有效的。 通过 A/B 测试，您可以使用与不同组共享的两个相似内容进行随机实验，并监控哪一个产生所需的结果。

这通常通过电子邮件完成，其中可能使用不同的主题行或角度来测试哪些会导致更高的打开率。 或者，您可以针对相同的报价测试两个广告，但副本略有不同，以查看哪个版本会带来更高的点击率。

产生更好结果集的内容片段被视为“获胜”样本，并用于未来的活动或创建其他营销材料。 如果您发现两个样本具有相同或相似的结果，则可能意味着您需要使每个样本更加不同才能正确测试它们。

当然，这并不意味着“失败”的样本不好。 事实上，对其性能的洞察力对于帮助您决定如何与一小部分受众进行最佳沟通或将来避免做什么至关重要。

为什么要进行 A/B 测试？

如果没有 AB 测试，您实际上是在盲目飞行。 您正在分享内容，并希望您已经为您想要吸引的观众制作了正确的信息。 进行 A/B 测试的主要原因是深入了解您的受众以及他们如何响应您的内容。 这为您提供了数据，然后您可以使用这些数据来改进您正在制作的内容、共享的频率，甚至是发布它的平台。

在最初的内容制作阶段，您使用一般信息来指导您，但 A/B 测试允许您微调您的方法。 如果您对一封电子邮件进行了 A/B 测试，并在上午 10 点将其发送给一个小组，而在下午 3 点将其发送给另一个小组，您可以使用每个小组的打开率来确定发送电子邮件的最佳时间。 同样，您可以对主题行或电子邮件预览进行细微更改，以查看哪个可以从您的订阅者中获得更好的响应。

A/B 测试如何工作？

A/B 测试听起来相当简单，但需要正确执行才能产生可​​靠的结果。 您正在处理许多不受控制的变量，例如时间、软件和人员，因此存在很大的错误空间。 这是适当的计划可以提供帮助的地方。 以下是您应该遵循的一些关键步骤，以运行成功的 AB 测试并产生准确的结果。

第 1 步。确定要测试的变量

第一步是确切地知道你将要测试什么。 对于您运行的每个 AB 测试，您只需要专注于一件事。 此变量可能是您的主题行或对一组电子邮件的个性化使用或用于号召性用语的副本。 虽然您可以为一个内容测试多个变量，但请务必在不同时间测试每组变量。 如果您尝试一次测试多个变量，您将无法判断哪个变量真正更有效。

此外，通过缩小要测试的范围，您可以更好地决定如何创建变量。 如果您想测试个性化在提高打开率方面的有效性，您知道一组电子邮件需要包含个性化，而另一组则不需要。 同样，如果您的重点是您的副本如何影响您的点击率，您的重点将是创建两组不同的号召性用语副本。

第 2 步：确定要关注的指标

您还需要知道要测量的内容。 是你的点击率吗？ 你的开盘率？ 新订户数量？ 通过明确指标，您可以确切地知道在决定哪个版本最有效时要关注哪些数据。

在某些情况下，特别是如果您有现有数据，那么在头脑中制定一个实际目标甚至是一个假设都会有所帮助。 例如，您可能已经注意到某些词会对您的打开率产生负面影响，并且您打算运行 AB 测试以查看这是否属实。 您的假设可能是在我的主题行中使用“倦怠”一词会使我的打开率降低 3% 。 您的目标是确定哪个主题行会导致更高的打开率。

步骤 3. 设置控制和挑战者

通过完成前两个步骤，您已经确定了变量和您想要的结果。 现在您将准备好决定您的“控制”和“挑战者”是什么。 为了您的控制，您将像往常一样创建您的内容。

回到我们试图通过测试主题行来提高打开率的示例，您将使用包含“倦怠”一词的主题行的典型格式。 例如，十种行之有效的防止倦怠的创造性方法。

你的挑战者是你开始根据你的假设进行调整的地方。 在这种情况下，您的主题行可能如下所示：激发您的创造力的十种方法。

第 4 步。如果需要，将样品均匀分配

如何拆分样本取决于您要测试的内容类型和使用的工具。 对于电子邮件，您通常将样本平均划分，因此每个组都非常相似，但您也可以选择由 AB 测试工具随机划分。

对于您无法控制的其他内容（例如着陆页或广告），您的样本将被随机拆分。

第 5 步：选择您的样本量

就像选择如何划分样本一样，您将根据您使用的工具和您正在测试的内容来确定实际样本量。 对于电子邮件，您通常可以将控制和挑战者发送到电子邮件列表的一小部分。 一旦达到特定目标，“获胜者”将被发送给剩余的联系人。

网页和广告有很大的不同，因为您没有一定数量的人希望看到它们。 因此，您的样本量将取决于内容被分享的时长或在广告上花费的金额。

无论使用哪种方法，您都希望确保让您的测试运行足够长的时间来获得确凿的结果。

第 6 步：确定结果的重要性

还记得之前确定要关注的指标的步骤吗？ 这是变得特别重要的地方。 您需要确定结果的重要性才能选择“赢家”或效果更好的内容。 这里统计显着性开始发挥作用。 如果你已经有一段时间没有上统计课了，那么是时候快速复习一下了。

统计显着性说明您的结果有多大可能是由于错误或偶然性造成的。 您的统计显着性越高，您的结果就越可靠，因为这意味着您的结果不太可能是随机的或错误获得的。

请记住，您的测试输出将用于确定您的营销策略、您如何预算广告支出以及您如何与受众沟通。 因此，您希望尽可能确定指导这些决策的数据是准确的。 通常您希望至少有 95% 的置信水平，但您可以达到 99%。

计算您的统计显着性和置信水平可能是一个相当复杂的过程，但幸运的是，有一些方便的工具可以为您解决这个问题。

第 7 步：选择 A/B 测试工具

市场上许多流行的数字营销工具都可用于运行 A/B 测试。 Facebook Ads Manager、Google Optimizer、Hubspot、ActiveCampaign、Adobe Target 和 Visual Website Optimizer 等工具只是可以对电子邮件、网页或广告进行 A/B 测试的几个软件示例。

在选择工具时，您要考虑如何使用它、要测试的内容或活动类型、可负担性和易用性。 另一个需要关注的关键特性是如何收集和共享数据。 这些数字是您需要的最重要的输出，因此您希望选择一种工具，以易于理解的格式提供详细报告。

步骤 8. 同时测试版本 A 和 B

您的测试需要同时与您的控制和挑战者一起完成。 这意味着您不能在今天发送电子邮件 A 并在下周发送电子邮件 B 或将每个广告分开几天。 它们需要在相同的条件下进行测试，唯一的区别是改变的元素和看到内容的实际个人。

此规则的唯一例外是当测试与您的时间相关时。 如果您试图找到合适的时间或日期来接触您的受众，那么您自然会在不同的时间分享您的内容。 然而，在这种情况下，控制者和挑战者之间的唯一区别是时间。

第 9 步：将分析重点放在您的主要目标上

运行测试并开始收集结果后，您将被数据淹没。 虽然所有这些都是相关的，但您需要优先考虑您已设定要衡量的指标。 如果您的主要目标是找出最适合您的打开率的方法，那么这需要成为您分析的重点。 这将是决定因素或两者中的哪一个成功。

这并不是说您应该丢弃剩余的数据。 这可用于帮助您更好地了解您的受众，甚至进一步改进您的内容。 要记住的重要一点是，拥有这些额外的数据很不错——不是测试的主要重点。

第 10 步。使用 A/B 测试计算器衡量您的结果

在这个阶段，您拥有所有数据，并且您正在倾注数字。 那么，您如何实际衡量您的结果并确定它们是否足以改变您的策略呢？

Hubspot 或 Survey Monkey 的 A/B 测试计算器等工具可以消除猜测。 使用这些工具，您将输入收到每个变量的人数以及采取行动的人数。 这将产生每个的转化率，并明确指示哪个表现更好。

第 11 步。使用您的结果来指导您的下一步行动

现在您拥有可靠的数据，您可以自信地使用它来确定您的策略需要进行哪些更改（如果有的话）。 请注意，AB 测试并不总是一项一次性活动。 您可以针对其他挑战者测试您的获胜内容，以获得更多洞察力，直到您对自己制作的内容会产生最佳结果感到满意为止。

如果您对结果不满意，您可以随时使用全新的内容集重新开始。 很棒的是，即使结果不令人满意，它们仍然为您提供了可以使用的有价值的信息。

如何解读 A/B 测试结果

我们谈了很多关于从您的测试中获得的信息的价值，但是您如何正确解释它？ 再次，您需要专注于您的主要目标。 如果您关注的指标是开放率，那么您将首先查看这些指标。 这是您将插入 A/B 测试工具的数字。

接下来，您将了解转换率的差异。 您可能已经看到电子邮件 A 的转换率为 3%，但电子邮件 B 的转换率为 7%，置信度为 95%。 这些结果被认为具有统计显着性，您可以预期使用电子邮件 B 作为未来电子邮件的模型应该会带来更高的转化率。

您还可以进一步了解其他洞察力——受众人口统计数据，例如年龄、性别、位置、设备类型或打开电子邮件的时间。 所有这些信息让您更广泛地了解您的受众是谁以及什么可能对他们有用。

要避免的常见 A/B 测试错误

即使是经验丰富的营销人员也会在 AB 测试中犯错误，这会对他们的结果产生负面影响，进而影响策略。 以下是一些最常见的错误以及您可以采取的避免犯错的步骤。

不允许测试运行足够长的时间

AB 测试通常通过特定平台完成，这些平台实时提供数据。 现在，只要您有耐心，这将是一个很大的好处。 很容易看到测试的初始性能并提前结束它，因为您想快速做出决定。 问题是您不允许测试运行足够长的时间来让您了解全局。 如果您在几个小时后结束测试，那将没有足够的时间来收集真实结果。

为避免这种情况，请在计划阶段确定您希望测试运行多长时间。 如果您决定 24 小时，那么在这 24 小时内什么也不做，无论内容的表现如何。

还有一个问题是人们没有留出足够的时间来运行他们的测试。 请记住，不同类型的内容需要在不同的情况下进行测试。 例如，您的广告无法在与您的电子邮件或着陆页相同的时间段内进行测试。 此外，您需要为更多的受众留出更多时间。 可以预期，一个小至 50 人的小组将在比 35,000 人的小组更短的时间内产生显着的结果。

一次测试太多变量

将其称为 AB 测试是有原因的——您正在测试元素 A 和元素 B。虽然存在多变量测试，但这是一种完全不同的测试形式，并且是在不同的条件下完成的。 当您运行 AB 测试并包含太多变量时会发生什么结果是不可信的。 会有太多可能影响结果的错误或随机机会实例。 如果您在不同时间发送电子邮件，这可能是强制打开率而不是主题行的原因。 如果您更改号召性用语按钮和副本的设计，您将无法确定是哪一个有所不同。

这就是为什么了解您的目标并使用它来指导您的测试如何进行至关重要的原因。 如果您想关注开放率，您的变量应该与此相关。 如果你想获得更多的网站访问量，你应该只有一个与之相关的变量，没有别的。 当你这样做时，你可以更自信地依赖结果。

测试太早了

这可能听起来有点令人困惑，但请耐心等待。 您拥有的流量越多，您的受众就越大，您可以在测试中包含的人越多，您的结果就越可靠。

这并不是说您不应该在刚开始时测试您的内容，而是您不能过于依赖所获得的数据。 随着人数的增长，您需要再次重新测试。 另一个需要注意的是，过早的测试可能是由一种绝望的感觉驱动的，因为它无法看到更好的数字，这可能会扭曲你的测试。 这会让您在运行测试时变得不耐烦，并且您可能会陷入过早结束测试的陷阱，从而留下不确定或失败的数据。

避免犯这个错误的最好方法就是耐心等待。 等到您的原始内容有机会执行，然后再决定是否有改进的余地。 给自己一些时间来开始扩大您的受众并吸引您的理想目标，以便数据实际上与您相关。 很有可能，如果有足够的时间，您就不需要进行测试了——您的广告系列将开始加快速度，如果没有，那么您可以做出决定。

准备好使用 AB 测试来改进您的营销策略了吗？

毫无疑问，A/B 测试是任何成功营销策略的重要组成部分，但需要很好地执行。 这意味着确定您的目标、主要指标、您需要使用的工具以及确定您的变量。

如果您已经使用上述步骤正确地计划了您的测试，那么收集和解释结果应该很简单。 将数据输入您的计算器并确定差异是否足够显着以更改您的内容。

如果是这样，请花时间真正查看数据并解释您的结果。 然后利用您的发现来推动您的营销策略。

在不知不觉中，您和您的企业将受益于 AB 测试。