在下一次非营利 A/B 测试之前需要考虑的 7 件事

已发表: 2023-08-18

哪个非营利组织不想为支持者提供最强大、最高效、以结果为导向的捐赠体验? 确保您的系统能够发挥最佳性能的一种方法是采用新的A/B 测试理念

A/B 测试对于非营利组织来说是一种可靠的策略,但需要时间和资源才能正确实施。 我们在这里准确列出 A/B 测试流程的内容,以帮助您的团队做好相应的准备和预算。

A/B 测试您的捐赠体验的影响

A/B 测试是一种告知用户体验的常见做法,它可以确定需要改进的领域。 在 Classy,我们经常运行这些测试,为我们的产品创新提供信息,并帮助我们的非营利社区优化捐赠体验。

非营利组织何时可以完成 A/B 测试?

非营利组织可以进行 A/B 测试来:

  • 确定捐赠网站或表单上的优化机会(如颜色、按钮、字体、品牌、表单字段等)。
  • 评估嵌入式捐赠表格与标准捐赠表格的转化率
  • 更好地了解捐赠者的人口统计数据和行为。
  • 增加具体的活动目标(例如经常性的捐赠收入)。
  • 减少结帐过程中的摩擦(例如删除特定的联系信息要求)。
  • 评估活动文案和创意元素,找出最能引起捐助者共鸣的元素。

其他测试方法

有时,A/B 测试并不是最合适的,尤其是当您想要控制季节性等变量时。 一个很好的例子是我们在 Classy 上对嵌入式捐赠表格进行的测试之一。

嵌入式捐赠表单是一种简化的体验,通常部署为主要网站捐赠选项。 访问者可以通过非营利组织网站标题中的“捐赠”号召性用语 (CTA) 或非营利组织网站正文中的主要 CTA 访问该表单。

最近,我们测试了这个用例,以确定使用嵌入式表单与标准捐赠表单相比,超过 500 个组织网站的流量在九个月内的波动情况。 我们检查了超过 500,000 个独特的会话,并将转化表现与去年同期的标准捐赠进行了比较。

以下是调查结果:

  • 嵌入捐赠体验后,转化率中位数提升为 3 点,而在移动设备上则增加至 4.3 点。
  • 嵌入捐赠体验后,每位访客的收入增加了 29%。

我们针对整个行业和特定组织的研究可帮助非营利组织就捐赠体验做出明智的决策。 然后,当适合进行 A/B 测试时,我们也会做大量的测试,以深入了解当今领域中哪些内容能引起捐助者的共鸣。

在对营销活动进行 A/B 测试之前需要了解的 7 件事

A/B 测试感觉像是一个令人畏惧的过程,有几个细微差别。 因此,我们概述了一些步骤来指导您的决策并规划出最佳的前进道路。

1. 明确数字,为自己的成功做好准备

您要从为要执行的测试明确定义的目标和假设开始。 A/B 测试可以支持多种不同的指标和关键绩效指标 (KPI)。

确定您的主要优先事项,是提高转化率、总收入、每位访客的收入,还是任何其他可以增加非营利组织收入的具体指标。 在 Classy,我们监控所有这些 KPI 及其他指标。 我们经常关注增加每个访问者通过捐赠表格带来的收入,这是一个考虑转化率和捐赠规模的整体指标。

一旦你明确了你的目标和成功的衡量标准,就可以确定你的舒适度的统计显着性水平,以作为你的决策的基础。

请记住,测试可能会遇到挑战,您可能需要测试几次以确保结果可靠。 我们的团队建议在采取后续步骤之前达到 95% 的统计显着性,以确保结果尽可能准确和具有代表性。

2. 首先测试特定变量

您测试的变量很重要,并且您希望集中精力避免同时测试太多变量。 例如,如果您测试捐赠体验的设计,添加新的字体和间距可能会扭曲您的结果,并使您更难了解真正推动性能增加或减少的因素。

在您测试的体验之间唯一应该改变的是测试变量。 这意味着如果您想看到仅更改设计的影响,请保持徽标、标题、副本、字体和间距等内容相同。 在这一点上,您希望防止其他 A/B 测试在您的网站上运行,这可能会干扰您的测试结果。

3. 考虑样本量

受众的样本量需要足够大才能达到统计显着性,从而获得可靠的结果。 毕竟,对 15 人进行的测试并不代表数千人的潜在捐赠者基础。 代表各种思维模式和场景的更广泛的群体将降低随机性的可能性并增加准确性的机会。

此外,站点收到的会话越多,A/B 测试就能越快获得具有统计意义的结果和可靠的见解。 这意味着在任何情况下都力争让测试受众有尽可能多的代表性。 这可能需要一些时间,但越大越好。

一般规则是:要进行高度可靠的测试,每个变体至少需要 30,000 名访问者和 3,000 次转化。 如果遵循此指南,您通常会获得足够的流量和转化次数,从而以高置信度获得具有统计意义的结果。 1

4.根据现实条件产生更准确的结果

A/B 测试应该重新创建非营利网站的典型流量模式和条件。 考虑一下您的非营利网站通常在一周内获得多少流量,并使用该数字来确定您需要运行测试多长时间才能达到统计显着性。

至少两周是考虑自然波动的一般基线。 如果您没有看到每天的流量增加,则测试可能需要更多时间才能确保您准确捕获所有内容。

5. 投资值得信赖的测试项目

有几个程序可以协助 A/B 测试。 最受欢迎的工具 Google Optimize 是免费的,但将于 2023 年 9 月 30 日停止使用。非营利组织可以考虑付费订阅其他工具,例如 Optimizely 或 Vanguard FTSE Emerging Markets ETF。

这些工具提供全面的功能来帮助您启动、监控和分析测试。 然而,必须注意的是,为了充分利用 A/B 测试工具的潜力,通常需要大量资源、严格监控和深入分析。

Classy 可以轻松复制当前的捐赠网站并进行小的调整,而无需任何后端编码工作。 然后,您可以在测试平台中针对每个营销活动 URL 进行 A/B 测试。 我们建议按 50/50 分配流量。

6. 测试长期数据趋势以捕捉全貌

A/B 测试可以深入了解特定时间的特定变化。 这意味着当您开始考虑数据的整体情况时,您可能必须运行一系列测试才能了解一段时间内的趋势。

Classy 的产品路线图和创新路径以各个季节的多次捐赠经历为中心。 我们以这种方式进行 A/B 测试,让非营利组织能够全面了解情况,并自信地利用我们的发现为决策提供信息。

7. 考虑每项测试将如何影响您的利润

到现在为止,您已经了解了一次 A/B 测试的内容。 当然,您希望看到成本和时间投资的回报,因此请考虑这些实验可能对您的利润产生的影响。

投资一个进行幕后测试的筹款平台,以确保其提供业内最好的工具和活动体验,可以使您的员工(和财务团队)免于额外的工作或困难。 在 Classy,我们知道这些见解很有价值,因此我们会为您照顾它们。

当我们根据 Classy 上的标准捐赠表格测试嵌入式捐赠表格时,我们发现非营利组织转化捐赠者的速度是行业标准的 2 倍这是驱动我们平台并提供推荐和辅导建议的见解的一个例子。优雅的客户在制定筹款策略时可以从中受益。

当我们通过测试看到嵌入式捐赠表格的影响时,转换结果激发了许多非营利组织注册以体验其影响。

例如:

  • Many Hopes 的捐款同比增加了 56%。
  • V 基金会将转化率提高了 13 点。
  • Feeding San Diego 的转化率为 44%。

寻找您可以信赖的筹款平台

A/B 测试是您的非营利组织做出自信决策的宝贵工具。 然而,这也是一个成本高昂且耗时的过程,单独完成时可能会导致额外的工作或困难。 这就是优雅的用武之地。

在 Classy,我们致力于在向客户提供产品之前和之后对其进行测试,以确保每种产品以最高效和最有效的方式满足该行业的需求。 此外,我们的目标是让每个使用 Classy 的非营利组织有信心知道我们筹款套件中的每件产品都经过了最严格的测试,然后根据结果进行修改以满足捐助者和非营利组织的期望。

我们与 Classy 的合作经历堪称变革。 它使我们能够加强筹款工作,在更个人的层面上与捐助者建立联系,并更有效地实现我们的目标。

国家民权博物馆

我们期待继续在我们的平台上进行 A/B 测试实验,因为我们可以更深入地了解当今捐助者的共鸣以及是什么驱使他们采取行动来支持像您这样的令人难以置信的任务。

文案编辑:阿亚娜·朱利安

文章来源

  1. “如何在 A/B 测试中正确计算样本量”,猜猜测试,最后修改于 2021 年 12 月, https://guessthetest.com/calculated-sample-size-in-ab-testing-everything-you-need-to -知道
电脑上的女人

探索优雅的潜力

请求演示