次回の非営利 A/B テストの前に考慮すべき 7 つのこと

最も強力で最も効率的で結果重視の寄付体験を支援者に提供したくない非営利団体はあるでしょうか? 自分のテストが最高のパフォーマンスを発揮することを確信する 1 つの方法は、新しいA/B テストのアイデアに頼ることです。

A/B テストは非営利団体にとって信頼できる戦略ですが、正しく行うには時間とリソースが必要です。 私たちは、チームがそれに応じて準備し、予算を立てるのに役立つように、A/B テスト プロセスに何が行われるかを正確に説明するためにここにいます。

寄付体験の A/B テストの影響

ユーザー エクスペリエンスを伝えるための一般的な方法である A/B テストは、改善の余地がある領域を特定します。 Classy では、製品の革新性を知らせ、非営利コミュニティによる寄付体験の最適化を支援するために、これらのテストを頻繁に実行しています。

非営利団体はいつ A/B テストを完了できますか?

非営利団体は、次の目的で A/B テストを実施する場合があります。

• 寄付 Web サイトまたはフォーム (色、ボタン、フォント、ブランド、フォーム フィールドなど)の最適化の機会を特定します。
• 埋め込み寄付フォームと標準寄付フォームのコンバージョン率を評価します。
• 寄付者の人口統計と行動をよりよく理解します。
• 特定のキャンペーン目標を増やす (定期的な寄付による収益など)。
• チェックアウトプロセスの煩雑さを軽減します（特定の連絡先情報要件の削除など）。
• キャンペーンのコピーとクリエイティブ要素を評価して、寄付者の心に最も響くものを見つけます。

その他の試験方法

特に季節性などの変数を制御したい場合には、A/B テストが最適ではない場合があります。 この好例は、Classy で埋め込まれた寄付フォームに対して実行したテストの 1 つです。

埋め込み寄付フォームは、 Web サイトの主要な寄付オプションとして通常導入される合理化されたエクスペリエンスです。 訪問者は、非営利団体のサイトヘッダーにある「Donate」行動喚起 (CTA)、または非営利団体のサイト本文にある主要 CTA を通じてフォームにアクセスできます。

最近、このユースケースをテストして、埋め込みフォームを使用した場合に、標準の寄付フォームと比較して、500 を超える組織の Web サイトからのトラフィックが 9 か月間でどのように変動するかを確認しました。 私たちは 500,000 を超えるユニークなセッションを調査し、コンバージョンパフォーマンスを前年同期の標準的な寄付と比較しました。

以下に調査結果を示します。

• コンバージョン上昇率の中央値は、埋め込み型の寄付エクスペリエンスでは 3 ポイントでしたが、モバイルでは 4.3 ポイントに増加しました。
• 埋め込み型の寄付エクスペリエンスでは、訪問者 1 人あたりの収益が 29% 増加しました。

当社の業界全体および組織固有の調査は、非営利団体が寄付体験について情報に基づいた意思決定を行うのに役立ちます。 そして、A/B テストが適切な場合には、今日の分野のドナーの共感を呼ぶものについての洞察を提供するために、A/B テストも多数行います。

キャンペーンの A/B テストを行う前に知っておくべき 7 つのこと

A/B テストは、いくつかのニュアンスを伴う困難なプロセスのように感じられる場合があります。 そのため、お客様の意思決定を導き、今後の最善の道を計画するためのいくつかのステップの概要を説明しました。

1. 数字を明確にして成功に向けて準備を整える

実行するテストの明確に定義された目標と仮説から始めます。 A/B テストでサポートできるさまざまな指標と主要業績評価指標 (KPI) がいくつかあります。

コンバージョン率、総収益、訪問者あたりの収益、または非営利組織の収益を増やすその他の特定の指標を向上させることの主な優​​先事項を決定します。 Classy では、これらすべての KPI などを監視しています。 私たちは多くの場合、各訪問者が寄付フォームにもたらす収益の増加に焦点を当てます。これは、コンバージョン率と寄付額を考慮した総合的な指標です。

目標と成功の測定を明確にしたら、意思決定の基礎となる快適さの統計的有意水準を特定します。

テストには課題が伴う可能性があり、結果を信頼できるかどうかを確認するために数回テストする必要がある場合があることに注意してください。 私たちのチームは、結果が可能な限り正確で代表的なものであることを確認するために、次のステップに進む前に 95% の統計的有意性を達成することを推奨しています。

2. 特定の変数を最初にテストする

テストする変数は重要なので、同時にテストする変数が多すぎることを避けることに重点を置きたいと考えます。 たとえば、寄付エクスペリエンスのデザインをテストする場合、新しいフォントと間隔を追加すると結果が歪められ、何がパフォーマンスの向上または低下を真に引き起こしているのかを知ることが難しくなる可能性があります。

テストするエクスペリエンス間で変更する必要がある唯一のものは、テスト変数です。 つまり、デザインのみを変更した場合の影響を確認したい場合は、ロゴ、タイトル、コピー、フォント、間隔などを同じに保つ必要があります。 その点で、テスト結果に影響を与える可能性のある他の A​​/B テストが Web サイト上で実行されないようにする必要があります。

3. サンプルサイズを考慮する

信頼できる結果を得るには、視聴者のサンプル サイズが統計的に有意に達するのに十分な大きさである必要があります。 結局のところ、15 人の検査は数千人の潜在的なドナーベースを表すものではありません。 さまざまな思考パターンやシナリオを表すより広範なグループにより、ランダム性の可能性が減少し、正確性の可能性が高まります。

さらに、サイトが受信するセッションが増えるほど、A/B テストがより速く統計的に有意な結果と信頼できる洞察を得ることができます。 つまり、どのようなシナリオにおいても、テスト対象者からできるだけ多くの参加者を獲得することを目指すことになります。 時間はかかるかもしれませんが、大きいほど良いです。

一般的なルールとして、信頼性の高いテストを行うには、バリアントごとに少なくとも 30,000 人の訪問者と 3,000 件のコンバージョンが必要です。 このガイドラインに従えば、通常は十分なトラフィックとコンバージョンを達成し、高い信頼性で統計的に有意な結果を導き出すことができます。 ¹

4. 現実世界の状況でより正確な結果を生成する

A/B テストでは、非営利 Web サイトの典型的なトラフィック パターンと条件を再現する必要があります。 非営利 Web サイトが通常 1 週間で取得するトラフィックの量を考え、その数値を使用して、統計的有意性を達成するためにテストを実行する必要がある時間を決定します。

自然変動を考慮した一般的なベースラインは、少なくとも 2 週間です。 毎日のトラフィックの増加が見られない場合は、すべてを正確にキャプチャするためにテストにさらに時間がかかる可能性があります。

5. 信頼できるテスト プログラムに投資する

A/B テストを支援できるプログラムがいくつかあります。 最も人気のあるツールである Google オプティマイズは無料ですが、2023 年 9 月 30 日に廃止されます。代わりに、非営利団体は、Optimizely や Vanguard FTSE Emerging Markets ETF などの別のツールの有料サブスクリプションを検討できます。

これらのツールは、テストの開始、監視、分析を支援する包括的な機能を提供します。 ただし、A/B テスト ツールの可能性を最大限に活用するには、通常、多数のリソース、厳密な監視、詳細な分析が必要であることに注意することが不可欠です。

Classy を使用すると、バックエンドのコーディング作業を行わずに、現在の寄付 Web サイトを簡単に複製し、小さな調整を加えることができます。 その後、テスト プラットフォームで各キャンペーン URL を他のキャンペーン URL に対して A/B テストできます。 トラフィックを 50/50 に分割することをお勧めします。

6. 長期的なデータ傾向をテストして全体像を把握する

A/B テストにより、特定の時点での特定の変更についての洞察が得られます。 つまり、データの全体像について考え始めると、長期的な傾向を確認するために一連のテストを実行する必要がある場合があります。

Classy の製品ロードマップとイノベーションの道筋は、さまざまな季節にわたるいくつかの寄付体験からの洞察を中心としています。 私たちは、非営利団体が全体像を把握し、自信を持ってその結果を意思決定に活用できるように、この方法で A/B テストを実施します。

7. 各テストが収益にどのような影響を与えるかを検討する

ここまでで、1 回の A/B テストにどれだけの労力がかかるか理解できたと思います。 当然のことながら、コストと時間の投資から利益を得たいと考えます。そのため、これらの実験が収益に与える影響を考慮してください。

業界で最高のツールとキャンペーンエクスペリエンスを提供することを保証するために舞台裏でテストを実施する募金プラットフォームに投資することで、スタッフ（および財務チーム）を余分な仕事や苦労から救うことができます。 Classy では、これらの洞察が貴重であることを認識しているため、お客様に代わってそれらの情報を扱います。

Classy で埋め込み型の寄付フォームを標準の寄付フォームと比較してテストしたところ、非営利団体が業界標準の 2 倍の割合で寄付者を変換していることがわかりました。これは、当社のプラットフォームを推進し、Classy の顧客が資金調達戦略を立てる際に恩恵を受ける推奨事項やコーチングのアドバイスを提供する洞察の一例です。

テストを通じて埋め込み型寄付フォームの効果を確認したところ、その変換結果により、多くの非営利団体がサインアップしてその効果を体験するようになりました。

例えば：

• Many Hopes では、寄付額が前年比 56% 増加しました。
• V Foundation はコンバージョンを 13 ポイント増加させました。
• Feeding San Diego のコンバージョン率は 44% でした。

信頼できる募金プラットフォームを見つける

A/B テストは、非営利団体が自信を持って意思決定を行うための貴重なツールです。 ただし、これはコストと時間がかかるプロセスでもあり、単独で行うと余分な作業や困難が生じる可能性があります。 そこでクラッシーの登場です。

Classy では、各製品が最も効率的かつ効果的な方法で業界の需要を満たしていることを確認するために、お客様に提供する前と後に製品をテストすることに尽力しています。 さらに、私たちは、Classy を利用するすべての非営利団体に、募金活動スイートのすべての製品が最大限の範囲で厳格なテストを受け、その結果に基づいて寄付者と非営利団体の期待に応えるよう修正されていることを安心して提供することを目指しています。

私たちは、今日の寄付者が何に共感し、何が彼らをあなたのような素晴らしいミッションを支援するために行動を起こさせるのかについてより多くの洞察を得るために、私たちのプラットフォーム全体でA/Bテストの実験を続けることを楽しみにしています。

コピーエディター:アヤンナ・ジュリアン

記事の出典

1. 「A/B テストでサンプル サイズを正しく計算する方法」、Guess the Test、最終更新日 2021 年 12 月、 https://guessthetest.com/calculated-sample-size-in-ab-testing-everything-you-need-to -知っています。