다음 비영리 A/B 테스트 전에 고려해야 할 7가지 사항

지지자들에게 가장 강력하고 효율적이며 결과 중심적인 기부 경험을 제공하고 싶지 않은 비영리단체가 어디 있겠습니까? 귀하의 제품이 최고의 성능을 발휘하는지 확신하는 한 가지 방법은 새로운 A/B 테스트 아이디어를 활용하는 것입니다 .

A/B 테스트는 비영리 단체를 위한 신뢰할 수 있는 전략이지만 올바르게 수행하려면 시간과 리소스가 필요합니다. 우리는 귀하의 팀이 그에 따라 준비하고 예산을 책정하는 데 도움이 되도록 A/B 테스트 프로세스에 들어가는 내용을 정확하게 설명하기 위해 왔습니다.

기부 경험에 대한 A/B 테스트의 영향

사용자 경험을 알리는 일반적인 관행인 A/B 테스트는 개선이 필요한 영역을 식별합니다. Classy에서는 제품 혁신을 알리고 비영리 커뮤니티가 기부 경험을 최적화할 수 있도록 이러한 테스트를 자주 실행합니다.

비영리단체는 언제 A/B 테스트를 완료할 수 있나요?

비영리 단체는 다음을 위해 A/B 테스트를 실시할 수 있습니다.

• 기부 웹사이트 또는 양식(예: 색상, 버튼, 글꼴, 브랜딩, 양식 필드 등) 에서 최적화 기회를 식별합니다 .
• 내장된 기부 양식과 표준 기부 양식 의 전환율을 평가합니다 .
• 기부자의 인구통계와 행동을 더 잘 이해하세요.
• 특정 캠페인 목표를 늘립니다(예: 반복적인 수익 제공 ).
• 결제 과정에서 마찰을 줄입니다(예: 특정 연락처 정보 요구 사항 제거).
• 캠페인 문구와 창의적인 요소를 평가하여 기부자에게 가장 큰 공감을 불러일으키는 것이 무엇인지 알아보세요.

기타 테스트 방법

때로는 A/B 테스트가 가장 적합하지 않을 수도 있습니다. 특히 계절성과 같은 변수를 제어하려는 경우에는 더욱 그렇습니다. 이에 대한 좋은 예는 내장된 기부 양식에 대해 Classy에서 실행한 테스트 중 하나입니다.

포함 된 기부 양식은 일반적으로 기본 웹사이트 기부 옵션으로 배포되는 간소화된 환경입니다. 방문자는 비영리 사이트 헤더의 "기부" 클릭 유도 문구(CTA) 또는 비영리 사이트 본문의 기본 CTA를 통해 양식에 액세스할 수 있습니다.

최근 우리는 표준 기부 양식과 비교하여 포함된 양식을 사용할 때 500개 이상의 조직 웹사이트의 트래픽이 9개월 동안 어떻게 변동하는지 확인하기 위해 이 사용 사례를 테스트했습니다. 우리는 500,000개 이상의 고유 세션을 조사하고 전환 성과를 전년도 같은 기간의 표준 기부와 비교했습니다.

조사 결과를 살펴보면 다음과 같습니다.

• 기부 경험이 내장된 경우 전환 상승률 중앙값은 3포인트였으며, 모바일에서는 4.3포인트로 증가했습니다.
• 방문자당 수익은 임베디드 기부 경험에서 29% 더 높았습니다.

우리의 업계 전반 및 조직별 연구는 비영리 단체가 기부 경험에 대해 정보를 바탕으로 결정을 내리는 데 도움이 됩니다. 그런 다음 A/B 테스트에 적합할 때 우리는 오늘날 이 분야의 기부자들에게 공감을 불러일으키는 것이 무엇인지에 대한 통찰력을 제공하기 위해 많은 작업을 수행합니다.

캠페인 A/B 테스트 전에 알아야 할 7가지 사항

A/B 테스트는 여러 가지 미묘한 차이가 있어 어려운 프로세스처럼 느껴질 수 있습니다. 그렇기 때문에 우리는 귀하의 결정을 안내하고 최선의 경로를 계획하기 위한 몇 가지 단계를 간략하게 설명했습니다.

1. 성공을 위한 준비를 위해 숫자를 명확하게 파악하세요

수행하려는 테스트에 대해 명확하게 정의된 목표와 가설이 시작하려는 곳입니다. A/B 테스트가 지원할 수 있는 다양한 지표와 핵심성과지표(KPI)가 있습니다.

전환율, 총 수익, 방문자당 수익 또는 비영리 조직의 수익을 증가시킬 수 있는 기타 특정 지표를 높이는 등 주요 우선순위를 결정하세요. Classy에서는 이러한 모든 KPI 등을 모니터링합니다. 우리는 종종 전환율과 기부 규모를 고려하는 전체적인 지표인 각 방문자가 기부 양식으로 가져오는 수익을 늘리는 데 중점을 둡니다.

목표와 성공 측정에 대한 명확성을 확보한 후에는 결정의 기초가 되는 편안함의 통계적 유의 수준을 식별하십시오.

테스트에는 어려움이 있을 수 있으며 결과를 신뢰할 수 있는지 확인하려면 몇 번 테스트해야 할 수도 있다는 점을 기억하세요. 우리 팀에서는 결과가 최대한 정확하고 대표성을 갖도록 다음 단계를 수행하기 전에 95%의 통계적 유의성을 달성할 것을 권장합니다.

2. 특정 변수를 먼저 테스트하세요

테스트하는 변수는 중요하며 너무 많은 변수를 동시에 테스트하지 않는 데 집중하고 싶습니다. 예를 들어, 기부 경험의 디자인을 테스트하는 경우 새로운 글꼴과 간격을 추가하면 결과가 왜곡될 수 있으며 실제로 성과 증가 또는 감소를 주도하는 것이 무엇인지 파악하기가 더 어려워질 수 있습니다.

테스트하는 경험 간에 변경되어야 하는 유일한 것은 테스트 변수입니다. 이는 디자인만 변경했을 때의 영향을 확인하려면 로고, 제목, 문구, 글꼴, 간격 등을 동일하게 유지하는 것을 의미합니다. 따라서 테스트 결과를 방해할 수 있는 다른 A/B 테스트가 웹사이트에서 실행되는 것을 방지하려고 합니다.

3. 표본 크기 고려

신뢰할 수 있는 결과를 얻으려면 청중의 표본 크기가 통계적 유의성에 도달할 만큼 충분히 커야 합니다. 결국, 15명에 대한 테스트는 수천 명의 잠재적 기증자 기반을 나타내지 않습니다. 다양한 사고 패턴과 시나리오를 나타내는 보다 광범위한 그룹은 무작위 가능성을 줄이고 정확성 가능성을 높입니다.

또한 사이트에 세션이 많을수록 A/B 테스트를 통해 통계적으로 유의미한 결과와 신뢰할 수 있는 통찰력을 더 빠르게 얻을 수 있습니다. 이는 어떤 시나리오에서든 테스트 대상 사용자로부터 최대한 많은 표현을 목표로 한다는 의미입니다. 시간이 좀 걸릴 수 있지만 클수록 좋습니다.

일반적인 규칙은 매우 안정적인 테스트를 위해서는 변형당 최소 30,000명의 방문자와 3,000회의 전환이 필요하다는 것입니다. 이 가이드라인을 따르면 일반적으로 높은 신뢰도에서 통계적으로 유의미한 결과를 도출할 수 있을 만큼 충분한 트래픽과 전환을 얻을 수 있습니다. ¹

4. 실제 조건으로 보다 정확한 결과 생성

A/B 테스트는 비영리 웹사이트의 일반적인 트래픽 패턴과 조건을 재현해야 합니다. 귀하의 비영리 웹사이트가 일반적으로 일주일 동안 얼마나 많은 트래픽을 받는지 생각해 보고 이 수치를 사용하여 통계적 유의성에 도달하기 위해 테스트를 실행하는 데 필요한 시간을 결정하세요.

자연적인 변동을 설명하기 위한 일반적인 기준은 최소 2주입니다. 매일 트래픽이 증가하지 않는 경우 모든 것을 정확하게 캡처하려면 테스트에 더 많은 시간이 필요할 수 있습니다.

5. 신뢰할 수 있는 테스트 프로그램에 투자하세요

여러 프로그램이 A/B 테스트를 지원할 수 있습니다. 가장 인기 있는 도구인 Google Optimize는 무료이지만 2023년 9월 30일에 종료됩니다. 대신 비영리 단체는 Optimizely 또는 Vanguard FTSE Emerging Markets ETF와 같은 다른 도구에 대한 유료 구독을 고려할 수 있습니다.

이러한 도구는 테스트 실행, 모니터링 및 분석을 지원하는 포괄적인 기능을 제공합니다. 그러나 A/B 테스트 도구의 잠재력을 완전히 활용하려면 일반적으로 다양한 리소스, 엄격한 모니터링 및 심층 분석이 필요하다는 점에 유의해야 합니다.

Classy를 사용하면 현재 기부 웹사이트를 쉽게 복제하고 백엔드 코딩 작업 없이 약간의 수정 작업을 수행할 수 있습니다. 그런 다음 테스트 플랫폼에서 각 캠페인 URL을 다른 캠페인 URL에 대해 A/B 테스트할 수 있습니다. 트래픽을 50/50으로 분할하는 것이 좋습니다.

6. 전체 그림을 포착하기 위한 장기 데이터 추세 테스트

A/B 테스트는 특정 시점의 특정 변화에 대한 통찰력을 제공할 수 있습니다. 즉, 데이터의 더 큰 그림에 대해 생각하기 시작하면서 시간에 따른 추세를 확인하기 위해 일련의 테스트를 실행해야 할 수도 있습니다.

Classy의 제품 로드맵과 혁신 경로는 다양한 시즌에 걸쳐 여러 기부 경험에서 얻은 통찰력을 중심으로 합니다. 우리는 비영리 단체가 전체 그림을 파악하고 자신 있게 결과를 의사 결정에 반영할 수 있도록 이러한 방식으로 A/B 테스트를 수행합니다.

7. 각 테스트가 수익에 어떤 영향을 미칠지 고려하세요.

이제 단일 A/B 테스트에 얼마나 많은 비용이 들어가는지 이해하게 되었습니다. 당연히 비용과 시간 투자에 대한 수익을 원하므로 이러한 실험이 수익에 미칠 수 있는 영향을 고려하십시오.

업계 최고의 도구와 캠페인 경험을 제공하기 위해 비하인드 스토리 테스트를 수행하는 모금 플랫폼에 투자하면 직원(및 재무 팀)이 추가 작업이나 어려움을 겪지 않도록 할 수 있습니다. Classy에서는 이러한 통찰력이 소중하다는 것을 알고 있으므로 귀하를 위해 이를 관리합니다.

Classy의 표준 기부 양식과 내장된 기부 양식을 테스트한 결과, 비영리 단체가 업계 표준 의 2배에 달하는 비율로 기부자를 전환하는 것으로 나타났습니다 .이는 우리 플랫폼을 구동하고 Classy 고객이 모금 전략을 수립할 때 혜택을 받을 수 있는 권장 사항 및 코칭 조언을 알려주는 통찰력의 한 예입니다.

테스트를 통해 내장된 기부 양식의 영향을 확인했을 때 전환 결과는 많은 비영리 단체가 그 영향을 경험하기 위해 등록하도록 영감을 주었습니다.

예를 들어:

• Many Hopes에서는 기부금이 전년 대비 56% 증가했습니다.
• V 재단은 전환율을 13포인트 증가시켰습니다.
• Feeding San Diego의 전환율은 44%였습니다.

신뢰할 수 있는 모금 플랫폼 찾기

A/B 테스트는 비영리 단체가 자신 있는 결정을 내리는 데 유용한 도구입니다. 그러나 혼자 수행할 경우 추가 작업이나 어려움이 발생할 수 있는 비용과 시간이 많이 소요되는 프로세스이기도 합니다. 이것이 바로 Classy가 등장하는 곳입니다.

Classy에서는 각 제품이 가장 효율적이고 효과적인 방법으로 해당 부문의 요구 사항을 충족하는지 확인하기 위해 고객에게 제공되기 전후에 제품을 테스트하는 데 최선을 다하고 있습니다. 또한 우리는 Classy를 사용하는 모든 비영리 단체에게 기금 모금 제품군의 모든 제품이 최대한 엄격한 테스트를 거친 후 기부자와 비영리 단체의 기대를 충족시키기 위해 결과를 수정했다는 확신을 제공하는 것을 목표로 합니다.

우리는 오늘날의 기부자들이 공감하는 것이 무엇인지, 그리고 귀하와 같은 놀라운 임무를 지원하기 위해 그들이 조치를 취하도록 유도하는 것이 무엇인지에 대한 더 많은 통찰력을 얻으면서 플랫폼 전체에서 A/B 테스트를 계속 실험할 수 있기를 기대합니다.

카피 에디터: Ayanna Julien

기사 출처

1. "A/B 테스트에서 표본 크기를 올바르게 계산하는 방법" 테스트 추측, 최종 수정일: 2021년 12월, https://guessthetest.com/calculate-sample-size-in-ab-testing-everything-you-need-to -알아요 .