A/B 테스팅이란? (정의 + A/B 테스트 실행 방법)

마케팅 캠페인을 실행하거나 이메일을 보내거나 웹사이트에서 리드를 얻으려는 경우 정기적으로 팔로워를 위해 가치 있는 콘텐츠를 생산하고 있습니다.

하지만 그 콘텐츠가 얼마나 잘 수행되고 있는지 아십니까?

당신이 본 결과에 만족하십니까? 일부 콘텐츠가 다른 콘텐츠보다 훨씬 더 성공적으로 보이는 이유를 알아내려면 A/B 테스트를 실행하는 것이 좋습니다.

이 유용한 도구는 콘텐츠 전략에서 추측을 배제하고 비즈니스를 위한 최선의 결정을 내리는 데 필요한 데이터를 제공합니다. A/B 테스트가 무엇인지 또는 어떻게 실행하는지 잘 모르십니까? 이 가이드를 통해 기본 사항으로 바로 갈 것이므로 즉시 테스트를 실행할 수 있습니다!

A/B 테스팅이란?

성공적인 마케팅 전략의 핵심 요소는 무엇이 효과가 있는지 파악하고 이 정보를 활용하는 것입니다. A/B 테스트는 이러한 핵심 통찰력을 제공하고 무엇이 가장 효과적인지 추측할 필요가 없습니다. A/B 테스트를 사용하면 서로 다른 그룹과 공유하는 두 가지 유사한 콘텐츠를 사용하여 무작위 실험을 실행하고 어느 것이 원하는 결과를 산출하는지 모니터링합니다.

이것은 종종 이메일로 수행되며, 다른 제목 줄이나 각도를 사용하여 더 높은 공개율을 나타내는 테스트를 수행할 수 있습니다. 또는 사본이 약간 다른 동일한 제안에 대해 두 개의 광고를 테스트하여 어떤 버전이 더 높은 클릭률로 이어지는지 확인할 수 있습니다.

더 나은 결과 집합을 생성하는 콘텐츠 조각은 '우승' 샘플로 간주되며 향후 캠페인에 사용되거나 다른 마케팅 자료를 만드는 데 사용됩니다. 두 샘플의 결과가 같거나 비슷하면 적절하게 테스트하기 위해 각각을 더 구별해야 함을 의미할 수 있습니다.

물론 이것이 '잃어버린' 표본이 나쁘다는 것을 의미하지는 않습니다. 사실, 성능에서 얻은 통찰력은 더 적은 수의 청중과 가장 잘 소통하는 방법이나 앞으로 하지 말아야 할 일을 결정하는 데 중요할 수 있습니다.

왜 A/B 테스트를 수행해야 합니까?

AB 테스트가 없으면 본질적으로 장님이 됩니다. 당신은 콘텐츠를 공유하고 있으며 당신이 끌어들이려는 청중을 위한 올바른 메시지를 만들기를 희망하고 있습니다. A/B 테스트를 수행하는 주된 이유는 청중과 그들이 콘텐츠에 어떻게 반응하는지에 대한 통찰력을 수집하는 것입니다. 이렇게 하면 제작 중인 콘텐츠, 콘텐츠가 공유되는 빈도, 콘텐츠가 게시되는 플랫폼을 개선하는 데 사용할 수 있는 데이터가 준비됩니다.

초기 콘텐츠 제작 단계에서는 일반적인 정보를 사용하여 안내하지만 A/B 테스트를 통해 접근 방식을 미세 조정할 수 있습니다. 이메일에 대해 A/B 테스트를 수행하고 오전 10시에 다른 그룹에 보내고 다른 그룹에는 오후 3시에 보낸 경우 각 그룹의 공개 요금을 사용하여 이메일을 보내기에 가장 좋은 시간을 결정할 수 있습니다. 마찬가지로 제목 줄이나 이메일 미리보기를 약간 변경하여 구독자로부터 더 나은 응답을 얻을 수 있는 항목을 확인할 수 있습니다.

A/B 테스트는 어떻게 작동합니까?

A/B 테스트는 매우 간단해 보이지만 신뢰할 수 있는 결과를 생성하려면 적절하게 실행해야 합니다. 시간, 소프트웨어 및 사람과 같은 제어되지 않는 여러 변수로 작업하고 있으므로 오류의 여지가 많습니다. 이때 적절한 계획이 도움이 될 수 있습니다. 다음은 성공적인 AB 테스트를 실행하고 정확한 결과를 산출하기 위해 따라야 하는 몇 가지 주요 단계입니다.

1단계. 테스트할 변수 결정

첫 번째 단계는 테스트할 대상을 정확히 아는 것입니다. 실행하는 각 AB 테스트에 대해 한 가지에만 집중하면 됩니다. 이 변수는 제목 줄 또는 한 세트의 이메일에 대한 개인화 사용 또는 클릭 유도문안에 사용된 사본이 될 수 있습니다. 한 콘텐츠에 대해 여러 변수를 테스트할 수 있지만 각 변수 집합을 서로 다른 시간에 테스트해야 합니다. 한 번에 여러 변수를 테스트하려고 하면 어떤 변수가 실제로 더 효과적인지 알 수 없습니다.

또한 테스트하려는 대상을 정확히 좁힘으로써 변수를 생성하는 방법을 더 잘 결정할 수 있습니다. 개인화가 공개 비율을 높이는 데 얼마나 효과적인지 테스트하려는 경우 한 세트의 이메일에는 개인화를 포함해야 하고 다른 세트에는 포함하지 않아야 한다는 것을 알고 있습니다. 마찬가지로, 광고 문구가 클릭률에 미치는 영향에 초점을 맞추는 경우 두 가지 다른 클릭 유도문안 사본을 만드는 데 초점을 맞춥니다.

2단계. 집중할 측정항목 식별

또한 측정하려는 대상을 알아야 합니다. 클릭률인가요? 당신의 열린 요금은? 신규 가입자 수는? 메트릭을 명확하게 함으로써 가장 효과적인 버전을 결정할 때 어떤 데이터에 초점을 맞춰야 하는지 정확히 알 수 있습니다.

어떤 경우에는 특히 기존 데이터가 있는 경우 실제 목표나 가설을 염두에 두는 것이 도움이 됩니다. 예를 들어, 특정 단어가 개방률에 부정적인 영향을 미친다는 것을 알았을 수 있으며 이것이 사실인지 확인하기 위해 AB 테스트를 실행하려고 합니다. 제목에 '번아웃'이라는 단어를 사용하면 오픈율이 3% 감소 한다는 가설이 있을 수 있습니다. 귀하의 목표는 더 높은 공개율을 초래하는 제목 라인을 식별하는 것입니다.

3단계. 컨트롤 및 챌린저 설정

처음 두 단계를 완료하여 변수와 원하는 결과를 식별했습니다. 이제 '통제'와 '도전자'가 무엇인지 결정할 준비가 되었습니다. 제어를 위해 평소와 같이 콘텐츠를 만듭니다.

제목 줄을 테스트하여 공개율을 높이려는 예로 돌아가서 '번아웃'이라는 단어가 포함된 제목 줄의 일반적인 형식을 사용합니다. 예를 들어, 번아웃을 창의적으로 방지하는 10가지 입증된 방법 .

당신의 도전자는 당신이 가지고 있는 가설을 기반으로 조정을 시작하는 곳입니다. 이 경우 제목은 다음과 같을 수 있습니다 . 창의적 에너지를 충전하는 10가지 방법.

4단계. 필요한 경우 샘플을 균등하게 나눕니다.

샘플을 분할하는 방법은 테스트 중인 콘텐츠 유형과 사용하는 도구에 따라 결정됩니다. 이메일의 경우 일반적으로 샘플을 균등하게 나누어 각 그룹이 상당히 유사하지만 AB 테스트 도구로 무작위로 분할하도록 선택할 수도 있습니다.

랜딩 페이지나 광고와 같이 귀하가 통제할 수 없는 다른 콘텐츠의 경우 샘플이 무작위로 분할됩니다.

5단계. 샘플 크기 선택

샘플을 나누는 방법을 선택할 때와 마찬가지로 사용하는 도구와 테스트 중인 콘텐츠를 기반으로 실제 샘플 크기를 결정합니다. 이메일의 경우 일반적으로 제어 및 도전자를 이메일 목록의 작은 하위 집합으로 보낼 수 있습니다. 특정 목표에 도달하면 '우승자'가 나머지 연락처로 전송됩니다.

웹 페이지와 광고는 볼 것으로 예상하는 사람이 정해져 있지 않기 때문에 많이 다릅니다. 따라서 샘플 크기는 콘텐츠가 공유되는 기간 또는 광고에 지출되는 비용에 따라 결정됩니다.

어떤 방법을 사용하든 결정적인 결과를 얻을 수 있을 만큼 충분히 오랫동안 테스트를 실행해야 합니다.

6단계. 결과가 얼마나 중요해야 하는지 결정

집중할 측정항목을 식별하기 위한 이전 단계를 기억하십니까? 이것이 특히 중요해지는 곳입니다. '승자' 또는 더 나은 성능의 콘텐츠를 선택하려면 결과가 얼마나 중요한지 결정해야 합니다. 여기서 통계적 의미가 작용합니다. 통계 수업을 들은지 얼마 되지 않았다면 지금은 빠르게 복습할 시간입니다.

통계적 유의성은 결과가 오류 또는 우연으로 인한 것일 가능성을 나타냅니다. 통계적 유의성이 높을수록 결과가 더 신뢰할 수 있습니다. 이는 결과가 무작위이거나 오류에 의해 달성될 가능성이 없음을 의미합니다.

테스트의 결과는 마케팅 전략, 광고 지출 예산 책정 방법, 청중과 소통하는 방법을 결정하는 데 사용됩니다. 따라서 이러한 결정을 안내하는 데이터가 정확하다는 것을 가능한 한 확실하게 확인하기를 원합니다. 일반적으로 최소한 95%의 신뢰 수준을 원하지만 99%까지 올라갈 수 있습니다.

통계적 유의성과 신뢰 수준을 계산하는 것은 상당히 복잡한 과정일 수 있지만 고맙게도 이를 처리할 수 있는 편리한 도구가 있습니다.

7단계. A/B 테스트 도구 선택

시장에서 널리 사용되는 많은 디지털 마케팅 도구를 사용하여 A/B 테스트를 실행할 수 있습니다. Facebook 광고 관리자, Google Optimizer, Hubspot, ActiveCampaign, Adobe Target 및 Visual Website Optimizer와 같은 도구는 이메일, 웹 페이지 또는 광고에 대한 A/B 테스트를 실행할 수 있는 소프트웨어의 몇 가지 예일 뿐입니다.

도구를 선택할 때 사용 방법, 테스트할 콘텐츠 또는 캠페인 유형, 경제성, 사용 편의성 등을 고려해야 합니다. 집중해야 할 또 다른 중요한 기능은 데이터를 수집하고 공유하는 방법입니다. 이 숫자는 가장 중요한 결과이므로 이해하기 쉬운 형식으로 자세한 보고서를 제공하는 도구를 선택하는 것이 좋습니다.

8단계. 버전 A와 B를 동시에 테스트

테스트는 컨트롤과 도전자 모두와 동시에 수행되어야 합니다. 즉, 오늘 A 이메일을 보내고 다음 주 B 이메일을 보내거나 각 광고를 며칠 간격으로 실행할 수 없습니다. 변경된 요소와 콘텐츠를 보는 실제 개인만 다를 뿐 동일한 조건에서 테스트해야 합니다.

이 규칙의 유일한 예외는 테스트가 귀하의 타이밍과 관련된 경우입니다. 청중에게 다가갈 수 있는 적절한 시간이나 요일을 찾고 있다면 당연히 다른 시간에 콘텐츠를 공유하게 될 것입니다. 그러나 이 경우 컨트롤과 도전자의 유일한 차이점 은 시간 입니다.

9단계. 주요 목표에 대한 분석 집중

테스트를 실행하고 결과를 수집하기 시작하면 데이터가 넘쳐납니다. 이 모든 것이 관련이 있지만 측정하기 위해 설정한 메트릭의 우선 순위를 지정해야 합니다. 귀하의 주요 목표가 귀하의 공개율에 가장 적합한 것을 찾는 것이라면 분석의 초점이 되어야 합니다. 그것이 결정적인 요인이 되거나 둘 중 어느 것이 성공했는지가 될 것입니다.

그렇다고 해서 나머지 데이터를 버려야 한다는 것은 아닙니다. 이를 통해 청중을 더 잘 이해하고 콘텐츠를 더욱 개선할 수 있습니다. 기억해야 할 중요한 점은 이 추가 데이터가 테스트의 주요 초점이 아니라 그냥 있으면 좋다는 것입니다.

10단계. A/B 테스팅 계산기로 결과 측정하기

이 단계에서 모든 데이터가 있고 숫자를 쏟아 붓고 있습니다. 그렇다면 실제로 결과를 어떻게 측정하고 전략을 변경할 만큼 충분한지 판단할 수 있습니까?

Hubspot 또는 Survey Monkey의 A/B 테스트 계산기와 같은 도구를 사용하면 추측을 피할 수 있습니다. 이러한 도구를 사용하여 각 변수를 받은 사람의 수와 조치를 취한 사람의 수를 입력합니다. 이렇게 하면 각각에 대한 전환율이 생성되고 어느 것이 더 잘 수행되었는지에 대한 명확한 지표가 제공됩니다.

11단계. 결과를 사용하여 다음 작업 안내

이제 확실한 데이터가 있으므로 이를 사용하여 전략에 필요한 변경 사항(있는 경우)을 결정할 수 있습니다. AB 테스트는 항상 일회성 활동이 아닙니다. 자신이 제작한 콘텐츠가 최적의 결과를 낳는다고 만족할 때까지 다른 도전자와 비교하여 우승 콘텐츠를 테스트하여 더 많은 통찰력을 얻을 수 있습니다.

그리고 결과에 만족하지 않으면 항상 완전히 새로운 콘텐츠 세트로 다시 시작할 수 있습니다. 좋은 점은 결과가 만족스럽지 않더라도 여전히 사용할 수 있는 귀중한 정보를 제공한다는 것입니다.

A/B 테스트 결과를 해석하는 방법

테스트에서 얻은 정보가 얼마나 가치 있는지에 대해 꽤 많이 이야기했지만 어떻게 올바르게 해석합니까? 다시 한 번 기본 목표에 집중해야 합니다. 초점을 맞춘 측정항목이 공개 요금인 경우 해당 측정항목을 먼저 살펴봅니다. A/B 테스트 도구에 연결할 번호입니다.

다음으로 전환율의 차이를 살펴보겠습니다. 95% 신뢰 수준에서 이메일 A의 전환율은 3%이지만 이메일 B의 전환율은 7%일 수 있습니다. 이러한 결과는 통계적으로 유의미한 것으로 간주되며 이메일 B를 향후 이메일의 모델로 사용하면 전환율이 더 높아질 것으로 기대할 수 있습니다.

연령, 성별, 위치, 기기 유형 또는 이메일을 연 시간과 같은 잠재고객 인구통계와 같은 다른 통찰력을 더 자세히 살펴볼 수도 있습니다. 이 모든 정보를 통해 청중이 누구이며 무엇을 할 수 있는지 더 폭넓게 파악할 수 있습니다.

피해야 할 일반적인 A/B 테스트 실수

노련한 마케터도 AB 테스트에서 오류를 범하여 결과와 나아가 전략에 부정적인 영향을 미칠 수 있습니다. 다음은 가장 일반적인 몇 가지 실수와 실수를 피하기 위해 취할 수 있는 단계입니다.

테스트가 충분히 오래 실행되도록 허용하지 않음

AB 테스트는 일반적으로 특정 플랫폼을 통해 수행되며 이러한 플랫폼은 실시간으로 데이터를 제공합니다. 인내심이 있는 한 이것은 큰 이점이 될 수 있습니다. 테스트의 초기 성능을 보고 빨리 결정을 내리고 싶기 때문에 조기에 종료하기 쉽습니다. 문제는 큰 그림을 볼 수 있을 만큼 충분히 오랫동안 테스트를 실행하지 않는다는 것입니다. 몇 시간 후에 테스트를 종료했다면 실제 결과를 수집하기에 충분한 시간이 되지 않았을 것입니다.

이를 방지하려면 계획 단계에서 테스트를 실행할 기간을 결정하십시오. 24시간으로 결정했다면 콘텐츠가 어떻게 작동하든 그 24시간 동안 아무 것도 하지 마십시오 .

또한 사람들이 테스트를 실행할 적절한 시간을 따로 두지 않는 문제도 있습니다. 다양한 유형의 콘텐츠는 다양한 상황에서 테스트해야 합니다. 예를 들어 귀하의 광고는 귀하의 이메일이나 방문 페이지와 같은 기간 동안 테스트할 수 없습니다. 또한 더 많은 청중을 위해 더 많은 시간을 허용하고 싶을 것입니다. 50명의 소규모 그룹이 35,000명의 그룹보다 짧은 시간에 의미 있는 결과를 얻을 것으로 예상할 수 있습니다.

한 번에 너무 많은 변수 테스트하기

AB 테스트라고 하는 이유가 있습니다. 요소 B에 대해 요소 A를 테스트하는 것입니다. 다변수 테스트가 있지만 이는 완전히 다른 형태의 테스트이며 다른 조건에서 수행됩니다. AB 테스트를 실행하고 너무 많은 변수를 포함하면 결과를 신뢰할 수 없게 됩니다. 결과에 영향을 미칠 수 있는 오류 또는 임의의 기회가 너무 많습니다. 다른 시간에 이메일을 보내는 경우 제목 줄이 아닌 공개 비율을 강제할 수 있습니다. 클릭 유도문안 버튼의 디자인 과 사본을 변경하면 무엇이 차이를 만들었는지 확신할 수 없습니다.

이것이 바로 목표를 알고 이를 테스트 수행 방법을 안내하는 데 사용하는 것이 중요한 이유입니다. 오픈 요율에 초점을 맞추고 싶다면 변수가 그와 관련되어야 합니다. 더 많은 웹사이트 방문을 유도하려는 경우 해당 변수와 관련된 단일 변수만 있어야 합니다. 이렇게 하면 결과를 더 자신 있게 신뢰할 수 있습니다.

너무 빨리 테스트

이것은 약간 혼란스럽게 들릴지 모르지만 저를 참아 주십시오. 트래픽이 많을수록 청중이 많을수록 테스트에 더 많은 사람들 을 포함할 수 있고 결과의 신뢰성도 높아집니다.

이것은 이제 막 시작했을 때 콘텐츠를 테스트해서는 안 되지만 얻은 데이터에 너무 크게 의존할 수 없다는 말은 아닙니다. 숫자가 늘어나면 다시 테스트해야 합니다. 또 다른 주의 사항은 테스트를 너무 빨리 하면 테스트를 왜곡할 수 있는 더 나은 수치를 보고자 하는 절망감에 이끌릴 수 있다는 것입니다. 이렇게 하면 테스트를 실행할 때 참을성이 없게 되고 너무 빨리 끝내는 함정에 빠져 결정적이지 않거나 실패한 데이터를 남길 수 있습니다.

이러한 실수를 피하는 가장 좋은 방법은 단순히 인내하는 것입니다. 원본 콘텐츠가 실행될 때까지 기다린 다음 개선의 여지가 있는지 결정합니다. 데이터가 실제로 귀하와 관련이 있도록 잠재고객을 늘리고 이상적인 대상을 끌어들일 시간을 주십시오. 시간이 충분하면 테스트를 실행할 필요가 없을 것입니다. 캠페인의 속도가 빨라지기 시작하고 그렇지 않은 경우 결정을 내릴 수 있습니다.

마케팅 전략을 개선하기 위해 AB 테스트를 사용할 준비가 되셨습니까?

A/B 테스팅이 성공적인 마케팅 전략의 중요한 부분이라는 데는 의심의 여지가 없지만 잘 실행되어야 합니다. 이는 목표, 기본 측정항목, 사용해야 하는 도구 및 변수를 식별하는 것을 의미합니다.

위에 설명된 단계를 사용하여 테스트를 적절하게 계획했다면 결과를 수집하고 해석하는 것이 간단해야 합니다. 데이터를 계산기에 입력하고 그 차이가 콘텐츠를 변경할 만큼 충분히 중요한지 결정합니다.

그렇다면 시간을 내어 데이터를 실제로 살펴보고 결과를 해석하십시오. 그런 다음 조사 결과를 사용하여 마케팅 전략을 강화하십시오.

그리고 당신이 그것을 알기도 전에 당신과 당신의 비즈니스는 AB 테스트의 이점을 누리게 될 것입니다.