30,000개의 계정이 머신 러닝과 PPC에 대해 가르쳐준 것

게시 됨: 2017-12-14

몇 년 전에 우리 팀은 한 사람이 생각할 수 있는 것보다 더 많은 데이터를 사용하여 입찰 및 예산 관리를 누구보다 빠르고 더 잘 달성할 수 있는 자체 개선 기계 기술을 구축했습니다. 이 기술은 다른 초기 AI 특허를 보유한 로켓 과학자들에 의해 만들어졌으며 30개 이상의 정교한 알고리즘을 포함합니다. 자동화된 규칙 기반 시스템이 아니라 실제로 지속적으로 자체 개선 되어 SEM 업계에서 인공 지능에 가장 가까운 시스템입니다.

우리는 Acquisio Turing TM 으로 알려진 기계 학습 기술과 마케터가 어떤 유형의 결과를 기대할 수 있는지에 대해 많은 질문을 받습니다. 에이전시와 마케터는 마테크 제공업체의 주장에 지겨워하기 때문입니다. 그래서 우리 팀은 우리 기계를 테스트하기 시작했습니다.

우리는 마케터가 Acquisio Turing에서 기대할 수 있는 캠페인 결과 유형을 정확히 이해하고 싶었습니다. 이 기술을 사용하지 않는 계정과 비교합니다. 턱이 떨어지고 데이터가 날아가고 머리가 굴러갈 것입니다... 일부 기계 학습 데이터로 손을 더럽힐 준비가 되셨습니까? 여기 우리가 간다!

연구의 매개변수

실제 연구에는 2015년 9월 1일부터 2017년 4월 1일 사이에 총 32,858개의 계정이 포함되었으며 그 중 일부는 Acquisio Turing에 있었습니다. 및 활성화 날짜로부터 1개월부터 3개월까지의 결과를 비교하지 않은 기타

아래 1~4과에서 볼 수 있듯이 매우 큰 이득이 평균을 지배하여 기대치를 왜곡할 수 있기 때문에 평균과 중앙값 모두에 대해 보고하기로 결정했습니다. 예를 들어, 고객 중 한 명이 전환율이 3000% 증가한 반면 나머지 고객은 50%에서 100% 사이인 경우 이상치로 인해 평균이 더 높아졌습니다. 중앙값은 이상값의 영향에 덜 민감합니다.

수업 5와 6에서는 Acquisio Turing의 모든 계정을 살펴보았습니다. AdWords 또는 Bing과 같은 게시자 네트워크에 의해 분류되지 않은 비교도 포함됩니다.

수업 #1: 계정은 사과와 오렌지입니다.

모든 캠페인이 동일하게 생성되는 것은 아닙니다. 캠페인의 성공은 수많은 요인에 달려 있습니다. 한 캠페인은 예산이 높을 수 있고, 다른 캠페인은 기간이 더 짧을 수 있으며, 다른 캠페인은 경쟁이 거의 없는 동안 더 인기 있는 제품을 판매할 수 있습니다. 모든 것을 이해하고 통계적으로 유의미한 데이터를 얻으려면 계정 비교는 유사한 계정 간에만 이루어져야 합니다.

데이터를 적절하게 슬라이스하고 사과와 사과를 비교해야 했습니다. Acquisio Turing은 입찰 및 예산 관리 도구이므로 클릭당 비용, 클릭률, 획득당 비용 및 전환을 측정할 때 예산 지출이 유사한 계정을 비교하는 것이 매우 중요했습니다. 따라서 이러한 지표를 결정하기 위해 플러스 또는 마이너스 10% 범위 내에서 유사한 지출에 대해 계정을 필터링하여 8,235개* 계정을 남겼습니다.

*점수를 로그 정규 분포로 처리하고 중앙값 절대 편차 방법을 사용하여 평균을 계산하기 전에 이상값을 제거했습니다.

강의 #2: 클릭당 비용 절감(CPC)

사람들은 서비스를 검색하기 위해 Google을 찾습니다. Google은 광고주가 검색 결과를 볼 수 있도록 허용하고 리드별로 비용을 청구합니다. 클릭당 비용은 사용자가 광고를 클릭할 때마다 광고주가 지불할 금액을 결정하기 위해 Google에서 만든 측정항목입니다. 마케터는 검색 광고 캠페인의 비용이 캠페인이 효과적일 때만 증가한다는 사실에 기뻐합니다. 그러나 클릭의 품질에도 불구하고 이러한 리드에는 비용이 듭니다.

비교 가능한 8,235개의 계정에 대해 첫 번째 달과 세 번째 달 사이에 평균 CPC가 7% 감소한 것을 관찰했습니다. 그룹의 중앙값은 10% 감소했는데, 이는 Acquisio Turing 계정의 절반이 10% 이상의 CPC 감소를 가졌음을 의미합니다. 전체적으로 약 3분의 2가 CPC가 감소했습니다.

더 낮은 CPC를 위한 예는 지옥입니다!!

강의 #3: 클릭수 증가

클릭이 여러 가지 이유로 전환되지 않을 수 있다는 점에서 중요한 것은 아니지만 우리 모두는 양질의 클릭을 원합니다.

처음 3개월 동안 클릭 수가 평균 15% 증가한 것을 확인했습니다. 다시 말하지만, 첫 번째 달과 세 번째 달 사이의 클릭 변화 중앙값은 8%였으며, 이는 Acquisio Turing 계정의 절반이 클릭수가 8% 이상 증가했음을 의미합니다. 전체적으로 59%는 클릭수가 증가했습니다.

클릭을 유도한 머신 러닝에 감사드립니다! 변환을 할 시간...

강의 #4: 전환당 비용(CPA) 감소 및 전환 증가

CPA는 광고주가 전환당 지불하는 금액입니다. 전환은 모든 PPC 캠페인 및 일반 광고의 궁극적인 목표입니다. 그러나 때때로 전환을 추적하기가 까다로울 수 있습니다. UTM에서 태그 관리자, 심지어 타사 소프트웨어에 이르기까지 상황이 정말 빨리 엉망이 될 수 있습니다.

예산 지출이 서로 10% 이내인 8,235개 계정 중 2,490개*만이 전환을 추적하고 있었습니다. 이는 우리 연구의 전환 부분에 대해 2,500개 미만의 PPC 계정을 비교하고 있음을 의미합니다.

전환을 추적하는 계정 중 중앙값 CPA 변경은 18% 이상 감소했습니다. 이는 계정의 절반 이상이 획득당 비용을 18% 이상 절감했음을 의미합니다. 전체 그룹의 64%는 CPC가 감소했습니다.

전환을 추적하는 계정 중 전환 수가 71% 증가한 것을 관찰했습니다…

지피를 통해

그러나 보수적으로 보기 위해서는 1개월에서 3개월 사이에 전환이 22% 증가한 중간 전환 변화를 항상 살펴보아야 합니다. 이는 그룹의 절반이 전환율을 최소 22% 이상 향상시켰음을 의미합니다. 머신 러닝을 사용하는 계정의 전체 62%에서 전환 수가 증가했습니다.

이제 집에 쓸 일입니다!

*점수를 로그 정규 분포로 처리하고 중앙값 절대 편차 방법을 사용하여 평균을 계산하기 전에 이상값을 제거했습니다.

수업 #5: 거의 항상 예산 달성

예산 달성이 항상 주요 지표로 간주되는 것은 아닙니다. 최근에 우리는 예산 달성이 KPI여야 하는 이유에 대해 블로그에 글을 썼습니다.

“PPC 마케터가 예산을 과도하게 지출한다면 명백한 이유가 있는 문제입니다. 과소비가 전환과 같은 또 다른 중요한 KPI를 달성하는 것을 의미하더라도 클라이언트는 단순히 추가 자금이 없을 수 있습니다. 따라서 처음부터 예산을 할당합니다. PPC 마케터가 예산을 적게 사용하는 경우 고객은 최대 결과를 얻기 위해 주어진 모든 자원을 투자하지 않은 이유를 묻습니다. 한편 매월 투자가 다르면 누구도 일관되게 투자 수익을 측정할 수 없으므로 데이터 무결성도 위험에 처하게 됩니다. 궁극적으로 PPC 마케터가 예산을 정확하고 일관되게 지출할 수 없다면 클라이언트는 가능한 누군가와 돈을 쓰고 싶어할 것입니다.”

이러한 근거를 염두에 두고 PPC 마케터가 매달 예산을 달성하는 것이 매우 중요합니다. 우리는 기계 학습이 그렇게 하는 데 도움이 될 수 있는지 알고 싶었습니다. 예산 달성 질문에 답하기 위해 우리는 기계 학습 기술을 사용하는 계정과 그렇지 않은 계정을 비교했습니다. 우리는 또한 AdWords 캠페인에 그것을 사용하고 있는 사람들과 Bing 캠페인을 실행하고 있는 사람들을 고려해야 했습니다. 총 32,858개의 계정을 조사했습니다.

  • 12,651명이 AdWords에서 기계 학습을 사용하고 있었습니다.
  • 11,094명이 AdWords에서 기계 학습을 사용하지 않고 있습니다.
  • 6,342명이 Bing에서 기계 학습을 사용하고 있었습니다.
  • 2,771명은 Bing에서 기계 학습을 사용하지 않았습니다.
평균 예산 달성

AdWords의 경우 계정이 Acquisio Turing을 사용하지 않는 계정보다 예산을 의도한 대로 지출하고 지출할 가능성이 평균 3.4배 더 높다는 것을 발견했습니다.

Bing의 경우 계정이 그렇지 않은 계정보다 Acquisio Turing을 사용하여 월예산을 조정하고 지출할 가능성이 평균 11배 더 높다는 것을 발견했습니다.

데이터를 예산 지출로 분류하면 다음을 찾았습니다.

  • 월 $500 미만을 지출하는 계정은 기계 학습을 사용하지 않는 계정보다 AdWords에서 예산을 달성할 가능성이 3.1배, Bing에서 11.3배 더 높았습니다.
  • 월 500~1500달러를 지출하는 계정은 기계 학습을 사용하지 않는 계정보다 애드워즈에서 예산을 달성할 가능성이 2.3배, Bing에서 10.1배 더 높았습니다.
  • 월 $1,500 이상 지출하는 계정은 기계 학습을 사용하지 않는 계정보다 AdWords에서 예산을 달성할 가능성이 5.2배, Bing에서 18.6배 더 높습니다.

교훈 6: 계정의 평균 평생 가치(LTV) 증가

계정이 플랫폼에 존재하는 시간은 몇 가지 좋은 의미가 될 수 있습니다. 우선, 성공적인 캠페인은 실적이 좋지 않아 일시 중지되거나 중단되는 캠페인보다 계속될 가능성이 더 큽니다. 두 번째는 대행사, 리셀러 또는 채널 파트너에게 더 많은 돈을 의미합니다. 이 긴 수명 가치가 나타내는 계정의 양에 따라 규모에 따라 훨씬 더 많은 연간 수익을 제공할 수 있습니다.

32,858개 계정의 LTV가 어떻게 되는지 알아보기 위해 머신 러닝 기술을 사용하는 계정과 사용하지 않는 계정으로 분류했습니다. 우리는 기계 학습 기술을 사용하는 사람들이 그렇지 않은 사람들보다 AdWords에서 한 달 더 오래 살고 Bing에서 2.5개월 더 오래 산다는 것을 발견했습니다.

머신 러닝이 PPC에 대해 가르쳐 줄 수 있는 것

우리가 본 연구에 적용한 머신 러닝 기술은 지속적으로 자기 개선되고 말 그대로 나날이 똑똑해지기 때문에 위에 제시된 결과가 더 좋아질 것으로 기대합니다.

TLDR 요약:

  1. 모든 것을 이해하고 통계적으로 유의미한 데이터를 얻으려면 계정 비교는 유사한 계정 간에만 이루어져야 합니다.
  2. 머신 러닝을 사용하는 계정의 절반은 CPC가 10% 이상 감소했습니다. 전체적으로 약 3분의 2가 CPC가 감소했습니다.
  3. 머신 러닝을 사용하는 계정의 절반은 클릭수가 8% 이상 증가했습니다. 전체적으로 59%는 클릭수가 증가했습니다.
  4. 절반 이상의 계정이 획득당 비용을 18% 이상 줄였습니다. 전체 그룹의 64%는 CPC가 감소했습니다.
  5. 전환을 추적하는 계정 중 전환 수가 71% 증가한 것을 관찰했습니다. 전체 그룹의 62%는 전환 수가 증가했습니다.
  6. AdWords의 경우 계정이 기계 학습을 사용하지 않는 계정보다 예산을 의도한 대로 지출하고 지출할 가능성이 평균 3배 더 높다는 것을 발견했습니다.
  7. Bing의 경우 계정이 기계 학습을 사용하여 월예산을 지출할 가능성이 평균 11배 더 높다는 것을 발견했습니다. 그렇지 않은 사람들보다.
  8. 기계 학습 기술을 사용하는 계정은 그렇지 않은 계정보다 4개월 더 오래 살았습니다.

더 낮은 CPC에서 더 높은 전환율, 더 긴 LTV 등으로, Acquisio Turing 지난 2년 동안 운영되는 계정에 이미 엄청난 가치를 제공했습니다. 점점 더 많은 기계 학습 솔루션이 우리의 삶과 이제 SEM 캠페인을 형성하기 시작하면서 좋은 소식을 여러분과 같은 마케터와 공유하게 되어 매우 기쁩니다!

이미지 크레딧

기능 이미지: Unsplash/ Maxime Bhm

Chandal Nolasco da Silva의 모든 스크린샷. 최신 Acquisio Turing 성능 보고서에서 2017년 여름-겨울을 촬영했습니다.