O que é teste A/B? (Definição + Como executar um teste A/B)

Se você estiver executando campanhas de marketing, enviando e-mails ou tentando obter leads de seu site, estará produzindo conteúdo valioso para seus seguidores regularmente.

Mas você sabe o desempenho desse conteúdo?

Você está satisfeito com os resultados que tem visto? Se você está tentando descobrir por que algumas partes de conteúdo parecem ser muito mais bem-sucedidas do que outras, considere executar um teste A/B.

Essa ferramenta valiosa elimina as suposições da sua estratégia de conteúdo e fornece os dados necessários para tomar as melhores decisões para o seu negócio. Não sabe o que é um teste A/B ou como executá-lo? Estamos indo direto ao básico com este guia para que você possa executar seus próprios testes rapidamente!

O que é teste A/B?

Um componente chave para uma estratégia de marketing bem-sucedida é saber o que funciona e aproveitar essas informações. O teste A/B fornece esse insight importante e elimina a necessidade de adivinhar o que funciona melhor. Com o teste A/B, você executa um experimento aleatório usando duas partes semelhantes de conteúdo que você compartilha com grupos diferentes e monitora para ver qual produz os resultados desejados.

Isso geralmente é feito com e-mails, onde diferentes linhas de assunto ou ângulos podem ser usados ​​para testar o que resulta em uma taxa de abertura mais alta. Ou você pode testar dois anúncios para a mesma oferta com uma cópia ligeiramente diferente para ver qual versão leva a uma taxa de cliques mais alta.

As peças de conteúdo que produzem o melhor conjunto de resultados são consideradas a amostra 'vencedora' e são usadas em campanhas futuras ou para criar outros materiais de marketing. Se você achar que ambas as amostras têm resultados iguais ou semelhantes, pode significar que você precisa tornar cada uma mais distinta para testá-las adequadamente.

Claro, isso não significa que a amostra 'perdedora' seja ruim. Na verdade, a percepção de seu desempenho pode ser crucial para ajudá-lo a decidir como se comunicar melhor com um segmento menor de seu público ou o que evitar fazer no futuro.

Por que você deve realizar um teste A/B?

Sem o teste AB, você está essencialmente voando às cegas. Você está compartilhando conteúdo e esperando ter elaborado a mensagem certa para o público que está tentando atrair. A principal razão para realizar testes A/B é coletar informações sobre seu público e como eles respondem ao seu conteúdo. Isso fornece dados que você pode usar para melhorar o conteúdo que está produzindo, a frequência com que é compartilhado e até a plataforma em que é publicado.

Nos estágios iniciais de produção de conteúdo, você usa informações gerais para orientá-lo, mas o teste A/B permite ajustar sua abordagem. Se você fez um teste A/B em um e-mail e o enviou para um grupo às 10h e outro às 15h, pode usar as taxas de abertura de cada um para determinar o melhor horário para enviar seus e-mails. Da mesma forma, você pode fazer pequenas alterações nas linhas de assunto ou na visualização do e-mail para ver qual produz uma resposta melhor de seus assinantes.

Como funciona o teste A/B?

O teste A/B parece bastante simples, mas precisa ser executado corretamente para produzir resultados confiáveis. Você está trabalhando com várias variáveis ​​não controladas, como tempo, software e pessoas, então há uma grande margem para erros. É aqui que o planejamento adequado pode ajudar. Aqui estão algumas etapas importantes que você deve seguir para executar um teste AB bem-sucedido e produzir resultados precisos.

Etapa 1. Decida qual variável você deseja testar

O primeiro passo é saber exatamente o que você vai testar. Para cada teste AB executado, você precisa se concentrar apenas em uma coisa. Essa variável pode ser sua linha de assunto ou uso de personalização para um conjunto de e-mails ou a cópia usada para sua call to actions. Embora você possa testar várias variáveis ​​para um conteúdo, certifique-se de testar cada conjunto de variáveis ​​em momentos diferentes. Se você tentar testar várias variáveis ​​de uma só vez, não será capaz de dizer qual variável foi realmente mais eficaz.

Além disso, ao restringir exatamente o que você deseja testar, você poderá decidir melhor como criar as variáveis. Se você quiser testar a eficácia da personalização para aumentar suas taxas de abertura, você sabe que um conjunto de e-mails precisará incluir personalização e o outro não. Da mesma forma, se seu foco estiver em como sua cópia afeta suas taxas de cliques, seu foco estará na criação de dois conjuntos diferentes de cópias de call-to-action.

Etapa 2. Identifique em qual métrica focar

Você também precisa saber o que deseja medir. É a sua taxa de cliques? Suas taxas de abertura? O número de novos assinantes? Ao ser claro na métrica, você sabe exatamente em quais dados focar ao decidir qual versão é mais eficaz.

Em alguns casos, especialmente se você tiver dados existentes, ajuda ter um objetivo real em mente ou até mesmo uma hipótese. Por exemplo, você pode ter notado que certas palavras afetam negativamente sua taxa de abertura e pretende executar um teste AB para ver se isso é verdade. Sua hipótese pode ser que usar a palavra 'burnout' na minha linha de assunto reduz minha taxa de abertura em 3% . Seu objetivo será identificar qual linha de assunto resulta em uma taxa de abertura mais alta.

Etapa 3. Configure um Controle e um Desafiador

Ao concluir as duas primeiras etapas, você identificou suas variáveis ​​e o resultado desejado. Agora você estará pronto para decidir quais são seu 'controle' e 'desafiador'. Para seu controle, você criará seu conteúdo como faria normalmente.

Voltando ao nosso exemplo de tentar aumentar as taxas de abertura testando linhas de assunto, você usaria o formato típico de sua linha de assunto com a inclusão da palavra 'burnout'. Por exemplo, dez maneiras comprovadas de evitar o esgotamento como criativo .

Seu desafiante é onde você começaria a fazer ajustes com base na hipótese que você tem. Nesse caso, sua linha de assunto pode ser mais ou menos assim: Dez maneiras de alimentar sua energia criativa.

Etapa 4. Divida sua amostra uniformemente, se necessário

A forma como você divide sua amostra é determinada pelo tipo de conteúdo que você está testando e pela ferramenta que você usa. Para e-mails, você normalmente divide sua amostra igualmente para que cada grupo seja bastante semelhante, mas você também pode optar por dividi-la aleatoriamente por sua ferramenta de teste AB.

Para outros conteúdos sobre os quais você tem menos controle, como uma página de destino ou anúncios, sua amostra será dividida aleatoriamente.

Etapa 5. Escolha o tamanho da amostra

Assim como ao escolher como dividir sua amostra, você determinará o tamanho real da amostra com base na ferramenta que usa e no conteúdo que está testando. Para e-mails, você normalmente pode enviar seu controle e desafiante para um pequeno subconjunto de sua lista de e-mail. Assim que um alvo específico for alcançado, o 'vencedor' será enviado para os contatos restantes.

Páginas da Web e anúncios são muito diferentes, pois você não tem um número definido de pessoas que espera vê-los. Portanto, o tamanho da amostra será determinado por quanto tempo o conteúdo está sendo compartilhado ou quanto dinheiro é gasto no anúncio.

Independentemente do método usado, você deseja garantir que o teste seja executado por tempo suficiente para obter resultados conclusivos.

Etapa 6. Determine quão significativos devem ser seus resultados

Lembra daquela etapa anterior para identificar a métrica na qual você deseja se concentrar? É aqui que isso se torna particularmente importante. Você precisa determinar a importância dos seus resultados para escolher o conteúdo 'vencedor' ou com melhor desempenho. Aqui a significância estatística entra em jogo. Se já faz um tempo desde que você fez uma aula de estatística, é hora de uma rápida atualização.

A significância estatística fala sobre a probabilidade de seus resultados serem devido a erro ou acaso. Quanto maior sua significância estatística, mais confiáveis ​​seus resultados, pois isso significa que é improvável que seus resultados tenham sido aleatórios ou alcançados por erro.

Lembre-se de que o resultado do seu teste será usado para determinar sua estratégia de marketing, como você orçamenta seus gastos com anúncios e como se comunica com seu público. Portanto, você quer ter a maior certeza possível de que os dados que orientam essas decisões são precisos. Normalmente, você deseja ter pelo menos um nível de confiança de 95%, mas pode chegar a 99%.

Calcular sua significância estatística e níveis de confiança pode ser um processo bastante complicado, mas felizmente existem ferramentas úteis que podem cuidar disso para você.

Etapa 7. Escolha uma ferramenta de teste A/B

Muitas das ferramentas de marketing digital populares no mercado podem ser usadas para executar testes A/B. Ferramentas como Facebook Ads Manager, Google Optimizer, Hubspot, ActiveCampaign, Adobe Target e Visual Website Optimizer são apenas alguns exemplos de software que podem executar testes A/B para e-mails, páginas da web ou anúncios.

Ao escolher uma ferramenta, você deve considerar como a usará, quais tipos de conteúdo ou campanhas testará, acessibilidade e facilidade de uso. Outra característica crucial para focar é como os dados são coletados e compartilhados. Esses números são a saída mais importante de que você precisa, portanto, escolha uma ferramenta que forneça relatórios detalhados em um formato fácil de entender.

Etapa 8. Teste as versões A e B ao mesmo tempo

Seu teste precisa ser feito com o seu controle e o desafiante ao mesmo tempo. Isso significa que você não pode enviar o e-mail A hoje e o e-mail B na próxima semana ou veicular cada anúncio com dias de intervalo. Eles precisam ser testados nas mesmas condições, com as únicas diferenças sendo o elemento alterado e os indivíduos reais que veem o conteúdo.

A única exceção a esta regra é quando o teste está relacionado ao seu tempo. Se você está tentando encontrar a hora ou o dia certo para alcançar seu público, naturalmente você compartilhará seu conteúdo em momentos diferentes. Neste caso, no entanto, a única diferença entre o controle e o desafiante seria o tempo .

Etapa 9. Concentre a análise em seu objetivo principal

Depois de executar seu teste e começar a coletar seus resultados, você será inundado com dados. Embora tudo isso seja relevante, você precisa priorizar a métrica que se propôs a medir. Se seu objetivo principal era descobrir o que funciona melhor para sua taxa de abertura, então esse precisa ser o foco de sua análise. Esse será o fator determinante ou qual dos dois foi bem sucedido.

Isso não quer dizer que você deve descartar os dados restantes. Isso pode ser usado para ajudar você a entender melhor seu público e até mesmo melhorar ainda mais seu conteúdo. O importante a lembrar é que é bom ter esses dados adicionais – não o foco principal do teste.

Etapa 10. Meça seus resultados com uma calculadora de teste A/B

Nesse estágio, você tem todos os dados e está analisando os números. Então, como você realmente mede seus resultados e determina se eles são substanciais o suficiente para fazer mudanças em sua estratégia?

Ferramentas como o Hubspot ou a calculadora de testes A/B do Survey Monkey podem eliminar as suposições. Usando essas ferramentas, você inserirá o número de pessoas que receberam cada variável e quantas pessoas agiram. Isso produzirá as taxas de conversão para cada um e fornecerá um indicador claro de qual teve melhor desempenho.

Etapa 11. Use seus resultados para orientar sua próxima ação

Agora que você tem dados sólidos, pode usá-los com confiança para determinar quais mudanças, se houver, são necessárias para sua estratégia. Observe que o teste AB nem sempre é uma atividade única. Você pode testar seu conteúdo vencedor contra outro desafiante para obter ainda mais informações até estar satisfeito de que o que está produzindo produzirá os melhores resultados.

E se você não estiver satisfeito com os resultados, sempre poderá recomeçar com conjuntos de conteúdo completamente novos. O melhor é que, mesmo que os resultados sejam insatisfatórios, eles ainda fornecem informações valiosas que você pode usar.

Como interpretar os resultados dos testes A/B

Falamos bastante sobre o quão valiosa é a informação recebida do seu teste, mas como você a interpreta adequadamente? Mais uma vez você precisa se concentrar em seu objetivo principal. Se a métrica em que você estava se concentrando eram as taxas de abertura, você as analisará primeiro. Esse é o número que você conectará à sua ferramenta de teste A/B.

Em seguida, você verá as diferenças nas taxas de conversão. Você pode ter visto uma taxa de conversão de 3% para o email A, mas uma taxa de conversão de 7% para o email B com um nível de confiança de 95%. Esses resultados são considerados estatisticamente significativos e você pode esperar que o uso do e-mail B como modelo para e-mails futuros resulte em uma taxa de conversão mais alta.

Você também pode analisar mais detalhadamente as informações demográficas do público, como idade, sexo, localização, tipo de dispositivo ou a hora do dia em que seus e-mails foram abertos. Todas essas informações oferecem uma visão mais ampla de quem é seu público e o que pode funcionar para eles.

Erros comuns de teste A/B a serem evitados

Mesmo profissionais de marketing experientes cometem erros com testes AB, o que pode afetar negativamente seus resultados e, por extensão, a estratégia. Aqui estão alguns dos erros mais comuns e as etapas que você pode tomar para evitar cometê-los.

Não permitir que o teste seja executado por tempo suficiente

Os testes AB normalmente são feitos por meio de uma plataforma específica e essas plataformas fornecem dados em tempo real. Agora, isso pode ser um grande benefício, desde que você seja paciente. É fácil ver o desempenho inicial do teste e encerrá-lo prematuramente porque você deseja tomar uma decisão rapidamente. O problema com isso é que você não está permitindo que o teste seja executado por tempo suficiente para lhe dar uma visão geral. Se você terminar seu teste depois de algumas horas, não teria sido tempo suficiente para obter resultados reais.

Para evitar isso, decida em seu estágio de planejamento por quanto tempo você deseja que seus testes sejam executados. Se você decidir por 24 horas , não faça nada por essas 24 horas, independentemente do desempenho do conteúdo.

Há também a questão das pessoas não reservarem um período de tempo adequado para realizar seus testes. Lembre-se de que diferentes tipos de conteúdo precisam ser testados em diferentes circunstâncias. Seus anúncios não podem ser testados pelo mesmo período de tempo que seus e-mails ou páginas de destino, por exemplo. Além disso, convém permitir mais tempo para públicos maiores. Pode-se esperar que um grupo tão pequeno quanto 50 pessoas produza resultados significativos em menos tempo do que um grupo de 35.000.

Testando muitas variáveis ​​ao mesmo tempo

Há uma razão pela qual é chamado de teste AB – você está testando o elemento A contra o elemento B. Embora existam testes multivariados, essa é uma forma completamente diferente de teste e é feita sob condições diferentes. O que acontece quando você executa um teste AB e inclui muitas variáveis ​​é que os resultados não são confiáveis. Haveria muitos casos de erro ou chance aleatória que poderia ter impactado o resultado. Se você enviar seus e-mails em horários diferentes, isso pode forçar a taxa de abertura e não a linha de assunto. Se você alterar o design do botão de call-to-action e a cópia, não poderá ter certeza do que fez a diferença.

É por isso que é crucial conhecer seu objetivo e usá-lo para orientar como seu teste é conduzido. Se você quiser se concentrar nas taxas de abertura, sua variável deve estar relacionada a isso. Se você estiver tentando obter mais visitas ao site, deverá ter apenas uma única variável relacionada a isso e nada mais. Ao fazer isso, você pode confiar nos resultados com mais confiança.

Testando muito cedo

Isso pode soar um pouco confuso, mas tenha paciência comigo. Quanto mais tráfego você tiver, maior será seu público, mais pessoas poderá incluir em seu teste e mais confiáveis ​​serão seus resultados.

Isso não quer dizer que você não deva testar seu conteúdo quando está apenas começando, mas não pode confiar muito nos dados que obtém. Você precisará testar novamente à medida que seus números crescem. A outra ressalva é que o teste muito cedo pode ser impulsionado por uma sensação de desespero para ver números melhores que podem distorcer seu teste. Isso faz com que você fique impaciente quando estiver executando o teste e pode cair na armadilha de terminá-lo cedo demais, deixando-o com dados inconclusivos ou com falha.

A melhor maneira de evitar cometer esse erro é simplesmente ser paciente. Aguarde até que seu conteúdo original tenha a chance de ser executado e, em seguida, decida se há espaço para melhorias. Dê a si mesmo algum tempo para começar a aumentar seu público e atrair seus alvos ideais para que os dados sejam realmente relevantes para você. É provável que, com tempo suficiente, você não precise fazer um teste – suas campanhas começarão a ganhar velocidade e, se isso não acontecer, você poderá tomar a decisão.

Pronto para usar o teste AB para melhorar sua estratégia de marketing?

Não há dúvida de que o teste A/B é uma parte vital de qualquer estratégia de marketing bem-sucedida, mas precisa ser bem executado. Isso significa identificar sua meta, a métrica principal, as ferramentas que você precisa usar e identificar suas variáveis.

Se você planejou corretamente seu teste usando as etapas descritas acima, coletar e interpretar os resultados deve ser simples. Insira os dados em sua calculadora e decida se a diferença é significativa o suficiente para fazer alterações em seu conteúdo.

Se for, reserve um tempo para realmente analisar os dados e interpretar seus resultados. Em seguida, use suas descobertas para impulsionar sua estratégia de marketing.

E antes que você perceba, você e sua empresa estarão colhendo os benefícios dos testes AB.