A/B Test
Testes estatísticos para comparar duas variantes
O que é Teste A/B?
O Teste A/B é um método estatístico para comparar duas versões (A e B) e determinar qual performa melhor. É como fazer um experimento científico com seus usuários!
Você divide seu público em dois grupos: um vê a versão A (controle) e outro vê a versão B (variante). O sistema calcula se a diferença observada é estatisticamente significativa.
Exemplos de uso:
- • Testar duas versões de uma página de vendas
- • Comparar eficácia de duas campanhas de marketing
- • Avaliar impacto de mudanças em design ou copy
- • Decidir entre duas estratégias de pricing
Início Rápido
- 1. Prepare seus dados em formato CSV com grupo (A ou B) e métrica de resultado
- 2. Faça o upload do arquivo na página de upload
- 3. Configure os parâmetros (nível de confiança, tipo de teste)
- 4. Aguarde o processamento (normalmente 1-2 minutos)
- 5. Analise os resultados estatísticos e tome decisões baseadas em dados
Como organizar seus dados
Organize seus dados em uma planilha CSV com duas colunas:
Coluna 1: Grupo
Identifica qual versão foi mostrada. Use 'A' para controle e 'B' para variante.
Coluna 2: Conversão/Métrica
Resultado da ação (1 = converteu, 0 = não converteu) ou valor numérico (tempo, receita, etc)
Exemplo de planilha de teste A/B:
| group | converted |
|---|---|
| A | 1 |
| A | 0 |
| B | 1 |
| B | 1 |
💡 Dica: Cada linha representa um usuário ou observação. Use 1 para sucesso (conversão, clique, compra) e 0 para falha.
Configurações do teste
Nível de Confiança
Define o quão certo você quer estar de que a diferença é real (não é por acaso).
Tipo de Teste
Escolha o teste estatístico adequado para seus dados:
Z-Test (proporções)
Para dados binários (0 ou 1): conversões, cliques, compras
T-Test (médias)
Para valores numéricos contínuos: tempo, receita, quantidade
Teste Unicaudal vs Bicaudal
Define a hipótese do teste:
Bicaudal (two-tailed)
Testa se há diferença em qualquer direção (maior ou menor)
Unicaudal (one-tailed)
Testa se B é especificamente melhor que A
Entendendo os resultados
O teste retorna estatísticas que ajudam a decidir se a versão B é realmente melhor que A ou se a diferença pode ser apenas sorte.
Métricas Principais
P-valor (p-value)
Probabilidade de observar essa diferença por acaso.
p < 0.05 = Diferença significativa! | p > 0.05 = Diferença não significativa
Taxa de Conversão
Percentual de sucesso em cada grupo (A e B).
Exemplo: Grupo A: 12%, Grupo B: 15% (B é 25% melhor)
Intervalo de Confiança
Faixa onde a verdadeira diferença provavelmente está.
Se não inclui zero, a diferença é estatisticamente significativa
Tamanho do Efeito (Effect Size)
Magnitude prática da diferença encontrada.
Pequeno (0.2), Médio (0.5), Grande (0.8)
⚠️ Importante: Um resultado estatisticamente significativo (p < 0.05) não garante impacto no negócio. Sempre considere o tamanho do efeito e o contexto prático da decisão.
Precisa de ajuda? Entre em contato: contato@grabatus.com