Cálculos estatísticos em testes A/Bn

Este artigo documenta os cálculos estatísticos detalhados usados em testes A/Bn manuais no Adobe Target. São previstas definições para Índice de conversão, Intervalo de confiança da taxa de conversão, Elevação, Intervalo de confiança para aumento, e Confiança.

NOTE
As informações contidas neste artigo substituem o arquivo PDF Cálculos do Adobe Target para testes A/B anteriormente disponível para download neste site.

Relatório de direcionamento mostrando o Índice de conversão, Intervalo médio de elevação e confiança, e Confiança de uma atividade de Teste A/B.

Desempenho médio

A seção a seguir explica os cálculos usados na ilustração anterior.

Taxa de conversão e Campanhas de receita por visitante (RPV)

A ilustração a seguir mostra Índice de conversão, Intervalo de confiança da taxa de conversãoe o número de Conversões em um Target relatório. Por exemplo, a primeira linha mostra que para a Experiência A: a variável Índice de conversão é de 25,81% com um Intervalo de confiança de ±7,7% e 32 conversões foram registradas. Considerando que 124 visitantes visualizaram a experiência, isso equivale a 32/124 = 25,81%.

A taxa de conversão ou média, μν, para cada experiência ν em um experimento é definida como uma relação da soma da métrica com o número de unidades atribuídas a essa métrica, Nν:

Aqui,

  • YixvName é o valor da métrica para cada unidade i, que foi atribuído a uma determinada experiência ν.

  • A soma sobre unidades i depende da escolha da metodologia de contagem.

    • Se Visitantes for usada como a metodologia de contagem, cada unidade será um visitante único definido como um participante único na atividade durante toda a vida útil da atividade.
    • Se Visitas for usada como a metodologia de contagem, cada unidade será uma visita única definida como um participante único em uma experiência durante um Target sessão (com um único sessionId). Quando a variável sessionId for alterada ou o visitante atingir a etapa de conversão, uma nova visita será contada.
    • Se Impressões da atividade é usada como a metodologia de contagem, cada unidade é uma impressão exclusiva definida como cada vez que um visitante carrega qualquer página da atividade.

Intervalo de confiança da média/Índice de conversão

O intervalo de confiança da taxa de conversão é intuitivamente definido como um intervalo de taxas de conversão possíveis consistente com os dados subjacentes.

Ao executar experimentos, o índice de conversão de uma determinada experiência é um estimativa da taxa de conversão "true". Para quantificar a incerteza nesta estimativa, Target usa um intervalo de confiança. Target sempre relata um intervalo de confiança de 95%, o que significa que, no final, 95% dos intervalos de confiança calculados incluem o índice de conversão verdadeiro da experiência.

Um intervalo de confiança de 95% da taxa de conversão μν é definido como o intervalo de valores:

Quando o erro-padrão da média é definido como

Se for utilizada uma estimativa imparcial do desvio-padrão da amostra:

Quando a campanha é uma campanha de taxa de conversão (ou seja, a métrica de conversão é binária), o erro padrão se reduz a:

Aumento

A ilustração a seguir mostra Elevação e Intervalo de confiança do aumento em um Target Relatório. O número representa a média do intervalo dos limites de aumento, e a seta reflete se o aumento é positivo ou negativo. A seta é exibida em cinza até que a confiança passe de 95%. Depois que a confiança ultrapassa o limite, a seta é verde ou vermelha com base em um aumento positivo ou negativo.

O aumento entre uma experiência ν e a experiência de controle ν0 é o "delta" relativo em taxas de conversão, definido como

Em que as taxas de conversão individuais são as definidas acima. De maneira mais simples,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Se o índice de conversão da experiência de controle ν0 é 0, não há aumento.

Confidence Interval of Lift

O gráfico de boxplot no Intervalo médio de elevação e confiança representa o valor médio e 95% Intervalo de confiança do aumento. O boxplot é cinza quando há qualquer sobreposição no intervalo de confiança de uma determinada experiência de não controle com o intervalo de confiança da experiência de controle. O boxplot é verde ou vermelho quando o intervalo de confiança da experiência é acima ou abaixo do intervalo de confiança da experiência de controle.

O erro padrão do aumento entre uma experiência ν e a experiência de controle ν0 é definida como:

metric-average

Em seguida, o Intervalo de confiança de 95% do aumento é:

Esse cálculo usa o método "Delta" e é descrito mais detalhes neste documento

Confiança

A última coluna mostra a confiança em um Target relatório. A confiança de uma experiência é uma probabilidade (denotada como uma porcentagem) de obter um resultado tão extremo quanto o observado, dada a hipótese nula ser verdadeira. Em termos de valores p, a confiança exibida é 1 - valor p. Intuitivamente, maior confiança significa que é menos provável que a experiência de controle e não controle tenha taxas de conversão iguais.

Entrada Target, um bicaudal Teste t de Welch é realizada entre a experiência de teste e a experiência de controle para testar se os meios das experiências de teste e controle são os mesmos. Porque geralmente não sabemos se o tamanho e as variações das amostras de dois grupos são os mesmos antes de executar o experimento, e Target Além disso, para que porcentagens desiguais de tráfego sejam enviadas para cada experiência, não pressupomos que a variação de cada experiência seja igual. Assim, o teste t de Welch é escolhido em vez do teste t de Student.

Para executar o teste t de Welch, primeiro começamos a calcular a estatística t e os graus de liberdade, em seguida, executamos um teste t de duas caudas para gerar o valor p. Por fim, calculamos a confiança com base no valor p.

A variável t-a estatística é definida como a diferença entre as médias de quaisquer duas variáveis aleatórias independentes, ν e ν0, dividido pelo erro padrão da diferença:

Onde μv e μv0 são os meios de ν e ν0 respectivamente, e o erro-padrão da diferença entre os μv e μv0 são dados por:

Onde σ2v e σ2v0 são as variações de duas experiências ν e ν0 respectivamente, e Nv e Nv0 são tamanhos de amostra para ν e ν0 respectivamente.

Para o teste t de Welch, o grau de liberdade é calculado do seguinte modo:

E grau de liberdade para ν e ν0 são definidos como:

Então, o valor p pode ser calculado a partir da área na cauda da variável t-distribuição:

Por último, a confiança Target é definida como:

Execução de cálculos offline

O download do relatório de CSV inclui apenas dados brutos e não inclui métricas calculadas, como receita por visitante, aumento ou confiança usada para testes A/B.

Para calcular essas quantidades estatísticas, baixe a variável Target Calculadora de confiança completa Arquivo do Excel para inserir o valor da atividade.

recommendation-more-help
3d9ad939-5908-4b30-aac1-a4ad253cd654