Inferência:
da amostra
ao mundo

1.1 O que se tem e o que se quer

A coluna da esquerda é um facto: mediu, é aquilo. A coluna da direita é uma quantidade que não se observa e sobre a qual se quer afirmar algo. A inferência é a disciplina desse salto, e a primeira coisa que ensina é que o salto tem sempre um custo — nunca se chega à outra margem com certeza, só com uma incerteza quantificada.

1.2 As duas fontes de erro, e só uma delas tem fórmula

1.3 A pergunta que a inferência responde de facto

É mais estreita do que parece, e vale a pena tê-la à letra:

1.4 Onde este volume se situa

2.1 A experiência mental que resolve tudo

Imagine que a conversão verdadeira do seu produto é exatamente 3,0%, e que nada muda durante um ano. Todas as semanas mede 12 400 sessões. Que números vai ver?

Não vai ver 3,0% todas as semanas. Vai ver 3,1%, 2,8%, 3,3%, 2,9%, 3,0%, 3,2%… — a oscilar em torno de 3,0% sem que nada tenha mudado. Essa oscilação tem um nome, variação amostral, e tem uma propriedade decisiva: é previsível.

2.2 A distribuição amostral

Se juntasse todas essas medições semanais num histograma, obteria uma distribuição — não dos dados, mas das estimativas. É a distribuição amostral, e é o objeto central da inferência.

São coisas muito diferentes, e confundi-las é a origem de metade dos erros. A distribuição dos dados pode ser feíssima — assimétrica, com caudas, com duas corcundas. A distribuição amostral da média tende a ser um sino simétrico mesmo assim, desde que a amostra seja suficientemente grande.

2.3 Como ver isto sem matemática nenhuma

Há uma técnica que torna a variação amostral visível e que dispensa fórmulas — chama-se reamostragem:

Recomenda-se fazer isto uma vez, para qualquer métrica real, mesmo que depois use fórmulas para sempre. Ver o histograma das estimativas transforma um conceito abstrato numa imagem concreta, e essa imagem é o que impede os erros de interpretação dos capítulos 4 e 6. Tem também uma vantagem prática: funciona para estatísticas que não têm fórmula simples, como a mediana ou o p90.

3.1 O que é o erro-padrão

O erro-padrão é o desvio-padrão da distribuição amostral — ou seja, uma medida de quanto a sua estimativa oscilaria se repetisse a recolha. Para uma média:

3.2 O que a raiz quadrada custa

Consequências práticas que decidem projetos:

• Passar de 100 para 400 observações vale muito — corta o erro a metade. Passar de 10 000 para 10 400 não vale nada.
• Um estudo com metade dos dados necessários não está "quase lá". Está a um quarto do caminho, e é a razão pela qual "corremos mais uma semana" raramente salva um teste subdimensionado.
• Reduzir a variabilidade vale mais que aumentar a amostra, e é frequentemente mais barato: medir melhor, controlar condições, ou usar cada sujeito como seu próprio controlo. Está no numerador, portanto não paga a raiz.

3.3 O erro-padrão não é o desvio-padrão

3.4 O que a fórmula assume, e quando falha

• Observações independentes. É o pressuposto mais violado. Se cada utilizador contribui com 40 sessões, não tem 12 400 observações independentes: tem 310 utilizadores. Tratar sessões como independentes subestima grosseiramente o erro e produz intervalos falsamente estreitos — um dos erros mais comuns e mais consequentes em analítica de produto.
• Amostra aleatória da população de interesse. Se não for, a fórmula continua a dar um número — só que sobre a coisa errada (capítulo 1).
• n suficiente para a assimetria dos dados. Com caudas pesadas, a aproximação normal precisa de muito mais do que as regras habituais sugerem.

4.1 A construção

Um intervalo de confiança a 95% para uma média é, aproximadamente, a estimativa ± 2 erros-padrão. Se mediu 3,4% com um erro-padrão de 0,15 pontos, o intervalo é [3,1% — 3,7%].

4.2 O que significa, à letra

É intelectualmente desconfortável, e é a razão pela qual quase toda a gente o interpreta mal. Vale a pena separar as duas leituras:

4.3 Porque é melhor que um teste

O intervalo diz tudo o que um teste de hipóteses diz, e mais:

• Mostra a magnitude, não só a existência. "[+0,1% — +4,2%]" e "[+2,0% — +2,3%]" podem ter o mesmo valor-p e são decisões completamente diferentes.
• Mostra a precisão. Um intervalo larguíssimo diz "não sabemos nada", que é uma conclusão honesta e útil — e que um teste comunica como "não significativo", o que soa a "não há efeito".
• Distingue os dois nadas. "[-0,1% — +0,1%]" diz que o efeito é nulo ou minúsculo — informação real. "[-8% — +9%]" diz que o estudo não conseguiu ver nada. Ambos dão "não significativo" e são conclusões opostas.

4.4 Ler intervalos que se sobrepõem

5.1 O raciocínio, por passos

É uma prova por absurdo probabilística: assume-se o contrário do que se quer mostrar e mostra-se que os dados encaixam mal nessa suposição. Daí toda a estranheza da linguagem — "rejeitar a hipótese nula" em vez de "provar o efeito".

5.2 As duas formas de errar

Poder = 1 − β: a probabilidade de detetar um efeito de determinado tamanho, se ele existir. É o assunto do capítulo 7, e é o parâmetro que quase ninguém calcula.

5.3 "Não rejeitar" não é "aceitar"

5.4 Uma escolha que se faz antes de ver os dados

• Unilateral ou bilateral. Testar "B é melhor que A" em vez de "B é diferente de A" torna mais fácil obter significância. É legítimo se a direção foi fixada antes e uma queda for irrelevante para a decisão — o que quase nunca é verdade em produto. Escolher a direção depois de ver os dados é fazer batota.
• O limiar. Fixe α antes. Ajustá-lo depois de ver o resultado é o mesmo tipo de batota, com melhor aparência.
• O tamanho de amostra. Decidido antes, a partir do poder (cap. 7). Decidir parar quando dá significativo é o erro do capítulo 8.

O padrão comum às três: todas as decisões do procedimento têm de ser tomadas antes de olhar para o resultado, porque a garantia de 5% só vale se o procedimento for fixo. Um procedimento que se adapta ao que vê não tem 5% de falsos positivos — tem muito mais.

6.1 A definição

6.2 As cinco leituras erradas

6.3 Porque a taxa-base decide tudo

6.4 O que fazer com isto

• Reporte o intervalo, e o valor-p só ao lado dele.
• Reporte o tamanho de efeito em unidades que signifiquem alguma coisa: euros, segundos, pontos percentuais.
• Diga quantas hipóteses testou — sem isso o número não é interpretável (cap. 8).
• Diga o que esperava antes. Um resultado surpreendente exige mais evidência que um esperado, e isto não é uma opinião: é a aritmética de 6.3.
• Não escreva "marginalmente significativo" para p = 0,06. Ou o limiar era relevante, ou não era — e se não era, não devia ter sido usado.

7.1 O que é

Poder é a probabilidade de detetar um efeito de determinado tamanho, se ele existir. Depende de quatro coisas, e fixadas três, a quarta está determinada:

É por isso que o cálculo de poder se faz antes de recolher dados: serve para decidir o tamanho da amostra, e depois do estudo já não tem utilidade — nessa altura o intervalo diz tudo o que interessa.

7.2 O que acontece com poder baixo

E há uma terceira consequência, ainda pior: com poder muito baixo, entre os resultados significativos há uma fração não desprezável em que o sinal está invertido — o estudo conclui que ajuda quando prejudica.

7.3 A conta que ninguém quer fazer

7.4 A implicação estratégica

Para a maior parte das equipas de produto, a conclusão prática é desagradável e libertadora: não têm volume para detetar melhorias pequenas, e por isso não devem tentar. Faz mais sentido testar poucas mudanças grandes do que muitas pequenas — não por gosto, mas porque as pequenas são invisíveis àquele volume, e testá-las produz sobretudo ruído com aparência de resultado.

8.1 A aritmética

Com α = 5%, cada teste tem 5% de probabilidade de dar falso positivo. Com testes independentes:

Aos 14 testes é mais provável do que não encontrar pelo menos um resultado "significativo" mesmo que nada seja real. E ninguém pensa em si próprio como estando a fazer 14 testes — pensa que está a "explorar os dados".

8.2 Onde os testes se acumulam sem se dar conta

• Métricas. Um teste A/B com 8 métricas de sucesso são 8 testes.
• Segmentos. "Não funcionou no geral, mas funcionou nos utilizadores móveis novos de Portugal" — cada corte é mais um teste.
• Momentos. Espreitar o resultado todos os dias durante duas semanas são 14 oportunidades de cruzar o limiar (8.4).
• Variantes. Cinco versões contra o controlo são cinco comparações.
• Análises alternativas. Com ou sem outliers, com ou sem a primeira semana, log ou não: cada escolha é um teste que não foi contado.

8.3 As correções, e o que custam

8.4 Espreitar é um caso especial e grave

Olhar para o resultado todos os dias e parar quando fica significativo inflaciona enormemente a taxa de falsos positivos — com espreitadelas suficientes, um teste sem efeito nenhum acaba por cruzar o limiar quase de certeza, porque a estatística oscila e basta apanhá-la num pico.

É o erro mais comum em testes A/B de produto, porque o painel está sempre ali e a tentação é permanente. As saídas legítimas: fixar a duração de antemão e não olhar, ou usar métodos desenhados para análise contínua — testes sequenciais, ou intervalos de validade permanente — que pagam o preço em poder de forma explícita e correta (Experimentação & A/B Testing).

10.1 As duas perguntas são independentes

10.2 Em que unidades falar

• Nas unidades da coisa, sempre que possível: euros por mês, segundos, pontos percentuais, número de pessoas. É o que permite a quem decide comparar com o custo.
• Em diferença absoluta e relativa, as duas (é a regra de denominadores do volume I, cap. 7).
• Em medidas padronizadas — efeito a dividir pelo desvio-padrão — quando precisa de comparar entre estudos com escalas diferentes. Útil na investigação, e quase sempre pior do que euros numa reunião de produto.
• Nunca só como "significativo". É uma categoria binária a substituir uma quantidade.

10.3 O custo do outro lado

10.4 Como reportar

11.1 O que se descobriu

A partir de 2011, esforços organizados de replicação em psicologia, economia experimental, biologia do cancro e outras áreas produziram um resultado desconfortável: uma proporção substancial dos estudos publicados não se confirma quando repetida, e entre os que se confirmam, os efeitos são tipicamente bastante menores do que o publicado.

As percentagens variam com a área e com o critério de "replicou", e não vale a pena fixar-se num número. O padrão é que interessa, e é consistente: menos confirmações do que se esperaria, e efeitos que encolhem.

11.2 As causas, e onde já as viu

11.3 O que isto significa fora da academia

Uma equipa de produto tem todos os ingredientes e mais alguns:

• Estudos pequenos — poucas semanas, tráfego limitado.
• Muitas métricas num painel sempre visível.
• Análise depois de ver — segmentos explorados até algo aparecer.
• Publicação enviesada interna: os testes que ganharam são apresentados; os que não deram nada desaparecem sem relatório. É exatamente o mesmo mecanismo, à escala da empresa.
• Incentivo pessoal: quem lança uma funcionalidade com "+14%" tem uma história melhor para contar do que quem conclui "não deu nada".

A consequência prática é conhecida de quem trabalha com experimentação: a soma dos ganhos anunciados ao longo do ano não aparece no total do negócio. Se cada teste deu +5% e a conversão anual está igual, os ganhos não eram reais — e o mecanismo está descrito nesta apostila inteira.

11.4 O que funciona contra isto

12.1 A lista, por ordem de utilidade

12.2 Frases para banir, e as substitutas

12.3 Quando não fazer inferência nenhuma

• Quando tem a população toda. Se mediu todos os clientes, não há amostragem — a diferença que vê é a diferença que existe. Calcular um valor-p aí é responder a uma pergunta que ninguém fez.
• Quando a decisão é a mesma nos dois casos. Se vai lançar de qualquer forma, o teste é cerimónia.
• Quando o erro sistemático domina. Precisão sobre a coisa errada (cap. 1).
• Quando a descrição já respondeu. Metade dos casos resolve-se com o volume I e nunca chega aqui.

12.4 O que vem a seguir