Capítulo 01 Fundamento
A pergunta é sobre um mundo que não existe
Toda a afirmação causal compara o que aconteceu com o que teria acontecido de outra forma. O segundo termo dessa comparação nunca é observável — e é daí que vem toda a dificuldade.
1.1 O contrafactual
"O desconto aumentou as vendas em 12%" significa: as vendas foram X com desconto, e teriam sido Y sem desconto, e X − Y = 12%. O problema é imediato: Y nunca foi observado. Aquele mês, com aqueles clientes, naquelas condições, só aconteceu uma vez, e aconteceu com desconto.
Para cada unidade, só se observa um dos resultados possíveis. A pessoa que tomou o medicamento não pode ser observada a não o tomar. A campanha que correu não pode ser observada a não correr.
Toda a inferência causal é, por isso, um problema de dados em falta: falta metade da tabela, por construção, e não há volume de dados que a preencha. O que existem são estratégias para estimar o termo em falta — e cada estratégia assenta em suposições que os dados não conseguem verificar.
1.2 O que fazemos em vez disso
Como não se observa a mesma unidade nos dois estados, usa-se um substituto: outras unidades que não receberam o tratamento. Toda a pergunta passa a ser:
O grupo que não recebeu o tratamento é um bom substituto para o que teria acontecido ao grupo que recebeu?
Se sim, a diferença entre eles estima o efeito. Se não — se os dois grupos diferem em coisas que também afetam o resultado —, a diferença mistura o efeito com essas diferenças, e nenhuma sofisticação estatística posterior separa as duas coisas.
Os doze capítulos são variações desta pergunta: como construir um bom substituto, como reconhecer um mau, e o que se pode dizer quando o melhor disponível é imperfeito.
1.3 Porque isto não se resolve com mais dados
| Problema | Mais dados resolvem? |
|---|---|
| A estimativa é imprecisa | Sim — é o volume II |
| Os grupos diferem em algo que afeta o resultado | Não. Um milhão de linhas com o mesmo desequilíbrio dá uma estimativa muito precisa do número errado |
É a distinção que atravessa toda a série: precisão e correção são problemas independentes, e a estatística clássica só ataca o primeiro. Um intervalo de confiança estreito à volta de uma estimativa enviesada é a forma mais eficaz de parecer rigoroso enquanto se está errado.
1.4 Onde este volume se situa
Volume IV de quatro, e o fecho da série. O I tratou de descrever; o II do salto da amostra para o mundo; o III de relações entre variáveis — e adiou dezassete vezes a pergunta que este responde: quando é que um coeficiente pode ser lido como efeito.
Para a aplicação em experimentação de produto, Experimentação & A/B Testing. Para o caso concreto da atribuição em marketing — que é o exemplo do capítulo 9 — O Futuro da Descoberta e do Marketing. Para o raciocínio sobre causas fora do quadro estatístico, Análise de Causa Raiz e Pensamento Sistémico.
Pegue na última afirmação causal que a sua equipa fez. Escreva a frase completa: "aconteceu X; sem a intervenção teria acontecido Y". Depois pergunte de onde veio a estimativa de Y. Frequentemente descobre-se que ninguém pensou nisso.
Capítulo 02 Núcleo
Confundimento: a terceira variável
A explicação alternativa mais comum para qualquer associação é que ambas as coisas têm uma causa em comum — e ela costuma ser óbvia depois de nomeada.
2.1 A estrutura
Um confundidor é uma variável que influencia tanto a suposta causa como o resultado. Quando existe, produz uma associação entre as duas sem que uma cause a outra.
| Associação observada | Confundidor |
|---|---|
| Vendas de gelados e afogamentos | Calor |
| Quem usa a funcionalidade nova retém-se mais | Quem já era ativo experimenta mais coisas |
| Quem faz a formação tem melhor desempenho | Quem se inscreve já é mais motivado |
| Anúncios de marca e vendas | Quem já ia comprar procura a marca (cap. 9) |
| Empresas com escritório bonito crescem mais | Empresas que já cresciam podem pagar escritórios bonitos |
2.2 A causalidade invertida, que é um caso à parte
Nem toda a explicação alternativa é um confundidor. Por vezes a seta vai ao contrário do que se supõe:
- "Clientes que contactam o apoio cancelam mais" — ou quem já está a pensar cancelar contacta o apoio.
- "Empresas com mais reuniões são menos produtivas" — ou equipas em dificuldade convocam mais reuniões.
- "Bombeiros presentes correlacionam-se com prejuízo do incêndio" — o prejuízo grande é que chama mais bombeiros.
A defesa mais barata é temporal: a causa suposta ocorreu antes do resultado? É necessário, e não é suficiente — mas elimina muita coisa em cinco minutos.
2.3 Porque a autosseleção é o confundidor por excelência
Em quase todos os dados observados, quem recebeu o tratamento escolheu recebê-lo — ou alguém escolheu por eles. E a razão da escolha costuma estar relacionada com o resultado.
Quem adota uma funcionalidade nova é quem já usava mais. Quem aceita uma promoção é quem já ia comprar. Quem entra num programa de formação é quem já ia progredir. A seleção não é aleatória — é dirigida precisamente pelas variáveis que afetam o resultado, e é por isso que a diferença bruta entre adotantes e não adotantes é quase sempre uma sobrestimativa grosseira.
Quando alguém apresenta "os utilizadores da funcionalidade X retêm-se 40% mais", a primeira pergunta não é sobre estatística: é quem escolheu usar X, e porquê.
2.4 O que não é solução
- Mais dados. Não muda nada (cap. 1).
- "Controlar por tudo o que temos." Ajuda com os confundidores que se mediram, não faz nada pelos que não se mediram, e — como o capítulo 4 mostra — pode criar enviesamento onde não havia.
- Um valor-p pequeno. Confirma que a associação não é acaso. Não diz nada sobre a sua origem.
- Um modelo mais sofisticado. Aprender uma relação com mais flexibilidade não transforma associação em causa.
Para a próxima associação que encontrar, escreva três explicações alternativas antes de escrever a sua: um confundidor, uma inversão de sentido, e um mecanismo de seleção. É o hábito mais barato deste volume, e desarma a maioria dos entusiasmos.
Capítulo 03 Núcleo
Desenhar as suposições
As suposições causais estão sempre lá, quer se escrevam ou não. Desenhá-las torna-as discutíveis — e revela, mecanicamente, o que se deve e não se deve controlar.
3.1 Setas, e o que elas afirmam
Um diagrama causal é um conjunto de variáveis ligadas por setas, em que A → B significa "A tem influência direta em B". O que interessa não são as setas presentes — é o que a ausência de uma seta afirma: que não há influência direta, o que é uma afirmação forte e falsificável.
Ninguém é obrigado a concordar com o seu diagrama, e é esse o ponto. Um desenho torna as suposições explícitas, localizadas e criticáveis: um colega pode apontar uma seta em falta, e essa discussão é muito mais produtiva do que discutir se "o modelo está certo".
O contrário — não desenhar — não elimina as suposições. Só as torna invisíveis, e as suposições invisíveis não são discutidas.
3.2 Os três padrões que compõem tudo
Cadeia — A → M → B
M é um mediador: está no caminho pelo qual A afeta B. Anúncio → visita ao site → compra.
Controlar por M bloqueia o efeito que se quer medir.
Garfo — A ← C → B
C é um confundidor: causa comum. Calor → gelados, calor → afogamentos.
Controlar por C é necessário — sem isso, A e B parecem associados.
Colisor — A → K ← B
K é um colisor: é causado pelos dois. Talento → contratado ← experiência.
Controlar por K cria associação onde não havia. É o mais contraintuitivo dos três.
A assimetria
Repare: em dois dos três casos, controlar estraga. É por isso que "controlar por tudo" não é uma estratégia conservadora — é uma estratégia arriscada disfarçada de prudência.
3.3 O colisor, com um exemplo que se sente
Caso · Porque os candidatos contratados parecem contraditórios
Uma empresa contrata quem tem muita experiência ou quem teve excelente desempenho na entrevista técnica — qualquer das duas basta.
Entre todos os candidatos, experiência e desempenho na entrevista são independentes: não há relação nenhuma.
Entre os contratados, aparece uma correlação negativa forte. E a explicação é puramente estrutural: quem entrou com pouca experiência teve de ter uma entrevista excelente; quem entrou com entrevista fraca tinha de ter muita experiência. As duas formas de entrar excluem-se.
Conclusão que a empresa tira, olhando só para os contratados: "experientes não sabem fazer entrevistas técnicas". É uma afirmação sobre o processo de seleção, não sobre as pessoas — e é indistinguível de uma descoberta real se ninguém pensar na estrutura.
Sempre que se analisa um grupo definido por um resultado — os contratados, os que compraram, os que responderam, os que sobreviveram, os que aparecem na base de dados —, está a condicionar por um colisor. As associações que aparecerem dentro desse grupo podem ser inteiramente artefactos da seleção.
3.4 Como desenhar o seu
1. Escreva a causa suposta e o resultado, com uma seta entre elas.
2. Acrescente tudo o que influencia a atribuição do tratamento. "Quem escolheu, e porquê?" (cap. 2).
3. Acrescente tudo o que influencia o resultado por outras vias.
4. Marque o que não conseguiu medir — a parte mais importante do desenho. Um confundidor não medido não desaparece por não estar na folha de cálculo.
5. Mostre a alguém que conheça o domínio e pergunte que seta falta.
Não é preciso software nem formalismo: papel chega, e a discussão que o desenho provoca vale mais do que o desenho.
Desenhe o diagrama da última análise causal da sua equipa, com no máximo cinco variáveis. Marque a tracejado as que não foram medidas. Se houver alguma tracejada a apontar para o tratamento e para o resultado, tem um confundidor não observado — e é isso que limita a conclusão.
Capítulo 04 Núcleo
Quando controlar, e quando não
A intuição diz que controlar por mais variáveis é sempre mais rigoroso. A intuição está errada, e as duas formas de errar são simétricas.
4.1 A regra
Controle pelas variáveis que influenciam tanto o tratamento como o resultado (confundidores).
Não controle pelas que estão no caminho entre o tratamento e o resultado (mediadores).
Nunca controle pelas que são consequência de ambos (colisores).
Repare que a decisão depende de onde a variável está na estrutura causal — não de quão correlacionada está com o resultado, que é o critério que a maior parte das pessoas usa e que não distingue os três casos.
4.2 Controlar por um mediador: apagar o efeito
Caso · O anúncio que "não fazia nada"
Uma equipa estima o efeito de uma campanha nas vendas e, para "ser rigorosa", controla por visitas ao site. O coeficiente da campanha cai para perto de zero. Conclusão: a campanha não funciona.
Mas a campanha funciona trazendo visitas. A cadeia é campanha → visitas → vendas. Ao comparar apenas pessoas com o mesmo número de visitas, removeu-se exatamente o mecanismo pelo qual o efeito acontece.
É como avaliar se um medicamento baixa a mortalidade controlando pela tensão arterial, quando o medicamento age baixando a tensão. A resposta será "não faz nada", e estará errada.
Esta variável aconteceu antes ou depois do tratamento? Se aconteceu depois, é candidata a mediador e provavelmente não se controla. É uma heurística grosseira e resolve a maioria dos casos práticos.
Há uma exceção legítima: se a pergunta for "quanto do efeito passa por este caminho?", controlar é o que se quer — mas é uma pergunta diferente, chama-se análise de mediação, e deve ser declarada como tal.
4.3 Controlar por um colisor: inventar o efeito
O caso simétrico e mais insidioso, porque cria associações a partir do nada (cap. 3). Exemplos que aparecem em trabalho real:
- Analisar só quem converteu. A conversão é causada por muitas coisas; olhar apenas para quem converteu condiciona por um colisor e produz relações artificiais entre as causas.
- Controlar por "engajamento" ao estudar o efeito de uma funcionalidade. O engajamento é consequência da funcionalidade e do interesse prévio.
- Estudos feitos só em hospitalizados. Duas doenças independentes na população aparecem associadas entre internados, porque ter qualquer uma aumenta a probabilidade de estar lá.
4.4 A tabela de decisão
| A variável… | É | Controlar? | Se errar |
|---|---|---|---|
| Influencia tratamento e resultado | Confundidor | Sim | Estimativa enviesada pela associação espúria |
| Está no caminho causal | Mediador | Não | Efeito real desaparece |
| É consequência de ambos | Colisor | Nunca | Efeito inexistente aparece |
| Só influencia o resultado | Preditor | Opcional | Nada de mal — melhora a precisão |
| Só influencia o tratamento | Instrumento | Não como controlo | Perde precisão; mas é útil de outra forma (cap. 7) |
Não é possível decidir o que controlar olhando apenas para os dados. As três estruturas produzem padrões de correlação que, em muitos casos, são indistinguíveis. A decisão exige conhecimento sobre como o mundo funciona — que vem do domínio, não do conjunto de dados.
É por isso que a inferência causal não é uma técnica estatística mais avançada. É uma técnica estatística com uma teoria por cima, e sem a teoria não funciona por mais dados que haja.
Pegue no último modelo com variáveis de controlo da sua equipa e classifique cada uma nas cinco linhas da tabela. É frequente encontrar pelo menos um mediador — e retirá-lo costuma mudar a conclusão.
Capítulo 05 Núcleo
Aleatorizar: porque funciona tão bem
A aleatorização não é uma técnica entre outras. É a única que resolve o problema em vez de o contornar — e vale a pena perceber exatamente porquê.
5.1 O que a aleatorização faz
Ao atribuir o tratamento ao acaso, a atribuição deixa de ter causa: nenhuma variável influencia quem recebe o quê. Não há confundidores por definição, porque nada aponta para o tratamento no diagrama.
E — esta é a parte que nenhum outro método consegue — isso vale também para as variáveis que não mediu e para as que nem sabe que existem. É por isso que a aleatorização é qualitativamente diferente de "controlar por muitas variáveis": não depende de ter pensado em tudo.
Note-se o que ela não garante: os grupos não ficam iguais, ficam equilibrados em média, com desequilíbrios que se comportam como acaso — e é exatamente esse acaso que os intervalos do volume II quantificam. É por isso que as duas peças encaixam.
5.2 O que ainda pode correr mal
| Problema | O que acontece | Defesa |
|---|---|---|
| Desistência diferencial | Sai mais gente de um grupo, e sai por razões ligadas ao resultado — a aleatorização quebra-se depois de feita | Analisar por intenção de tratar: manter cada um no grupo a que foi atribuído, tenha ou não cumprido |
| Incumprimento | Quem foi atribuído ao tratamento não o usa; quem não foi, arranja-o | Intenção de tratar dá uma estimativa conservadora e honesta |
| Contaminação | O grupo de controlo é afetado — colegas contam, utilizadores partilham, o preço muda para todos | Aleatorizar em grupos (equipas, cidades, lojas) em vez de indivíduos |
| Efeitos de equilíbrio geral | O tratamento muda o sistema: mais anúncios de um anunciante encarecem o leilão para os outros | Aleatorizar ao nível do mercado; reconhecer que a extrapolação para "todos" não é válida |
| Sabem que estão a ser observados | Comportamento muda pela observação, não pelo tratamento | Cegamento onde for possível e ético |
Numa aplicação com componente social, atribuir metade dos utilizadores ao tratamento contamina a outra metade — as pessoas veem o que os amigos veem. O efeito medido é uma mistura de "receber o tratamento" e "conviver com quem o recebeu", e é tipicamente subestimado.
É a razão pela qual muitas empresas aleatorizam por cidade ou por região, aceitando muito menos poder estatístico (volume II, cap. 7) em troca de uma resposta que é sobre a pergunta certa. É um mau negócio em precisão e um bom negócio em verdade.
5.3 Aleatorizar mais do que se pensa
A objeção habitual — "não podemos aleatorizar isto" — é frequentemente verdadeira sobre a versão completa da pergunta e falsa sobre uma versão útil dela:
- Faseamento aleatório. Se a mudança vai chegar a todos, a ordem pode ser sorteada. Ninguém é privado de nada e obtém-se um estudo válido.
- Aleatorizar o convite, não a adoção. Não se pode obrigar ninguém a usar uma funcionalidade; pode-se sortear quem recebe o convite (cap. 7, variáveis instrumentais).
- Aleatorizar em pequeno. Uma região, um segmento, um mês. Menos poder, e infinitamente melhor do que nada.
- Sortear quando há empate. Se há mais candidatos do que vagas e os critérios não distinguem, o sorteio é justo e informativo.
E quando aleatorizar é eticamente inaceitável?
É uma objeção séria e nem sempre é o que parece. A condição que torna um estudo aleatorizado eticamente admissível é a incerteza genuína: se ninguém sabe qual das opções é melhor, sortear não prejudica ninguém em relação ao que aconteceria de outra forma — e a alternativa, decidir sem saber, também tem custos, só que invisíveis e distribuídos por muito mais gente.
Quando há razões fortes para acreditar que uma opção é melhor, aleatorizar deixa de ser defensável e o resto deste volume é o que resta. Sobre o enquadramento ético do trabalho com pessoas, Pesquisa com Utilizadores, cap. 11.
Liste três decisões que a sua equipa vai tomar nos próximos meses e, para cada uma, escreva como se poderia aleatorizar alguma coisa: a ordem, o convite, a região, o momento. Costuma haver pelo menos uma em que é possível e ninguém tinha pensado.
Capítulo 06 Estratégia
Sem aleatorização I: comparar ao longo do tempo
Quando o tratamento chegou num momento, o passado pode servir de substituto para o contrafactual — com uma suposição que é preciso defender explicitamente.
6.1 Antes-e-depois, e porque quase nunca chega
Medir antes e depois é a comparação mais natural e a mais frágil. Tudo o que mudou no mesmo período fica misturado com o efeito:
- Tendência. Se já estava a subir, continuaria a subir sem a intervenção.
- Sazonalidade. Comparar dezembro com novembro mede o Natal.
- Acontecimentos simultâneos. Outra campanha, uma alteração de preço, uma notícia, um concorrente.
- Regressão à média. Se a intervenção foi despoletada por um mau resultado, a melhoria seguinte era esperada sem fazer nada (volume I, cap. 10).
Se só tem antes-e-depois, pelo menos desenhe a série longa com a intervenção marcada. Se a subida começou antes da intervenção, ou se já tinha acontecido igual noutros anos, isso vê-se — e dispensa qualquer análise mais elaborada.
6.2 Diferenças em diferenças
O passo que transforma antes-e-depois num desenho defensável: acrescentar um grupo de comparação que não recebeu a intervenção, e comparar a variação de cada um.
Tendências paralelas: sem a intervenção, os dois grupos teriam evoluído da mesma forma. Não é verificável — refere-se a um mundo que não existiu —, mas é defensável:
- Mostre o passado. Se as duas séries andaram paralelas durante vários períodos antes, a suposição ganha credibilidade. Se divergiam já antes, não há caso.
- Teste de placebo. Aplique o método a uma data anterior, em que nada aconteceu. Se "encontrar" efeito, o método está a apanhar outra coisa.
- Grupo alternativo. Repita com outra comparação. Se o resultado mudar muito, dependia da escolha do grupo.
E note-se o que a suposição não exige: os dois grupos não precisam de ter o mesmo nível. Podem ser muito diferentes, desde que se movam em paralelo.
6.3 Controlo sintético
Quando não há um bom grupo de comparação, constrói-se um: uma média ponderada de várias unidades não tratadas, com os pesos escolhidos para reproduzir o comportamento da unidade tratada antes da intervenção. Depois compara-se o real com esse sintético.
- Serve sobretudo quando há uma unidade tratada — uma cidade, um país, uma loja — e muitas candidatas a comparação.
- Exige um histórico longo antes da intervenção; sem ele os pesos são ajustados a ruído.
- Tem uma virtude de comunicação rara: produz um gráfico que se explica em dez segundos — duas linhas juntas que se separam no momento da intervenção.
6.4 Séries interrompidas
Com muitos pontos antes e depois, pode modelar-se a tendência anterior e ver se há uma quebra de nível ou de inclinação no momento da intervenção. É mais forte que antes-e-depois porque usa a trajetória, e continua vulnerável a qualquer outra coisa que tenha acontecido na mesma data — que é uma pergunta a fazer sempre, e a responder com conhecimento do contexto, não com dados.
Para uma alteração recente que só afetou parte do produto, dos clientes ou das regiões, identifique a parte não afetada e desenhe as duas séries. Verifique se andavam paralelas antes. Muitas vezes existe um desenho de diferenças em diferenças à espera nos dados que já tem.
Capítulo 07 Estratégia
Sem aleatorização II: encontrar o acaso que já existe
Quando não se pode sortear, procura-se algo que já funcione como sorteio — uma regra administrativa, um limiar, uma coincidência. É o ofício central da economia empírica.
7.1 Emparelhamento: comparar semelhantes
A ideia mais direta: para cada unidade tratada, encontrar uma não tratada parecida nas variáveis observadas, e comparar dentro dos pares.
O que dá
Deixa explícito com quem se está a comparar, e revela quando não há comparação possível — se não houver não tratados parecidos, o emparelhamento falha em vez de extrapolar em silêncio, que é o que a regressão faz.
O que não dá
Só equilibra o que foi medido. Não faz nada pelos confundidores não observados — e a autosseleção (cap. 2) é normalmente dirigida por coisas não medidas: motivação, intenção, informação privada.
Emparelhar parece mais rigoroso do que uma regressão com controlos, e no essencial faz a mesma suposição: que todos os confundidores relevantes foram medidos. É uma suposição forte e não testável, e a sofisticação do método não a torna mais provável — só a torna menos visível.
7.2 Descontinuidade: o limiar como sorteio
Quando o tratamento é atribuído por uma regra com limiar — bolsa acima de 14 valores, desconto acima de 500 € de compra, apoio a empresas com menos de 50 trabalhadores —, quem está imediatamente acima e imediatamente abaixo é praticamente igual em tudo, exceto no tratamento.
- Muito credível perto do limiar: é quase um sorteio, criado pela burocracia.
- Válido só perto do limiar. Diz o que acontece a quem tem 13,9 e 14,1 valores. Não diz nada sobre quem tem 10 ou 19 — é uma limitação real, não uma tecnicalidade.
- Verifique manipulação. Se as pessoas conseguem escolher de que lado ficam, o sorteio desaparece. Sintoma: uma acumulação anormal de casos logo acima do limiar.
- Verifique que só o tratamento muda ali. Se aos 50 trabalhadores mudam também obrigações fiscais, o efeito estimado mistura tudo o que a regra desencadeia.
7.3 Variáveis instrumentais
Procura-se algo que influencie o tratamento mas não tenha outra ligação ao resultado. Esse "instrumento" fornece variação que não está contaminada.
Quer saber o efeito de usar uma funcionalidade. Não pode obrigar ninguém a usá-la, e quem a usa é diferente de quem não usa. Mas pode sortear quem recebe o convite.
O convite é um instrumento: influencia o uso e — se for um convite discreto — não tem outra via para o resultado. Estima-se então o efeito entre os que usam por causa do convite, que é uma população específica mas real.
As duas condições, e a assimetria entre elas: a primeira — o instrumento influencia mesmo o tratamento — verifica-se nos dados. A segunda — não há outra via para o resultado — não se verifica nunca: é uma afirmação sobre o mundo, defendida com argumentos. É onde quase todas as aplicações discutíveis falham, e é por isso que instrumentos "engenhosos" merecem mais desconfiança, não menos.
7.4 O quadro comparativo
| Desenho | Suposição central | Verificável? | Responde sobre |
|---|---|---|---|
| Aleatorização | Nenhuma (a atribuição é sorteada) | — | A população estudada |
| Diferenças em diferenças | Tendências paralelas | Parcialmente (o passado) | Os tratados |
| Controlo sintético | O sintético reproduz o contrafactual | Parcialmente | A unidade tratada |
| Descontinuidade | Continuidade no limiar; sem manipulação | Parcialmente | Quem está no limiar |
| Variáveis instrumentais | Sem outra via do instrumento | Não | Quem muda por causa do instrumento |
| Emparelhamento / controlos | Todos os confundidores medidos | Não | Os comparáveis |
Primeira: a força de um estudo causal está na coluna das suposições, não na sofisticação do cálculo. Um método simples com uma suposição defensável vale mais que um método elaborado com uma suposição implausível.
Segunda, menos notada: cada desenho responde sobre uma população diferente. Não estimam a mesma quantidade e depois divergem por erro — estimam quantidades genuinamente distintas. É o assunto do capítulo 10.
Liste as regras administrativas do seu contexto que criam limiares: escalões de preço, critérios de elegibilidade, cortes de pontuação, mínimos de encomenda. Cada uma é um desenho de descontinuidade à espera, e é frequente haver anos de dados já recolhidos.
Capítulo 08 Crítica
Quem entrou na análise
O enviesamento de seleção é confundimento a operar na porta de entrada dos dados — e é mais difícil de ver, porque as unidades enviesadas não estão lá para se notar a falta.
8.1 Seleção é condicionar por um colisor
É a mesma estrutura do capítulo 3, vista de outro ângulo: quando a entrada nos dados é influenciada tanto pelo tratamento como pelo resultado, analisar só quem entrou cria associações artificiais.
| Amostra | Quem falta | Enviesamento produzido |
|---|---|---|
| Quem respondeu ao inquérito pós-compra | Quem abandonou a compra | Satisfação e efeito do produto sobrestimados |
| Clientes ativos no fim do período | Quem cancelou durante | Efeitos de qualquer funcionalidade inflacionados |
| Sessões com dados de tracking | Quem bloqueia scripts | Um segmento inteiro, com comportamento próprio |
| Empresas que ainda existem | As que faliram a fazer o mesmo | Receitas de gestão que descrevem sobreviventes |
| Estudos publicados | Os que deram nulo | Literatura sistematicamente otimista |
8.2 O caso que se repete em produto
Caso · A funcionalidade que "retém 40% mais"
Uma análise mostra: clientes que usam a funcionalidade X ao fim de 30 dias retêm-se 40% mais ao fim de um ano. A conclusão apresentada é que se deve empurrar X para toda a gente.
Três problemas em camadas, e todos deste volume:
- Autosseleção (cap. 2): quem usa X é quem já estava mais envolvido.
- Seleção na porta: para usar X ao fim de 30 dias é preciso estar cá ao fim de 30 dias. Quem saiu antes está fora da análise, dos dois lados — e a definição do grupo já filtrou por uma forma de retenção.
- Causalidade invertida: quem tenciona ficar investe mais tempo a explorar, portanto encontra X.
O que o dado suporta: usar X é um bom indicador de retenção — o que é útil para prever e para priorizar apoio. O que não suporta: fazer alguém usar X aumenta a retenção. Distinguir as duas é a diferença entre um painel de saúde e uma decisão de roteiro.
Um convite sorteado a metade dos utilizadores novos (cap. 7). Se a retenção subir no grupo convidado, o efeito é real. Se não subir, X era um sintoma. Custa uma bandeira de funcionalidade e algumas semanas — e responde definitivamente a uma pergunta que se discute há anos em muitas empresas.
8.3 Defesas
- Desenhe o funil completo, desde a população de origem até à amostra final, com contagens em cada passo (volume I, cap. 11).
- Defina os grupos por algo anterior ao tratamento. Coortes por data de entrada, não por estado atual.
- Analise por intenção de tratar — quem foi atribuído, não quem cumpriu (cap. 5).
- Compare quem entrou com quem não entrou nas variáveis que tem. Não prova ausência de enviesamento, e diferenças visíveis já são um aviso.
- Faça a análise de limites. Se todos os que faltam tivessem o pior resultado possível, a conclusão mantém-se? Às vezes mantém-se, e nesse caso o problema estava resolvido sem esforço.
Para a sua última análise, escreva quantas unidades havia no início e quantas sobreviveram a cada filtro. Depois pergunte, para cada filtro: a razão de sair está relacionada com o resultado? Se estiver, tem seleção.
Capítulo 09 Método aplicado · Demo
A campanha que rendia 4,2× — e não rendia nada
Role devagar. A atribuição mais confiada do marketing digital, desmontada em seis passos até ao teste que a responde.
4,2× de retorno, medido por último clique
O número é aritmeticamente correto: 882 mil euros de receita passaram por sessões cujo último clique foi este anúncio. Ninguém inventou nada, e é o canal com melhor aspeto do painel — portanto é o candidato natural a receber mais orçamento.
Os cinco passos seguintes não põem em causa o cálculo. Põem em causa a que pergunta ele responde.
"Passou por" não é "dependeu de"
A atribuição responde a: quanta receita passou por este canal. A pergunta de decisão é outra: quanta receita não existiria se o canal desaparecesse (cap. 1).
São perguntas diferentes, e nenhum modelo de atribuição — último clique, primeiro clique, linear, baseado em dados — responde à segunda, porque todos repartem receita observada por caminhos observados. O contrafactual, por definição, não foi observado.
A intenção de comprar causa o clique e a compra
Estes anúncios aparecem a quem pesquisa o nome da marca — ou seja, a quem já a conhece e já decidiu. A intenção de comprar é a causa comum: leva a pesquisar a marca e leva a comprar (cap. 2).
É um garfo de manual, e é a razão pela qual a pesquisa de marca aparece sempre como o melhor canal em qualquer painel: está posicionada o mais perto possível de uma decisão que já foi tomada. O canal não é bom a gerar vendas — é bom a estar presente quando elas acontecem.
Sem o anúncio, o clique seguinte é gratuito
Aqui a estrutura torna-se concreta. O resultado orgânico da própria marca está imediatamente abaixo do anúncio, quase sempre em primeiro lugar. Se o anúncio não existisse, boa parte das pessoas clicaria na linha seguinte e a venda aconteceria na mesma — sem custo por clique.
Ou seja: o canal pode estar a comprar tráfego que já era gratuito. E o painel, por construção, atribui-lhe toda a receita desse tráfego.
Aleatorizar a geografia, medir a receita total
Não se pode aleatorizar por pessoa — quando alguém pesquisa, já pesquisou. Mas pode-se sortear regiões (cap. 5): metade com anúncios de marca ligados, metade desligados, oito semanas, com diferenças em diferenças sobre o período anterior (cap. 6).
E o detalhe decisivo do desenho: a métrica é a receita total da região, não a receita atribuída. Medir a receita atribuída num teste de desligar anúncios daria, trivialmente, que a receita atribuída caiu — que é uma tautologia, não um resultado.
−1,4% na receita total, e +71% de tráfego orgânico
A receita total nas regiões sem anúncios de marca ficou 1,4% abaixo, com intervalo de [−4,1%; +1,3%] — compatível com zero (volume II). E o tráfego orgânico da marca subiu 71% nessas regiões: quase todo o clique pago foi recuperado de graça.
O retorno real está algures entre negativo e ligeiramente positivo. O painel dizia 4,2×, e continuará a dizer — porque o painel está a fazer corretamente uma conta que não é a conta da decisão.
Vale a pena reter a forma geral, que se aplica muito para lá do marketing: quando uma métrica é medida por proximidade ao resultado, os canais mais próximos do fim recebem crédito por decisões já tomadas. É a mesma estrutura que faz a funcionalidade X "reter 40% mais" no capítulo 8. Sobre o contexto mais amplo da medição em marketing, O Futuro da Descoberta e do Marketing.
Identifique o canal com melhor retorno atribuído. Pergunte: quão perto está do momento da decisão? Se estiver muito perto, desenhe o teste de desligar por região. É o teste mais rentável que uma equipa de marketing pode correr, e o que mais raramente corre.
Capítulo 10 Crítica
Para quem vale a estimativa
Um efeito medido é um efeito médio, numa população, num contexto. Nenhuma destas três palavras é dispensável quando se decide agir noutro sítio.
10.1 A média esconde as diferenças
Um efeito médio de +5% é compatível com muitos mundos diferentes:
| Realidade | Média | Decisão certa |
|---|---|---|
| +5% para toda a gente | +5% | Aplicar a todos |
| +25% para 20%, nada para o resto | +5% | Identificar e servir esses 20% |
| +15% para metade, −5% para a outra | +5% | Aplicar seletivamente — a todos, prejudica metade |
O terceiro caso é o mais importante e o mais invisível: a média positiva esconde um prejuízo real para um grupo concreto. Se esse grupo for identificável, aplicar a todos é uma decisão pior do que o número sugere.
A forma óbvia de investigar isto é analisar subgrupos — e é exatamente aí que as comparações múltiplas produzem falsos positivos aos molhos (volume II, cap. 8). Detetar uma diferença entre grupos exige bastante mais dados do que detetar o efeito médio.
A conciliação: declare antes quais os poucos subgrupos com fundamento teórico, e trate tudo o resto como exploratório e a confirmar. Não é uma solução perfeita — é a única honesta.
10.2 Validade externa: aqui, e ali?
Um efeito estimado corretamente numa população pode não se transferir. As razões são conhecidas e verificáveis:
- População diferente. Testado em quem já é cliente; aplicado a quem não conhece a marca.
- Escala diferente. Funcionou com 1% dos utilizadores; a 100% muda o sistema — o leilão encarece, o canal satura, o efeito de novidade dilui-se.
- Contexto diferente. Testado em dezembro, aplicado em fevereiro.
- Implementação diferente. A versão testada foi feita com cuidado por uma equipa pequena; a versão lançada é outra coisa.
- Novidade. Muitos efeitos são o efeito de ser novo, e decaem — o que é uma razão forte para medir de novo semanas depois.
Que mecanismo produziu este efeito, e esse mecanismo existe onde quero aplicar? É a pergunta que a extrapolação exige, e não se responde com estatística — responde-se com uma teoria sobre porque funcionou.
É por isso que um estudo com efeito modesto e mecanismo compreendido é mais útil do que um estudo com efeito grande e mecanismo desconhecido: o primeiro diz-lhe onde vai funcionar outra vez.
10.3 Cada desenho responde sobre uma população diferente
Não é um detalhe técnico, é o que impede comparações apressadas entre estudos (cap. 7):
- Uma descontinuidade estima o efeito para quem está perto do limiar. Não diz nada sobre os restantes.
- Uma variável instrumental estima o efeito para quem muda de comportamento por causa do instrumento — que pode ser uma minoria não representativa.
- Um ensaio aleatorizado estima o efeito para quem aceitou participar, que raramente é toda a gente.
Dois estudos rigorosos sobre "o mesmo" tema podem dar números diferentes sem que nenhum esteja errado: estimam quantidades diferentes. Antes de concluir que a evidência é contraditória, vale a pena verificar se é sequer sobre a mesma coisa.
Para o último efeito que a sua equipa mediu, escreva a frase: "este número refere-se a [população], em [contexto], à escala de [x]". Depois compare com aquilo a que a decisão foi aplicada. A distância entre as duas é o risco que se está a correr.
Capítulo 11 Prática
Interrogar um estudo que não é seu
Na maioria das vezes não se faz a análise: recebe-se uma. Há uma sequência de perguntas que separa, em dez minutos, o que se pode usar do que não se pode.
11.1 As nove perguntas, por ordem
1 · Qual é o contrafactual? Comparado com o quê? Se não houver resposta, não há afirmação causal — há uma descrição (cap. 1).
2 · Como foi atribuído o tratamento? Sorteio, regra, ou escolha das pessoas? A resposta determina tudo o resto (cap. 2).
3 · Que confundidor não medido é plausível? Tente nomear um concretamente. Se conseguir em trinta segundos, é a primeira objeção.
4 · Que variáveis foram controladas, e alguma é mediador ou colisor? (cap. 4).
5 · Quem entrou na amostra, e quem ficou de fora? (cap. 8).
6 · Qual é a suposição central do desenho, e como foi defendida? Tendências paralelas mostradas? Placebo? (cap. 6, cap. 7).
7 · Qual é o intervalo? Não o valor-p (volume II).
8 · Quantas análises foram feitas antes desta? Métricas, subgrupos, especificações.
9 · A que população se aplica? (cap. 10).
Se só puder fazer uma, faça a 2: como é que se decidiu quem recebeu o tratamento? Quase todas as outras objeções decorrem da resposta, e é a pergunta que quem apresenta o estudo raramente antecipa.
11.2 O que aumenta a credibilidade sem experiência
Não há substituto para um bom desenho, e há sinais que, acumulados, tornam uma afirmação causal mais defensável:
- Mecanismo plausível. Existe uma história de como a causa produziria o efeito, e ela é testável?
- Ordem temporal. A causa antecedeu o efeito. Necessário, nunca suficiente.
- Dose-resposta. Mais causa, mais efeito. Difícil de produzir por confundimento simples.
- Consistência entre desenhos. Vários estudos com enviesamentos diferentes a apontar no mesmo sentido. Repetir o mesmo desenho não acrescenta quase nada; variar o desenho acrescenta muito.
- Uma previsão arriscada confirmada. A teoria previa algo específico e inesperado, e isso verificou-se. Vale mais do que qualquer quantidade de ajuste retrospetivo.
- Reversibilidade. Retirar a causa faz o efeito desaparecer — que é, no fundo, o teste do capítulo 9.
Não é uma grelha de pontuação. São argumentos que se acumulam, cada um com força própria, e nenhum é obrigatório nem decisivo. Uma afirmação causal defensável é um caso construído, não uma caixa assinalada — e a honestidade está em dizer quais dos argumentos não tem.
11.3 Duas armadilhas na leitura de números alheios
Risco relativo sem base
"Duplica o risco" pode ser de 2 para 4 em cem mil (volume I, cap. 7). Peça sempre o absoluto antes de reagir.
Um estudo é um estudo
Um resultado isolado, sobretudo se surpreendente e de amostra pequena, tem probabilidade elevada de não se repetir — pela aritmética da taxa-base e do poder (volume II, caps. 6 e 7). Não é ceticismo: é contabilidade.
Escolha uma notícia com uma afirmação causal ("estudo revela que X causa Y") e vá ao estudo original. Aplique as nove perguntas. É desconfortável com que frequência a pergunta 2 já resolve o assunto.
Capítulo 12 Ofício
Escrever o que se assume — e o fim da série
A competência que fica das quatro apostilas não é calcular melhor. É saber o que se está a assumir, e dizê-lo em voz alta antes de alguém perguntar.
12.1 O parágrafo que devia acompanhar toda a afirmação causal
Modelo, com tudo o que precisa de ter
«Estimámos o efeito de desligar os anúncios de marca na receita total, aleatorizando 20 distritos em dois grupos, durante 8 semanas.
Efeito estimado: −1,4% [−4,1%; +1,3%] — compatível com nenhum efeito.
Suposição central: os distritos não diferiam em tendência antes do teste (mostrado no gráfico anexo, 12 semanas anteriores).
O que pode invalidar: se houvesse campanhas locais diferentes no período — verificámos e não houve.
A que se aplica: anúncios de marca, nestes distritos, nesta época. Não se estende a campanhas de aquisição.
Análises feitas: uma, pré-declarada. Métrica primária: receita total.»
Parece que enfraquece a conclusão — declarar limitações, admitir o que pode invalidar. Faz o contrário: quem antecipa as objeções tira-as das mãos de quem discorda, e uma conclusão com limites declarados é muito mais difícil de atacar do que uma afirmação absoluta.
É o mesmo argumento de Apresentar e Defender Design, aplicado a números.
12.2 A hierarquia da evidência, para uso prático
| Força | Desenho | Quando é o melhor disponível |
|---|---|---|
| Alta | Aleatorização bem executada | Sempre que for possível — e é mais vezes do que se pensa |
| Boa | Descontinuidade; diferenças em diferenças com paralelismo demonstrado | Há uma regra, ou um grupo de comparação credível |
| Média | Instrumentos; controlo sintético | Há uma fonte de variação defensável |
| Fraca | Emparelhamento; regressão com controlos | Não há mais nada — e diga-se que é isso |
| Nenhuma | Correlação bruta; atribuição por último clique | Para descrever e gerar hipóteses, não para decidir |
Duas notas contra o uso rígido desta tabela: uma aleatorização mal executada pode valer menos que uma descontinuidade limpa, e evidência fraca é frequentemente tudo o que há. Nesse caso decide-se na mesma — dizendo que a base é fraca, o que muda a reversibilidade da decisão e o dinheiro que se lhe aloca.
12.3 O que fica das quatro apostilas
I · Ver os Dados
Desenhe antes de resumir. A média mente de forma previsível, e um erro de descrição não é corrigido por inferência — é amplificado por ela.
II · Inferência
Reporte intervalos, não limiares. Sete dos oito hábitos que interessam não envolvem estatística: são desenho e honestidade no relato.
III · Regressão
Um coeficiente é uma comparação condicionada às variáveis do modelo — não às do mundo. Prever e explicar têm regras opostas.
IV · Causalidade
A pergunta é sempre sobre um mundo que não existe. Controlar por tudo não é prudência — é arriscado, e em dois dos três casos estraga.
Os erros mais comuns da série inteira — tratar linhas dependentes como independentes, espreitar até dar significativo, escolher variáveis pelo ajuste, controlar por tudo, atribuir pelo último clique — fabricam todos confiança a mais, nunca a menos.
É por isso que passam despercebidos: dão sempre o resultado que se queria. E é por isso que a defesa não pode ser a atenção individual — tem de ser o procedimento declarado antes.
12.4 Para onde ir a seguir
- Experimentação & A/B Testing — a plataforma e a prática de correr isto continuamente.
- Análise de Causa Raiz e Pensamento Sistémico — raciocínio causal onde não há dados para medir.
- Decisão sob Incerteza — o que fazer quando a evidência é fraca e a decisão não espera.
- Comunicação de Dados e Escrita Analítica — para o parágrafo de 12.1 chegar a quem decide.
- Séries Temporais e Previsão — a continuação da série, para o caso em que os dados estão ordenados no tempo e a independência deixa de valer.
- Pesquisa com Utilizadores — porque muitas perguntas causais se respondem melhor perguntando a seis pessoas do que modelando um milhão de linhas.
Escreva o parágrafo de 12.1 para a próxima afirmação causal que a sua equipa fizer — incluindo a linha "o que pode invalidar isto". Se não conseguir preencher a linha da suposição central, ainda não tem um desenho: tem uma correlação com boa apresentação.