Ver os dados:
antes de
concluir seja o que for

1.1 O bar com o milionário

Dez pessoas num bar ganham 30 000 € por ano cada. Entra uma que ganha 5 milhões. A média salarial do bar passa a 481 818 €. Nenhuma das onze pessoas ganha nada parecido com isso.

Não é um truque nem um caso extremo inventado: é o comportamento normal da média em qualquer distribuição assimétrica — e salários, receitas por cliente, tempo de resposta, visitas por utilizador e vendas por produto são todos assimétricos. A média é uma boa medida para uma família estreita de distribuições, e a maior parte dos dados reais não pertence a essa família.

1.2 Três centros, três perguntas

Média e mediana muito diferentes não são um problema de dados: são a informação. Media > mediana diz que há uma cauda à direita — poucos casos muito grandes. É a primeira coisa a verificar em qualquer tabela, e leva dois segundos.

1.3 O paradoxo da turma cheia

1.4 O que esta série é

2.1 Números iguais, dados diferentes

É possível construir conjuntos de dados com a mesma média em x, a mesma média em y, o mesmo desvio-padrão em ambos e a mesma correlação — e que, desenhados, mostram coisas completamente distintas: uma reta, uma curva, uma nuvem com um ponto extremo, dois grupos separados, e até um desenho de um dinossauro.

Isto não é uma curiosidade: é a demonstração de que as estatísticas de resumo não identificam os dados. Duas realidades opostas podem produzir a mesma tabela. Só o desenho as separa.

2.2 O que procurar na forma

2.3 Os três gráficos, e o que cada um esconde

Sobre fazer estes gráficos bem — e sobre o que os torna legíveis a quem não os pediu — veja Comunicação de Dados.

2.4 Antes de tudo: olhe para as linhas

Antes até do histograma, abra os dados em bruto e leia vinte linhas — as primeiras, as últimas, e vinte ao acaso. Encontra-se ali, em minutos, o que nenhuma estatística revela: colunas trocadas, datas em três formatos, a cadeia "N/A" numa coluna numérica, valores de teste, e a linha de totais que alguém deixou dentro dos dados.

3.1 O rio com um metro de profundidade média

A piada é conhecida — o estatístico que se afogou a atravessar um rio com um metro de profundidade média — e o ponto é sério: a decisão depende quase sempre da cauda, não do centro. Dimensiona-se um servidor para o pico, não para a média; planeia-se um orçamento para o mau ano, não para o ano típico; e uma entrega demora o que demora no dia mau.

3.2 Quatro formas de dizer "quanto varia"

3.3 Latência é o exemplo canónico

3.4 A variação que se ignora por comodidade

• Um número sem incerteza. "A conversão é 3,2%" não diz se é 3,2 ± 0,1 ou 3,2 ± 2,0. A segunda não é notícia nenhuma. O volume II trata disto a sério.
• Comparar dois números sem ver a dispersão. "Subiu de 3,1% para 3,4%" é uma frase vazia enquanto não se souber quanto oscila de semana para semana só por acaso.
• A média das médias. Só é igual à média global quando os grupos têm o mesmo tamanho. Fora disso está simplesmente errada, e é dos erros mais comuns em folhas de cálculo.
• Barras de erro ausentes. Um gráfico de barras sem indicação de variação convida a ler diferenças que podem ser ruído.

4.1 Quatro mecanismos, quatro formas

4.2 A normal é mais rara do que parece

A distribuição normal domina o ensino da estatística por uma razão matemática — o teorema do limite central diz que médias de amostras tendem para ela — e isso é frequentemente lido como se dissesse que os dados tendem para ela. Não diz.

4.3 Caudas pesadas mudam as regras

Numa lei de potência, a intuição treinada em sinos falha de forma sistemática:

• A média pode ser instável. Acrescentar um único ponto novo pode mudá-la mais do que os mil anteriores. Se a média salta de cada vez que chegam dados, a causa é esta, não um erro.
• O extremo não é um erro. Num sino, um valor a dez desvios-padrão é quase de certeza um engano de medição. Numa cauda pesada é um sábado normal.
• A regra 80/20 é uma consequência, não uma lei separada. Ver os 20% a explicar 80% do total é sintoma de acumulação de vantagem, e diz que estratégias baseadas na média vão falhar.
• Amostras pequenas subestimam. Numa cauda pesada, uma amostra pequena quase nunca apanha os casos grandes, e por isso subestima o total sistematicamente — não por azar.

4.4 A distribuição que quase ninguém pensa: mistura

Muitos dados reais não seguem nenhuma forma nomeada porque são duas ou mais populações misturadas: compradores e curiosos, contas humanas e robôs, dias úteis e fins de semana, clientes empresariais e particulares. É a explicação mais provável para uma forma estranha, e é a mais fácil de investigar — basta encontrar a variável que separa e desenhar os grupos em separado.

4.5 Contagens raras e a intuição do acaso

Quando eventos raros ocorrem ao acaso e de forma independente, os intervalos entre eles não são regulares — são irregulares, com aglomerados e vazios. É por isso que uma sequência genuinamente aleatória parece ter padrões, e é por isso que "houve três avarias esta semana e nenhuma no mês passado" pode ser exatamente o que se espera de um processo estável.

A pergunta correta não é "isto é muito?", mas "quanto varia isto quando nada muda?". Uma taxa de 2 avarias por semana produz semanas com 0 e semanas com 5 sem que nada tenha acontecido — e reagir a cada uma delas é a definição de intervenção supersticiosa.

5.1 O que um percentil diz

O percentil 90 é o valor abaixo do qual estão 90% das observações. É simples e tem duas virtudes que a média não tem: é robusto a extremos e lê-se diretamente como uma promessa — "90% dos pedidos respondem em menos de 250 ms" é uma frase que se pode pôr num contrato.

5.2 As três armadilhas

5.3 Onde percentis são a resposta certa

5.4 Quando percentis também enganam

• Melhorar o p50 pode piorar o p99 — e a média até melhora. Um sistema que serve depressa quem já está em cache pode estar a penalizar cada vez mais quem não está. Olhe sempre para dois percentis, nunca só para um.
• O p99 pode melhorar por desistência. Se os pedidos lentos passarem a expirar antes de terminar, saem da amostra e a métrica melhora enquanto a experiência piora. Toda a métrica que exclui os casos que falham tem este risco — é sobrevivência aplicada a milissegundos.
• Um percentil sozinho não mostra a forma. Duas distribuições com o mesmo p90 podem ser muito diferentes acima dele.

6.1 Os três tipos

6.2 O procedimento honesto

6.3 Um caso onde a exclusão era o erro

7.1 A pergunta que precede a taxa

7.2 As quatro formas de o denominador enganar

7.3 Percentagem de quê: pontos e por cento

Uma taxa passa de 4% para 5%. Subiu 1 ponto percentual ou 25 por cento. As duas afirmações são verdadeiras e escolhe-se entre elas para dar a impressão desejada — é a manipulação mais banal que existe em relatórios, e sobrevive porque nenhuma das duas é mentira.

Norma defensável: diga sempre as duas, ou diga os números absolutos. "De 4% para 5% (+1 p.p., +25% em relativo)" não deixa margem, e ocupa uma linha.

7.4 Riscos: relativo, absoluto, e o número que decide

7.5 Taxas ao longo do tempo

• Compare períodos comparáveis. Fevereiro tem menos dias; o Natal não é um mês normal; uma semana com feriado não é uma semana.
• Cuidado com coortes incompletas. A "taxa de renovação a 12 meses" só pode ser calculada para quem entrou há mais de 12 meses. Incluir os recentes no denominador faz a taxa parecer catastrófica; excluí-los sem dizer faz o número parecer melhor do que é.
• Um total acumulado nunca desce e por isso parece sempre crescimento. Se quer ver a tendência, olhe para o valor por período.
• Médias móveis alisam e atrasam. Úteis para ver a tendência, péssimas para detetar quando algo mudou.

8.1 O paradoxo, com números

Dois tratamentos para pedras nos rins. Olhando ao total, o tratamento B parece melhor:

Separando por tamanho da pedra:

8.2 Qual dos números está certo?

A pergunta parece técnica e não é — não há resposta estatística. Depende do que se quer saber:

• Se quer saber que tratamento escolher para um doente concreto, os números por grupo são os certos: sabe-se o tamanho da pedra antes de tratar.
• Se quisesse saber que resultado teve o hospital no ano passado, o total é o certo — descreve o que aconteceu.

É por isso que este capítulo é a ponte para o volume IV: decidir se se deve separar por uma variável exige uma teoria sobre o que causa o quê. Nenhuma quantidade de dados resolve a questão sozinha, e agregar ou desagregar sem essa teoria é escolher a conclusão ao acaso.

8.3 Onde isto aparece no trabalho normal

8.4 A média que se parte, e a que não

• Somas agregam bem. O total de vendas de dois grupos é a soma dos totais. Sem armadilha.
• Médias só agregam com pesos. A média global é a média ponderada pelos tamanhos, nunca a média das médias (o erro do capítulo 3).
• Rácios não agregam de todo. A taxa global é soma dos numeradores / soma dos denominadores — nunca a média das taxas.
• Percentis não agregam de nenhuma forma (capítulo 5). É preciso guardar as distribuições.

Estes quatro pontos explicam a maioria das discrepâncias entre painéis diferentes da mesma empresa — e a discussão sobre "qual é o número certo" costuma ser, na verdade, uma discussão sobre qual das quatro regras foi violada.

10.1 A linha de base do acaso

10.2 O gráfico que responde por si

• Ponha a série toda, não dois pontos. "Subiu de 3,1% para 3,4%" é convincente até se ver que nos doze meses anteriores oscilou entre 2,9% e 3,7% sem razão nenhuma.
• Marque as intervenções na linha do tempo. Se a subida começou antes da alteração, a alteração não a causou — e isso vê-se, não se testa.
• Compare com um grupo que não mudou, quando existir. Se a métrica subiu igualmente onde nada foi feito, subiu por outra razão (é a semente do volume IV).
• Desconfie de eixos que não começam em zero em gráficos de barras, e de escalas que mudam entre gráficos comparados lado a lado.

10.3 Regressão à média, sem estatística

10.4 O que é preciso antes de comparar

Se qualquer destas falhar, nenhum teste estatístico salva a comparação — o teste responde a "esta diferença é maior do que o acaso?", e não a "estas duas coisas são comparáveis?". A segunda pergunta vem primeiro e não tem fórmula.

10.5 A ponte para o volume II

Quando a comparação é legítima e a diferença não se explica pela variação histórica, a pergunta passa a ser quantitativa: que tamanho de diferença é distinguível do acaso, com esta quantidade de dados? É essa a matéria do volume seguinte — e chega-se lá com metade dos casos já resolvidos por descrição.

11.1 Os aviões que voltaram

Na Segunda Guerra Mundial, analisou-se onde os bombardeiros regressados tinham mais buracos de bala, para reforçar o blindado nesses sítios. Abraham Wald apontou o erro: os aviões analisados eram os que tinham voltado. Os buracos que se viam eram, por definição, em sítios onde um avião podia ser atingido e ainda assim regressar. O blindado devia ir para onde não havia buracos — os aviões atingidos ali não estavam na amostra.

11.2 O mesmo erro, em roupa moderna

11.3 Os buracos que se veem e os que não

• Ausências explícitas. Células vazias. São as boas: sabe-se que faltam.
• Ausências disfarçadas. Zero em vez de "não sei", 999 como código, "N/A" numa coluna numérica, a data de 1970 que é um zero mal convertido. Estas contaminam todas as contas em silêncio.
• Linhas que nunca chegaram. As mais perigosas, porque não deixam rasto: um filtro no pipeline, uma junção que descartou o que não emparelhava, um limite de exportação de 10 000 linhas.

11.4 Ausências que não são aleatórias

A questão não é quantos faltam, mas se faltam de forma sistemática. Se os rendimentos em falta são sobretudo dos mais ricos, ignorar as linhas incompletas enviesa tudo o que se calcule a seguir. E ausências sistemáticas são a norma, não a exceção — as pessoas não respondem precisamente às perguntas que lhes custam.

Preencher espaços vazios com a média é a solução mais popular e das piores: reduz artificialmente a variação (todos os casos preenchidos ficam iguais), o que faz qualquer análise posterior parecer mais precisa do que é. Se for para preencher, diga-o e mostre o resultado com e sem preenchimento.

11.5 Quem definiu o que se mede

Nenhum dado é neutro: alguém decidiu que aquilo valia a pena registar, em que categorias, e com que granularidade. Essas decisões, tomadas anos antes, limitam o que hoje é possível perguntar.

• Categorias que já não descrevem o negócio, mantidas para não quebrar relatórios antigos.
• Um campo de texto livre onde devia haver uma escolha — e portanto quinze grafias da mesma coisa.
• Uma coisa importante que ninguém regista, e sobre a qual não há dados por nunca ter havido.

A última é a mais séria e a mais invisível: analisa-se aquilo que existe, e o que existe determina que perguntas parecem fazíveis. Sobre ir buscar o que não está registado, veja Pesquisa com Utilizadores.

12.1 A rotina

12.2 Cinco frases para eliminar dos relatórios

12.3 O que vem nos volumes seguintes

12.4 Onde aplicar isto amanhã

• Análise de Dados — fazer tudo isto em Python, com pandas.
• Comunicação de Dados — apresentar distribuições e incerteza a quem não as pediu.
• Experimentação & A/B Testing — o caso particular em que se controla a atribuição.
• Business Intelligence — onde os denominadores do capítulo 7 vivem, em painéis que muita gente lê.
• Pensamento Crítico e Escrita Analítica — o lado argumentativo do mesmo cuidado.