Significância estatística

Um estudo encontra que determinado programa elevou a renda dos participantes. Antes de comemorar, a pergunta estatística: e se for sorte? Amostras são recortes, e recortes flutuam: até dois grupos idênticos mostram diferenças por puro acaso. A significância estatística mede isso: um resultado é "significativo" quando seria muito improvável surgir do nada, por mero ruído amostral. O detalhe que o nome esconde: significativo, aqui, não quer dizer importante, grande ou relevante. Quer dizer apenas: provavelmente não foi o acaso.

O que o p-valor mede

O instrumento central é o p-valor: a probabilidade de observar um efeito como o encontrado (ou maior) se o efeito verdadeiro fosse zero. P-valor de 0,03 diz: se nada existisse, dados assim apareceriam em só 3% das amostras. Por convenção herdada de Ronald Fisher, resultados com p abaixo de 0,05 ganham o selo de significativos. A convenção é útil e arbitrária: não há nada de mágico entre 0,049 e 0,051.

As leituras erradas mais comuns

Três pegadinhas dominam. Significativo não é importante: com amostra gigante, um efeito minúsculo e irrelevante vira significativo; a pergunta econômica é o tamanho do efeito. Não significativo não é prova de inexistência: pode ser amostra pequena demais para detectar (falta de potência). E o p-valor não é a probabilidade de a hipótese ser verdadeira: ele assume o nada e mede a surpresa dos dados, não julga a teoria diretamente. Quem domina essas três distinções lê pesquisa melhor que muito autor de manchete.

O aparato remonta a Ronald Fisher (Statistical Methods for Research Workers, 1925), que propôs o p-valor como medida contínua de evidência contra a hipótese nula e mencionou o limiar de 5% como conveniência prática, e a Neyman e Pearson, que formalizaram o teste de hipóteses como decisão entre erros de tipo I e II com potência calculada. A prática científica fundiu as duas tradições num ritual (o corte binário em 0,05) que nenhum dos fundadores defenderia, e as consequências sistêmicas têm nome: p-hacking (testar especificações até cruzar o limiar), viés de publicação (resultados nulos somem da literatura, o viés de seleção operando sobre a ciência) e a crise de replicação que levou a American Statistical Association à sua declaração de 2016, enfatizando que o p-valor não mede a probabilidade da hipótese nem o tamanho ou a importância do efeito, e que decisões não deveriam depender de um corte binário.

A econometria aplicada incorporou as lições em camadas: ênfase em magnitudes e intervalos de confiança em vez do asterisco solitário, testes de robustez e especificações pré-registradas, correções para múltiplas hipóteses, e a distinção operacional entre significância estatística e relevância econômica, canonizada na crítica de McCloskey e Ziliak: um coeficiente minúsculo com p-valor estelar pode ser economicamente irrelevante, e um efeito grande com incerteza honesta pode importar mais. Propostas de reforma convivem sem consenso (rebaixar o limiar para 0,005, abandonar o termo significância, migrar para inferência bayesiana), e a síntese prática para o leitor deste dicionário cabe em três perguntas, na ordem certa: qual o tamanho do efeito e ele importa na vida real? Qual a incerteza em torno dele? E só então: o acaso é explicação plausível? O asterisco responde apenas à terceira, e a indústria de manchetes o trata como se respondesse às três.