euOs níveis de significância arbitrários são decididos antes de calcular a estatística de contraste e os níveis de significância não arbitrários dependem do valor obtido pela estatística de contraste, sendo que ambos dependem da distribuição seguida pelos dados.
Em outras palavras, os níveis de significância arbitrários serão sempre os mesmos para diferentes valores da estatística de teste e os níveis de significância não arbitrários serão diferentes para diferentes valores da estatística de teste.
Não arbitrário
Quando um conceito é apontado, a característica de ser arbitrário significa que o valor daquele conceito é escolhido pelo pesquisador. a priori (antes) de fazer o experimento sem depender de nenhuma informação relacionada.
Valor P e elefantes
Por exemplo, suponha que desejamos testar o número de elefantes em um prado.
Antes de ver o prado e os elefantes que realmente existem, supomos a priori o número de elefantes. Dizemos que pode haver 10 elefantes. Então, vamos ao prado e contamos o número de elefantes que vemos: 1, 2, 3, 4, 5, 6 e 7.
Nossa hipótese nula era que o número de elefantes no prado era igual a 10 e nossa hipótese alternativa era que havia menos de 10. Portanto, dados os elefantes que existem, rejeitaríamos a hipótese nula. Mas … E se houver mais 3 elefantes na campina, mas eles estiverem escondidos atrás das árvores? Estaríamos rejeitando nossa hipótese nula quando ela pudesse ser verdadeira se, em vez de contar os elefantes, tivéssemos calculado o número máximo de elefantes que a pastagem pode acomodar.
Análise
Os 10 elefantes escolhidos no início foram totalmente arbitrários porque não vimos o tamanho do prado e, portanto, não sabemos se 10 elefantes é muito ou pouco.
Por outro lado, se, dado o tamanho da campina, calcularmos o número máximo de elefantes que ela pode acomodar, saberemos qual é o valor máximo para não rejeitar a hipótese nula. Portanto, será muito mais fácil encontrar o número real.
Comparação
O mesmo é verdade para os níveis de significância de 1%, 5% e 10% em comparação com o valor de p. Em muitos contrastes, escolhemos o nível de significância sem levar em consideração nenhuma informação além da distribuição. Normalmente 5% é usado como nível de significância (alfa), deixando 95% da amostra dentro do intervalo de confiança.
O problema de atribuir o nível de significância arbitrariamente é o mesmo que temos com o exemplo do elefante. Se acreditarmos que é correto aplicar 5% (nível de significância), podemos rejeitar a hipótese nula quando o mínimo a ser rejeitado for 2% (valor p). Iríamos incorrer em resultados errados simplesmente definindo 5% em vez do valor mínimo a ser rejeitado (2%).
Em outras palavras, estamos concluindo que existem menos de 10 elefantes no prado, mas na realidade existem mais 3 elefantes, mas eles estão escondidos. Portanto, é muito mais rápido calcular qual é o nível de significância máximo ou mínimo para o qual não rejeitaríamos ou rejeitaríamos a hipótese nula.
Regra de rejeição
Se valor - p < nível de significância => rejeição H0.
Se valor - p > nível de significância => Sem rejeição H0.