Зловживання p-значеннями є поширеним у наукових дослідженнях і науковій освіті. p-значення часто використовуються або інтерпретуються неправильно; Американська статистична асоціація стверджує, що p-значення можуть вказувати на те, наскільки дані несумісні з певною статистичною моделлю.
Значення p забезпечує в найкращому випадку грубу орієнтацію щодо ймовірної реальності конкретних групових відмінностей, але занадто спрощено, щоб пояснити «велику (клінічну) картину». Зокрема, значення p не можна помилково сприймати як заміну критичної оцінки в багатьох важливих аспектах.
Дійсно, у спільній заяві Американської статистичної асоціації 2016 року стверджувалося: «Саме по собі значення p не є достатньою мірою доказів щодо моделі чи гіпотези»2. Окреме значення p є неінформативним, оскільки воно схильне до помилкових позитивних результатів і нічого не говорить про величину чи діапазон ефекту.
«У всій літературі, — сказав Іоаннідіс, — використовувані статистичні підходи часто неоптимальні. P-значення потенційно дуже оманливі, і вони вибірково повідомляються на користь більш значущих результатів, особливо в рефератах.
Значення P часто інтерпретуються як ваш ризик відхилити нульову гіпотезу вашого тесту, коли нульова гіпотеза насправді вірна. Насправді ризик відхилення нульової гіпотези часто вищий, ніж значення p, особливо якщо розглядати одне дослідження або використовувати невеликі розміри вибірки.
Значення p є чутливі до розміру вибірки та мінливості вибірки. Дуже великий розмір вибірки з дуже малим розміром ефекту може дати значне значення p. Такі результати можуть дати мало висновків у наукових дослідженнях і, ймовірно, будуть невідтворними.