Die Interpretation des p-Wertes –Grundsätzliche Missverständnisse (Interpreting P-Values – Common Flaws and Misconceptions)

English Abstract: The p-value is often considered as the gold standard in inferential statistics. The standard approach for evaluating empirical evidence is to equate low p -values with a high degree of credibility and to refer to findings with p -values below certain thresholds (e.g., 0.05) as statistically significant. The p-value is also referred to as error probability. Both terms are problematic as they invite serious misconceptions. In addition, researchers’ fixation on obtaining statistically signifi- cant results may introduce biases and increase the rate of false discoveries. Misinterpretations of the p-value as well as the introduction of bias through arbitrary analytical choices ( p-hacking ) have been critically discussed in the literature for decades. Nonetheless, they seem to persist in empirical research and criticisms of inappropriate approaches have increased in the recent past – mainly due to the non-replicability of many studies. Unfortunately, the critical concerns that have been raised in the literature are not only scattered over many academic disciplines but often also linguistically confusing and differing in their main reasons for criticisms. Against this background, our methodological comment systematizes the most serious flaws and discusses suggestions of how best to prevent future misuses. German Abstract: Der p-Wert wird vielfach als Goldstandard fur Inferenzschlusse angesehen. Zur Validierung statistischer Zusammenhange hat sich die Konvention herausgebildet, moglichst geringe p-Werte einzufordern und bei Werten unterhalb gewisser Schwellen(z. B. 0,05) vonstatistisch signifikanten Ergebnissen zu sprechen. Haufigwird der p-Wert auch als Irrtumswahrscheinlichkeit bezeichnet. Beide Begriffe sind problematisch, da sieMissverstandnissen Vorschub leisten. Hinzu kommt, dass das sog. p-hacking, d. h. die gezielte Suche nach Auswertungen, die zu statistisch signifikanten Ergebnissen fuhren, Verzerrungen hervorrufen und die Rate falscher Entdeckungen (false discovery rate) erhohen kann. Fehlinterpretationen des p-Wertes und auswertungsbedingte Verzerrungen wurden uber die Jahrzehnte hinweg immer wieder kritisch diskutiert. In der empirischen Forschung scheinen sie aber persistent zu sein und in den letzten Jahren wurde die p-Wert-Debatte wegen derNicht-Reproduzierbarkeit vieler Studien zunehmend intensiv gefuhrt. Angesichts der uber die Disziplinen verstreuten und oft auf Einzelaspekte abzielenden Literatur zur p-Wert-Problematik beschreibt dieser Methodenkommentar systematisch die wichtigsten Probleme und diskutiert die entsprechenden Losungsvorschlage.