Inference on a large number of hypotheses based on limited samples

Motivation: In genetischen Studien trifft man haufig auf zwei Probleme: Erstens versucht man Gene (oder Proteine) zu finden die zum Beispiel bei bestimmten Krankheiten im Vergleich zu gesunden Personen verschieden ausgepragt sind. Andererseits versucht man aus solchen Genen (Proteinen) prognostische Scores fur den klinischen Ausgang zum Beispiel einer Therapie eines Patienten zu finden. Schon in fruheren Publikationen wurde gezeigt, dass Zwei-Stufen Plane, wie das Pilot oder das Integrated Design geeignete Methoden sind um eine grose Anzahl von Hypothesen zu testen, wie es in solchen Studien der Fall ist. In genetischen Studien kann es vorkommen, dass die Kosten pro Beobachtung zwischen den beiden Stufen unterschiedlich sind, wenn zum Beispiel spezielle Chips fur die Untersuchung von selektierten Genen angefertigt werden mussen. In neueren Studien kommt es auch immer ofter vor, dass in der ersten Stufe ein billiges Standardverfahren und in der zweiten Stufe teureres, aber dafur genaueres Verfahren verwendet wird. Fur solche Zwei-Stufen Plane, in denen Kosten und Methoden zwischen den Stufen variieren, werden asymptotisch optimale Parameter untersucht. Es soll entweder die False Discovery Rate oder der Family Wise Error einhalten werden. Bezugnehmend auf das zweite angefuhrte Problem gibt es fur viele medizinische Untersuchungen in diesem Gebiet nur mangelhafte Erkenntnisse uber die statistischen Eigenshaften prognostischer Scores, die auf Basis von genetischen Datensatzen entwickelt werden. Solche statistische Eigenschaften, das heist wie gut ein Score, der aufgrund eines Trainigsdatensatzes erstellt wurde, den Ausgang einer Therapie eines zukunftigen Patienten vorhersagt, werden untersucht. Es wird dabei die "area under the receiver operating characteristic" (AUC) als Kriterium verwendet. Ergebnisse: Unterscheiden sich nur die Kosten pro Beobachtung zwischen den Stufen, zahlt sich auch bei einem beachtlichen Kostenverhaltnis zwischen den beiden Stufen die Anwendung von Zwei-Stufen Verfahren aus (im Sinne von hoherer Power). Die Power der optimalen Pilot und Integrated Designs ist zwar ahnlich hoch, das Integrated Design ist allerdings robuster gegen Fehleinschatzungen der Parameter in der Planungsphase. Im Allgemeinen fuhren Zwei-Stufen Plane, die die gleiche Methode in beiden Stufen verwenden, zu einer hoheren Power (in Abhangigkeit von Kosten- und Effektgrosenverhaltis), als Plane, bei denen die Methode in der zweiten Stufe geandert wird. Letztere Plane zahlen sich nur aus, wenn die teurere Methode aufgrund von fehlenden finanziellen Mitteln in der ersten Stufe nicht verwendet werden kann. Die Selektion von wirksamen Genen (Proteinen) und somit die Aufstellung von prognostischen Scores hangt sehr oft von den Trainigsdaten ab, bei denen die Stichprobengrose oft drastisch kleiner ist als die Anzahl der untersuchten Hypothesen, so dass die Asymptotik (Stichprobenumfang geht gegen unendlich) von Modellselektionsprozeduren nicht mehr stimmt. Diese Scores sind daher verzerrt und sehr variabel. Wenn tatsachlich mehrere effektive Marker existieren stellt es sich heraus, dass es besser ist liberalere Selektionskiterien zu verwenden und somit auch einige (oft sogar viele) ineffektive Marker in den Score mit aufzunehmen. Gilt allerdings die Globale Nullhypothese fuhren solche liberalen Kriterien dazu, dass Pseudo-Scores erstellt werden, die keinen prognostischen Wert haben. Das beste Selektionskriterium um einen prognostischen Score mit einer hohen AUC zu erzeugen ist allerdings von Parametern wie der Anzahl der insgesamt gestesteten Hypothesen, der Stichprobengrose oder dem Anteil der effektiven Marker abhangig. Wir testeten eine modifizierte Jackknife Methode um das optimal Selektionskriterium zu finden. Es stellt sich heraus, dass diese Methode ein geeignetes Selektionskriterium findet und zusatzlich Informationen uber die Anzahl der falsch-positiven Entscheidungen liefert. Daruber hinaus bekommt man durch kleine Jackknife-AUC Werte einen Hinweis darauf, dass man sich in einem spezifischen Datensatz in der "Nahe" der globale Nullhypothese befindet oder dass die Effekte fur den gegebenen Stichprobenumfang zu kein sind.