Robustheitsuntersuchung des t-Tests
Robustheitsuntersuchung des t-Tests
1. Simulation einer Robustheitsuntersuchung für einen t-Test gegen eine Konstante bei zweiseitiger Fragestellung
Wählen Sie als erste zu untersuchende Verteilung die Normalverteilung und als zweite Verteilung die Gammaverteilung aus. Starten Sie die Simulation unter der Standardeinstellung aller Parameterwerte und Stichprobengrößen. Klicken Sie dazu auf den Startbutton rechts unterhalb des Sliders „Animation der Monte Carlo Simulation“. Haben Sie bereits Änderungen an den Parametereinstellungen vorgenommen, können Sie die Standardeinstellungen vor Auswahl der Verteilungen wiederherstellen, indem Sie die Seite neu laden. Beobachten Sie die Simulation einer Robustheitsuntersuchung für einen t-Test gegen eine Konstante bei zweiseitiger Fragestellung. Was ist das Vorgehen bei der Simulation der Robustheitsuntersuchungen?
Die Robustheitsuntersuchungen für beide Verteilungen basieren auf der Ziehung von Zufallsstichproben aus der jeweiligen Grundgesamtheit. Für jede dieser Zufallsstichproben wird ein t-Test gegen eine Konstante, welche dem Mittelwert der jeweiligen Grundgesamtheit entspricht, bei zweiseitiger Fragestellung durchführt. Dieses Vorgehen ermöglicht es, den Anteil signifikanter Ergebnisse zu ermitteln.
2. Interpretation der Ergebnisse von Robustheitsuntersuchungen
Betrachten Sie im Folgenden die Ergebnisse der Robustheitsuntersuchungen für die Normalverteilung und Gammaverteilung bei gegebenen Stichprobenumfängen von 10, einer Standardabweichung der Normalverteilung von 1 und den Parameterwerten p = 1 und b = 1 der Gammaverteilung. Was stellen Sie fest? Was bedeutet dieses Ergebnis?
Der Anteil signifikanter Ergebnisse für die Robustheitsuntersuchung des t-Tests bei Normalverteilung beträgt rund 5 %. Dieses Ergebnis war zu erwarten, da in diesem Fall die Voraussetzungen für den t-Test erfüllt sind. Der Anteil signifikanter Ergebnisse bei einer zugrundliegenden Gammaverteilung ist mit rund 9 % deutlich höher. Da bei einem Signifikanzniveau von 5 % unter Gültigkeit der Nullhypothese maximal 5 % signifikante Ergebnisse erzielt werden sollten, müssen wir davon ausgehen, dass der t-Test bei der vorliegenden Gammaverteilung nicht robust arbeitet.
3. Robustheitsuntersuchung des t-Tests für eine Grundgesamtheit mit Gammaverteilung
Wählen Sie für die erste und zweite Verteilung eine Gammaverteilung aus.
a) Einfluss der Stichprobengröße
Stellen Sie für beide Verteilungen folgende Parameterwerte ein: p = 1, b = 1. Variieren Sie nun die Stichprobengrößen, indem Sie für die erste Verteilung den Stichprobenumfang 10 auswählen und für die zweite Verteilung den Stichprobenumfang 100. Wiederholen Sie unter diesen Einstellungen die Simulation. Welche Ergebnisse können Sie erkennen? Beachten Sie auch die resultierenden Verteilungen der t-Werte für beide Untersuchungen.
Der Anteil signifikanter Ergebnisse beider Untersuchungen liegt über dem Wert von 5 %. Während bei einer Stichprobengröße von 10 die 5 % Grenze deutlich überschritten wird und man somit sicher nicht von robusten Ergebnissen ausgehen kann, besitzt der Anteil der signifikanten Ergebnisse für einen Stichprobenumfang von 100 einen Wert, welcher nur leicht höher als 5 % ist. Bei einer Stichprobengröße von 10 ist die Verteilung der t-Werte deutlich linksschief. Die t-Wert Verteilung bei einer Stichprobengröße von 100 zeigt nur eine geringe Schiefe und entspricht grob einer typischen t-Verteilung.
b) Einfluss der Parameter p und b bei kleiner Stichprobengröße
Wählen Sie sich sowohl bei der ersten als auch zweiten Verteilung eine Stichprobengröße von 10. Erzeugen Sie nun eine erste gammaverteilte Grundgesamtheit, deren Werte eine möglichst schiefe Verteilung darstellen (z.B. p = 1, b = 2) und eine zweite Verteilung, deren Werte möglichst wenig schiefverteilt sind (z.B. p = 1.5, b= 1). Welche Simulationsergebnisse entstehen? Beachten Sie auch hier die resultierenden Verteilungen der t-Werte.
Der Anteil signifikanter Ergebnisse beider Untersuchungen befindet sich oberhalb der Grenze von 5 %. Der Anteil signifikanter Ergebnisse der ersten Untersuchung ist höher als bei der zweiten Untersuchung. Außerdem zeigt die Verteilung der t-Werte der ersten Untersuchung eine größere Schiefe als die der zweiten Untersuchung. Je schiefer also die Verteilung der Werte der Grundgesamtheit, beeinflusst durch die Parameter p und b ist, desto schiefer ist bei kleinem Stichprobenumfang die Verteilung der resultierenden t-Werte und desto mehr fälschlicherweise signifikante Ergebnisse werden erzielt.
c) Einfluss der Parameter p und b bei großer Stichprobengröße
Verändern Sie die Werte der Parameter b und p beider Verteilungen nicht. Entscheiden Sie im Folgenden jedoch jeweils für die Stichprobengröße 100. Welche Veränderungen im Vergleich zu Aufgabe 4b können Sie beobachten?
Der Anteil signifikanter Ergebnisse beider Untersuchungen überschreitet nur leicht die Grenze von 5 %. Für große Stichprobenumfänge ist der t-Test also robuster gegen die Verletzung der Annahme einer normalverteilten Grundgesamtheit. Die Verteilungen der t-Werte beider Untersuchungen sind weniger schief.
4. Robustheitsuntersuchung des t-Tests für eine Grundgesamtheit mit Weibullverteilung
Wählen Sie für die erste und zweite Verteilung eine Weibullverteilung aus.
a) Einfluss der Stichprobengröße
Stellen Sie für beide Verteilungen folgende Parameterwerte ein: λ = 1, k = 1. Variieren Sie nun die Stichprobengrößen, indem Sie für die erste Verteilung den Stichprobenumfang 10 auswählen und für die zweite Verteilung den Stichprobenumfang 100. Starten Sie unter diesen Einstellungen die Simulation. Welche Ergebnisse können Sie erkennen?
Der Anteil signifikanter Ergebnisse beider Untersuchungen liegt über dem Wert von 5 %. Während bei einer Stichprobengröße von 10 die 5 % Grenze deutlich überschritten wird, ist dieser Anteil bei einem Stichprobenumfang von 100 nur leicht höher als 5 %. Bei einer Stichprobengröße von 10 ist die Verteilung der t-Werte deutlich linksschief. Die t-Wert Verteilung bei einer Stichprobengröße von 100 zeigt nur eine sehr geringe Schiefe und entspricht grob der typischen t-Verteilung.
b) Einfluss der Parameter λ und k bei kleiner Stichprobengröße
Entscheiden Sie sich sowohl bei der ersten als auch zweiten Verteilung für eine Stichprobengröße von 10. Erzeugen Sie nun eine erste Grundgesamtheit, deren Werte eine möglichst schiefe Verteilung darstellen (z.B. λ = 1, k = 1) und eine zweite Verteilung, deren Werte weniger schiefverteilt sind (z.B. λ = 1.5, k = 2.2). Welche Simulationsergebnisse entstehen? Beachten Sie auch hier die resultierenden Verteilungen der t-Werte.
Der Anteil signifikanter Ergebnisse der ersten Untersuchung ist bedeutend größer als der Anteil der zweiten Verteilung. Die Verteilung der t-Werte der ersten Untersuchung zeigt eine größere Schiefe. Je schiefer die Verteilung der Werte der Grundgesamtheit, beeinflusst durch die Parameter λ und k, desto schiefer ist die Verteilung der resultierenden t-Werte und desto mehr fälschlicherweise signifikante Ergebnisse werden erzielt.
c) Einfluss der Parameter λ und k bei großer Stichprobengröße
Verändern Sie die die Werte der Parameter λ und k beider Verteilungen nicht. Entscheiden Sie im Folgenden jedoch jeweils für die Stichprobengröße 100. Welche Veränderungen im Vergleich zu Aufgabe 5b können Sie beobachten?
Der Anteil signifikanter Ergebnisse beider Untersuchungen überschreitet nur leicht die Grenze von 5 %. Für große Stichprobenumfänge ist der t-Test also robuster gegen die Verletzung der Annahme einer normalverteilten Grundgesamtheit. Die Verteilungen der t-Werte beider Untersuchungen sind weniger schief. Für die erste Verteilung, deren Grundgesamtheit aufgrund der Parameter λ und k sehr rechtsschief ist, erhalten wir auch weiter eine leicht schiefere Verteilung der t-Werte und einen höheren Anteil signifikanter Ergebnisse.
5. Robustheitsuntersuchung des t-Tests für eine Grundgesamtheit mit Gleichverteilung
Wählen Sie für die erste und zweite Verteilung eine Gleichverteilung aus.
a) Einfluss der Stichprobengröße
Entscheiden Sie sich bei beiden Verteilungen für einen Wert des Minimums von 1 und des Maximums von 4. Aus der ersten Verteilung sollen Stichproben mit einem Stichprobenumfang von 10 und aus der zweiten Verteilung Stichproben mit einem Umfang von 100 gezogen werden. Wiederholen Sie unter diesen Einstellungen die Simulation. Welches Ergebnis können Sie erkennen?
Für die erste Untersuchung erhalten wir einen Anteil signifikanter Ergebnisse von etwas unter 5 %. Für die zweite Untersuchung beträgt dieser Anteil etwas mehr als 5 %. Der t-Test liefert bei Grundgesamtheiten mit Gleichverteilung somit auch bei kleinen Stichprobenumfängen robuste Ergebnisse. Die Verteilungen der t-Werte folgen in beiden Fällen einer t-Verteilung.
b) Einfluss des Wertebereichs der Grundgesamtheit
Wählen Sie für beide Untersuchungen eine Stichprobengröße von 10 aus. Das Minimum der ersten Verteilung soll nun Null sein und das Maximum 4. Für die zweite Verteilung wählen Sie bitte folgende Werte: Minimum = 1, Maximum = 3. Was beobachten Sie?
Der Anteil signifikanter Ergebnisse beider Untersuchungen liegt bei ungefähr 5 %. Der t-Test liefert bei Gleichverteilung der Grundgesamtheit folglich unabhängig von Minimum und Maximum der Werte somit relativ robuste Ergebnisse.
6. Robustheitsuntersuchung des t-Tests für eine Grundgesamtheit mit Bimodalverteilung
Wählen Sie für die erste und zweite Verteilung eine Bimodalverteilung aus.
a) Einfluss der Stichprobengröße
Stellen Sie für beide Verteilungen folgende Parameterwerte ein: Mittelwertsunterschied beider Subverteilungen = 1, Standardabweichung beider Subverteilungen = 0.5. Variieren Sie nun die Stichprobengrößen, indem Sie für die erste Verteilung den Stichprobenumfang 10 auswählen und für die zweite Verteilung den Stichprobenumfang 100. Starten Sie unter diesen Einstellungen die Simulation. Welche Ergebnisse können Sie erkennen?
Für die erste Untersuchung erhalten wir einen Anteil signifikanter Ergebnisse von etwas über 5 % und für die zweite Untersuchung fast exakt 5 %. Der t-Test liefert bei Grundgesamtheiten mit Bimodalverteilung somit auch bei kleinen Stichprobengrößen relativ robuste Ergebnisse. Die Verteilungen der t-Werte folgen in beiden Fällen einer t-Verteilung. Aufgrund der etwas breiteren Streuung der t-Werte in der ersten Untersuchung erhalten wir dort etwas mehr signifikante Ergebnisse.
b) Einfluss der Parameter Mittelwertsunterschied beider Subverteilungen und Standardabweichung beider Subverteilungen
Wählen Sie nun für beide Untersuchungen eine Stichprobengröße von 10 aus. Für die erste Entscheidung entscheiden Sie sich bitte für die folgenden Parameterwerte: Mittelwertsunterschied beider Subverteilungen = 1.5, Standardabweichung beider Subverteilungen = 0.25. Die zweite Verteilung soll folgende Parameterwerte besitzen: Mittelwertsunterschied beider Subverteilungen = 1, Standardabweichung beider Subverteilungen = 0.75. Welche Ergebnisse der Simulation erkennen Sie?
Die erste Untersuchung führt zu einem etwas größeren Anteil signifikanter Ergebnisse als 5 %. Die zweite Untersuchung liefert ungefähr 5 % signifikante Ergebnisse. Während die t-Werte der zweiten Untersuchung einer t-Verteilung folgen, weicht die Verteilung der t-Werte der ersten Untersuchung stärker davon ab.
7. Gesamtfazit Robustheitsuntersuchungen des t-Tests
Denken Sie noch einmal zurück an die bisherigen Ergebnisse. Welche Zusammenhänge zwischen den Ergebnissen von Robustheitsuntersuchungen und der Stichprobengröße sowie den Verteilungen der Werte der Grundgesamtheiten können Sie erkennen?
Je größer der Stichprobenumfang ist, desto robuster ist der t-Test gegen die Verletzung der Annahme einer normalverteilten Grundgesamtheit. Die Verteilung der Werte der Grundgesamtheit beeinflusst die Robustheit des t-Tests somit besonders bei kleinen Stichprobengrößen. Je stärker die Verteilung der t-Werte im Rahmen einer Robustheitsuntersuchungen von einer t-Verteilung abweichen, desto mehr signifikante Ergebnisse werden erzielt. Dies tritt besonders bei schiefen Verteilungen der Werte der Grundgesamtheiten auf.