Der Permutationstest am Beispiel des Vergleichs von zwei unabhängigen Stichproben
Der Permutationstest am Beispiel des Vergleichs von zwei unabhängigen Stichproben
1. Simulation eines Permutationstests am Beispiel des Vergleichs von zwei unabhängigen Stichproben
Starten Sie die Simulation unter der Standardeinstellung aller Sliderwerte und beobachten Sie die Durchführung eines Permutationstests, welcher in dieser App als Basis für den Vergleichs von zwei unabhängigen Stichproben dient. Klicken Sie dazu auf den Startbutton rechts unterhalb des Sliders „Anzahl Zufallsziehungen“. Haben Sie bereits Änderungen vorgenommen, können Sie die Standardeinstellungen wiederherstellen, indem Sie die Seite neu laden. Was zeigen die resultierenden Grafiken?
Die Grundlage des Permutationstests bilden zwei unabhängige Stichproben. Im Beispiel wird die Verteilung der Effektgrößen d der Mittelwertsunterschiede unter der Annahme simuliert, dass es zwischen den untersuchten Ausgangsstichproben keinen Unterschied gibt. Dazu werden die zur Verfügung stehenden Werte beider Stichproben viele Male zufällig einer von zwei Gruppen zuordnet (Anzahl der Werte der Gruppen = Stichprobengrößen) und die Effektgrößen der Mittelwertunterschiede berechnet. Anhand der resultierenden Nullhypothesenverteilung und der Effektgröße des Mittelwertunterschiedes kann das Ergebnis der Ausgangsstichproben im Folgenden beurteilt werden.
2. Beurteilung der Signifikanz des Ergebnisses
Aktivieren Sie nach Abschluss der Simulation unter der Überschrift Anzeigeoptionen Cohens d der Ausgangsstichproben, den p-Wert und das Signifikanzniveau α. Was vermuten Sie, wie anhand dieser Größen eine Aussage über die statistische Signifikanz des Mittelwertunterschiedes der Ausgangsstichproben getroffen werden kann?
Mithilfe der aus der Simulation resultierenden Nullhypothesen-Verteilung und unter Kenntnis der Effektgröße des Mittelwertsunterschied der Ausgangsstichproben kann eine Entscheidung über die statistische Signifikanz getroffen werden. Dazu berechnet man bei einseitiger Fragestellung den p-Wert als jenen Anteil von Effektgrößen, die unter Gültigkeit der Nullhypothese größer oder gleich der Effektgröße der Ausgangsstichproben sind. Dieses Ergebnis wird mit dem Signifikanzniveau α verglichen. Im aktuellen Beispiel ist p > α, es liegt somit kein signifikanter Mittelwertsunterschied vor.
Wiederholen Sie die Durchführung des Permutationstests nun für unterschiedliche Ausgangsstichproben. Welche Veränderungen treten beim Vorliegen eines signifikanten Ergebnisses auf? Wir sprechen immer dann von einem signifikanten Ergebnis, wenn der p-Wert kleiner ist als das aktuell ausgewählte Signifikanzniveau α.
Die Fläche des Signifikanzniveaus α ist größer als die Fläche des p-Wertes. Es liegt somit ein signifikantes Ergebnis vor.
3. Signifikanzniveau α
Verändern Sie das Signifikanzniveau von 5 % auf 1 %. Was können Sie beobachten?
Die Fläche des Signifikanzniveaus nimmt ab. Es müssen somit p-Werte kleiner oder gleich 0.01 erzielt werden, damit das Ergebnis als signifikant betrachtet wird.
4. Einfluss der Stichprobengrößen
Reduzieren Sie die Stichprobengröße beider Ausgangsstichproben auf den Wert 10. Welche Veränderungen beobachten Sie? Welche Folge könnte das haben?
Eine Reduktion der Stichprobengrößen führt zu einer größeren Streuung der Effektgrößen der Mittelwertunterschiede. Die Wahrscheinlichkeit ein signifikantes Ergebnis zu finden, nimmt folglich ab.