Simulation der Entstehung des Standardfehlers der Regressionskoeffizienten in einer Regressionsanalyse


Standardfehler der Regressionskoeffizienten in Regressionsanalysen


1. Simulation der Entstehung des Standardfehlers eines Regressionskoeffizienten

Starten Sie die Simulation unter der Standardeinstellung aller Sliderwerte. Klicken Sie dafür auf den Startbutton rechts unterhalb des Sliders Simulation der Entstehung des Standardfehlers. Haben Sie bereits Änderungen vorgenommen, können Sie die Standardeinstellungen wiederherstellen, indem Sie die Seite neu laden.

Auf der linken Seite des Ausgabefensters sehen Sie die Ergebnisse der Korrelations- und Regressionsanalyse eines Beispieldatensatzes. Im Rahmen der Simulation erfolgt eine wiederholte Ziehung von Zufallsstichproben aus der Grundgesamtheit des Beispieldatensatzes. Für jede der gezogenen Stichproben wird durch eine Regressionsanalyse der Regressionskoeffizient des Prädiktors ermittelt. Dessen Verteilung wird auf der rechten Seite des Ausgabefensters dargestellt. Beobachten Sie die Simulation. Aktivieren Sie im Anschluss den Button unterhalb der Überschrift Anzeigeoption.

Welchen Zusammenhang zwischen der Standardabweichung der Werte der Verteilung und dem Standardfehler des Regressionskoeffizienten können Sie erkennen?


Die Standardabweichung der Werte der Verteilung entspricht dem Standardfehler des Regressionskoeffizienten.



2. Bedeutung des Standardfehlers eines Regressionskoeffizienten

Betrachten Sie bitte die Ergebnisse der Regressionsanalyse. Welche Bedeutung besitzt der Standardfehler für die Beurteilung der Signifikanz des Regressionskoeffizienten?


Der Standardfehler wird für die Berechnung des t-Wertes des Signifikanztests eines Regressionskoeffizienten benötigt. Dazu erfolgt die Division des Regressionskoeffizienten durch den Wert seines Standardfehlers. Der aus dem Signifikanztest resultierende p-Wert erlaubt die Beurteilung der Signifikanz.



3. Einfluss auf die Höhe des Standardfehlers in einfachen linearen Regressionen

Bisher betrachteten wir die Ergebnisse einer einfachen linearen Regression bei einer Korrelation zwischen Prädiktor und Kriterium von rund 0. Wir erhielten eine relativ breite Streuung der Regressionskoeffizienten. Die Standardabweichung der Verteilung und somit auch der Standardfehler des Regressionskoeffizienten waren somit eher hoch. Erhöhen Sie nun im Menü die Korrelation zwischen Prädiktor und Kriterium auf 0.8. Was beobachten Sie?


Die Verteilung des Regressionskoeffizient ist schmaler. Die Standardabweichung der Verteilung und somit auch der Standardfehler des Regressionskoeffizienten sind geringer.



4. Standardfehler in multiplen linearen Regressionen

a) Keine Multikollinearität

Im Folgenden möchten wir die Entstehung des Standardfehlers in multiplen linearen Regressionen betrachten. Klicken Sie dazu im Menü bitte auf den Button für zwei Prädiktoren. Wählen Sie außerdem eine Korrelation von 0.1 zwischen den Prädiktoren aus. Betrachten Sie die Ergebnisse der Korrelations- und Regressionsanalyse sowie die Verteilungen der Regressionskoeffizienten.


Beide Prädiktoren korrelieren hoch mit dem Kriterium und erhalten im Rahmen der Regressionsanalyse einen signifikanten Regressionskoeffizienten. Die Verteilungen der Regressionskoeffizienten sind schmal. Die Standardfehler der Verteilungen sind gering und wir erhalten somit auch geringe Standardfehler.



b) Multikollinearität

Wählen Sie nun eine Korrelation von 0.9 zwischen den Prädiktoren aus. Betrachten Sie die Ergebnisse der Korrelations- und Regressionsanalyse sowie die Verteilungen der Regressionskoeffizienten.


Beide Prädiktoren korrelieren hoch mit dem Kriterium. Die Korrelation zwischen den Prädiktoren ist ebenfalls hoch. Im Rahmen der Regressionsanalyse erhalten jedoch beide Prädiktoren keinen signifikanten Regressionskoeffizienten. Es liegt ein Redundanzeffekt zwischen den Prädiktoren vor. Die Verteilungen der Regressionskoeffizienten sind deutlich breiter. Die Standardabweichungen der Verteilungen und somit auch die Standardfehler der Regressionskoeffizienten sind bedeutend höher.



Wiederholen Sie die Simulation für unterschiedliche Beispieldatensätze. Durch Anklicken des Buttons Datenerstellung & Regressionsanalyse erstellen Sie einen neuen Datensatz. Die Korrelation der Prädiktoren soll weiterhin 0.9 betragen. Welche Unterschiede in den Ergebnissen der Regressionsanalyse können Sie beobachten?


Die hohe Korrelation der Prädiktoren führt zum Auftreten von Redundanz. Welcher der beiden Prädiktoren redundant ist, unterscheidet sich allerdings. In einigen Fällen erhält Prädiktor 1 einen signifikanten Regressionskoeffizienten und Prädiktor 2 nicht. In anderen Fällen ist dieses Verhältnis umgekehrt. Zudem gibt es Fälle, in welchen beide Prädiktoren keinen signifikanten Regressionskoeffizienten erhalten.