Merkmalsselektionsverfahren

Starten Sie die App unter den Standardeinstellungen aller Sliderwerte. Wenn Sie bereits Veränderungen vorgenommen haben, können Sie die Standardeinstellungen wiederherstellen, indem Sie die Seite neu laden.


1. Vorwärtsverfahren

Klicken Sie im unteren Bereich des Ausgabefensters solange auf den blauen Pfeil nach rechts, wie es möglich ist. Was können Sie beobachten?


Jeder Pfeilklick entspricht einem Schritt im Vorwärtsverfahren, dabei wird jeweils eine neue Variable in das Modell aufgenommen. Im ersten Schritt wird die Variable X1 aufgenommen, weil diese die höchste bivariate Korrelation mit dem Kriterium Y aufweist. Es werden solange weitere Variablen zum Modell hinzugenommen, bis die Hinzunahme einer weiteren Variable zu keiner signifikanten Veränderung des Bestimmtheitsmaßes auf dem Niveau α = 0.05 mehr führt. Die optimale Merkmalsmenge besteht im vorliegenden Fall aus den fünf Variablen X1, X9, X2, X8 und X4. Das Bestimmtheitsmaß dieses Modells beträgt 0.913.



Setzen Sie das Einschlusskriterium auf p < 0.01 und beobachten Sie, was diese Veränderung zur Folge hat.


Bei einem Einschlusskriterium von p < 0.01 besteht die optimale Merkmalsmenge nun nur noch aus vier Variablen, X1, X9, X2, X8. Eine Hinzunahme von X4 führt nach dem neuen Einschlusskriterium zu keiner signifikanten Veränderung des Bestimmtheitsmaßes mehr, weswegen sie nicht in der optimalen Merkmalsmenge enthalten ist.



2. Rückwärtsverfahren

Wählen Sie unter Methode Rückwärtsverfahren aus. Klicken Sie dann im unteren Bereich des Ausgabefensters solange auf den blauen Pfeil nach rechts, wie es möglich ist. Was können Sie beobachten?


Beim Rückwärtsverfahren sind im ersten Schritt alle Variablen im Modell enthalten. Das Bestimmtheitsmaß R2 des anfänglichen Modells beträgt 0.929. In den weiteren Schritten werden solange Variablen aus dem Modell entfernt, bis die Entfernung einer Variable zu einem signifikanten (α = 0.1) Rückgang des Bestimmtheitsmaßes R2 führen würde. Begonnen wird im ersten Schritt mit der Variable, deren Entfernung zum geringsten Rückgang des Bestimmtheitsmaßes R2 führen wurde. In den Schritten 2-5 werden die Variablen X6, X5, X3 und X9 entfernt, sodass die optimale Merkmalsmenge aus den Variablen X1, X2, X4, X7 und X8 besteht. Das Bestimmtheitsmaß R2 dieses Modells beträgt 0.916.



Setzen Sie das Ausschlusskriterium auf p ≥ 0.01 und beobachten Sie, was diese Veränderung zur Folge hat.


Nun werden solange Variablen aus dem Modell entfernt, bis die Entfernung einer Variable aus dem Modell zu einer signifikante Reduktion des Bestimmtheitsmaßes auf dem Niveau α = 0.01 führen würde. In der Folge werden die Variablen X6, X5, X3, X9 und X4 aus dem Modell entfernt. Die optimale Merkmalsmenge mit diesem Ausschlusskriterium umfasst also die Variablen X1, X2, X7 und X8, das Bestimmtheitsmaß R2 beträgt 0.880.



3. Schrittweises Verfahren

Wählen Sie unter Methode schrittweises Verfahren und wählen Sie für das Einschlusskriterium und das Ausschlusskriterium jeweils 0.2. Klicken Sie sich dann durch die einzelnen Schritte des schrittweisen Verfahrens. Was können Sie dabei beobachten?


Das schrittweise Verfahren kombiniert Vorwärts- und Rückwärtsverfahren. Grundsätzlich wird ein Vorwärtsverfahren durchgeführt, im ersten Schritt wird entsprechend die Variable mit der höchsten bivariaten Korrelation mit dem Kriterium Y aufgenommen, in diesem Fall X1. Zusätzlich wird vor jedem weiteren Schritt geprüft, ob die Entfernung einer der Variablen aus der Merkmalsmenge ohne einen signifikanten Rückgang des Bestimmtheitsmaßes R2 möglich ist. Ist das der Fall, wird die entsprechende Variable im nächste Schritt aus dem Modell entfernt. In diesem Beispiel werden entsprechend des Vorwärtsverfahrens die Variablen X1, X9, X2, X8, X4 und X7 ins Modell aufgenommen. Aufgrund von Multikolliniaritätseffekten kann im siebten Schritt die Variable X9 wieder aus dem Modell entfernt werden, weil sie im Zusammenspiel mit den anderen im Modell enthaltenen Prädiktoren keinen eigenständigen Erklärungsbeitrag der Varianz des Prädiktors mehr bietet.