Bedeutsamkeit der optimalen Parametereinstellung

    Wählen Sie bitte zunächst den Beispieldatensatz 1. Aktivieren Sie anschließend die Parameter Drift v und Non-decision time to des Modells A. Wählen Sie innerhalb des Modells B nur den Driftparameter v aus. Verändern Sie die Parameterwerte zunächst nicht.

  1. Betrachten Sie die Unterschiede zwischen den Vergleichsmaßen der optimalen und aktuellen Parameterwerte in Abbildung 2. Die aktuellen Parameterwerte führen zu deutlich höheren Vergleichsmaßen. Was können Sie daraus für die Bedeutung der Parameterwerte für die Modellbildung und den anschließenden Vergleich der Modelle schließen?

  2. Variieren Sie die Parameterwerte des Driftparameters v und der Non-decision time to von Modell A und beobachten Sie die Auswirkungen auf die Verteilungen und die Vergleichsmaße. Wählen Sie zum Schluss die optimalen Parametereinstellungen, welche Sie rechts von Abbildung 1 finden können, aus.

  3. Welchen Unterschied erkennen Sie, ob Sie die Einstellung des Drifts v verändern bzw. den optimalen Parameterwert dafür wählen im Vergleich dazu, dass Sie die Non-decision time to verändern bzw. den optimalen Wert dafür wählen?

  4. Aufgrund der unterschiedlichen im Modell enthaltenen Parameter der Modelle A & B kommt es zu verschiedenen optimalen Werten des Parameters v für die beiden Modelle. Was könnte der Grund dafür sein?

~ Take Home Message ~

Möchte man einen quantitativen Modellvergleich durchführen, ist es wichtig, die optimalen Parameterwerte für alle im Modell enthaltenen Parameter zu ermitteln und zu wählen. Wird dieser Schritt übersprungen, kann aufgrund ungünstiger Parameterschätzwerte die Vorhersagefähigkeit des Modells als geringer eingeschätzt werden, als dies der Realität entspricht, da man hohe Vergleichsmaße erhält. Die Bedeutsamkeit der Einstellung des optimalen Wertes eines bestimmten Parameters ist dabei abhängig von der generellen Bedeutsamkeit des Parameters für das Fitten des jeweiligen Datensatzes. Die optimalen Werte für einen bestimmten Parameter können in Abhängigkeit der im Modell enthaltenen Parameter variieren, da versucht wird, das aktuell zur Verfügung stehende Modell bestmöglich an die vorliegenden Daten anzupassen.

Einfluss und Bedeutsamkeit der Parameter

    Laden Sie die App neu, um alle Parameter zurückzustellen. Wählen Sie bitte wieder den Beispieldatensatz 1 und aktivieren Sie für Modell A den Parameter Drift v und für Modell B den Parameter Entscheidungsbias z. Stellen Sie die optimalen Parameterwerte beider Modelle ein.

  1. Welchen Einfluss auf die Vergleichsmaße können Sie erkennen, wenn Sie den optimalen Parameterwert des Drift einstellen im Vergleich zur Einstellung des optimalen Parameterwertes des Entscheidungsbias?

  2. Laden Sie die App neu, um alle Parameter zurückzustellen und wählen Sie nun bitte den Beispieldatensatz 4. Aktivieren Sie für Modell A die Parameter Schrankenabstand a, Entscheidungsbias z und Driftparameter v und für Modell B alle Parameter. Stellen Sie die optimalen Parameterwerte ein.

  3. Mit drei bzw. vier Parameter besitzen nun beide Modelle eine realtiv hohe Anzahl an Parametern. Trotzdem können Sie einen großen Unterschied in den Vergleichsmaßen beider Modelle beobachten. Was können Sie daraus ableiten? Beachten Sie hierzu auch die Gesamtübersichtsabbildung 'Optimalmodell' unter einer passenden Reihenfolge der Parameteraufnahme (z.B. Schranken - Bias - Drift - Non-decision time). Diese Abbildung stellt den Einfluss der Parameteranzahl auf die Vergleichsmaße bei optimaler Parameterwerteinstellung dar und lässt sich im Bereich 'Anzeige' des Interface aktivieren.

  4. Laden Sie die App neu, um alle Parameter zurückzustellen und wählen Sie als nächstes bitte den Beispieldatensatz 2. Aktivieren Sie für Modell A alle Parameter und für Modell B alle Parameter mit Ausnahme der Non-decision time.

  5. Sehen Sie sich nun den Unterschied der Vergleichsmaße für die optimalen Parametereinstellungen beider Modelle an. Welchen Einfluss auf die Vergleichsmaße durch die Hinzunahme des Parameters Non-decision time beobachten Sie? Beachten Sie dazu nicht nur das G², sondern auch AIC und BIC.

~ Take Home Message ~

Die Bedeutsamkeit verschiedener Parameter kann sich innerhalb eines Modells deutlich unterscheiden. Einige Parameter haben einen sehr großen Einfluss darauf, wie gut der Beispieldatensatz mit dem Modell gefittet werden kann. Andere Parameter können einen so geringen Einfluss besitzen, dass ihre Aufnahme ins Modell kein besseres Fitting ermöglicht, sondern nur zur Erhöhung von AIC und BIC führt. Die Bedeutsamkeit des jeweiligen Parameters ist dabei abhängig vom zu fittenden Datensatz und den bereits im Modell enthaltenen Parametern.

Bedeutung der Anzahl von Beobachtungswerten

    Laden Sie die App neu, um alle Parameter zurückzustellen und wählen Sie bitte den Beispieldatensatz 1 sowie den Parameter Entscheidungsbias z des Modells A aus.

  1. Reduzieren Sie Schritt für Schritt die Anzahl an Beobachtungswerten. Welchen Einfluss auf die Werte der Vergleichsmaße können Sie beobachten? Können Sie zudem Veränderungen in der Differenz zwischen den Vergleichsmaßen erkennen?

  2. Wählen Sie nun für die Anzahl der Beobachtungswerte bitte den Wert 5. Welche Veränderung im Verhältnis der Werte für AIC und BIC beobachten Sie? Ab welcher Anzahl an Beobachtungswerten tritt diese Veränderung auf? (Hinweis: Probieren Sie Werte zwischen 5 und 10 aus.)

~Take Home Message~

Je geringer die Anzahl an Beobachtungswerten ist, desto kleiner ist der Betrag der Vergleichsmaße. Auch die Differenz zwischen AIC und BIC nimmt zunächst ab. Solang die Anzahl der Beobachtungswerte einen Wert ≥ 8 annimmt, gilt AIC > BIC. Für kleinere Stichproben kehrt sich dieses Verhältnis um.