Likelihood Compass — Bayes Thinking Lab

Likelihood Compass — welche Verteilungsfamilie passt zu deinem Datengenerierungsprozess? · Nicht „wie sieht das Histogramm aus?" — sondern „wie sind diese Zahlen entstanden?"

Die Entscheidung über die Verteilungsfamilie (Likelihoodfunktion) für die eigenen Daten lässt sich durch ein paar gezielte Fragen und Überlegungen deutlich eingrenzen. Unterschiedliche Datengenerierungsprozesse führen zu unterschiedlichen Verteilungen der Daten: Reaktionszeiten, Summenscores aus Testitems und Zähldaten mit heterogener Rate erzeugen jeweils charakteristische Formen, die man schon vor der ersten Datenerhebung vorhersagen kann, wenn man den Entstehungsprozess kennt.

Stufe 1: Durch gezielte Fragen und Überlegungen mögliche Kriterien eingegrenzen.
Stufe 2: Daten anschauen und die Passung der Verteilung bewerten.
Stufe 3: Was es in brm() zu beachten gilt und welche Parameter und Priors notwendig sind.

Kostenlose Flexibilität: der Ein-Parameter-Trick

Student-t statt Normal, Negative Binomial statt Poisson, Beta-Binomial statt Binomial: In allen drei Fällen ergänzt die robustere Familie das Standardmodell um einen zusätzlichen Parameter. Dieser steuert, wie stark von der einfacheren Verteilung abgewichen werden darf — etwa durch Ausreißer oder Überdispersion. Wird diese zusätzliche Flexibilität nicht gebraucht, nähert sich das Modell automatisch dem Standardfall an (ν → ∞, φ → ∞).

Kein starres Schema

Die Zuordnung in Stufe 1 ist eine begründete Ausgangshypothese, kein Gesetz. Unter bestimmten Voraussetzungen — großes n, saubere Messbedingungen, kaum Ausreißer, Interesse am Mittelwert statt an den Rändern — bleibt auch der klassische Standard (Normal, Poisson, Binomial) eine legitime, einfachere Wahl. Kommen mehrere Kandidaten in Stufe 2 zu praktisch demselben Ergebnis, ist das selbst eine informative Antwort: Die Familie war für diese Fragestellung nicht entscheidend.

🎲

Prior Predictive Check

Vor dem Blick auf echte Daten: Simuliert Datensätze allein aus Verteilungsfamilie + Priors. Erzeugt die Kombination plausible Werte — oder sagt sie unmögliche Größenordnungen, negative Reaktionszeiten oder Anteile > 1 voraus? Ein falscher Likelihood-Typ fällt hier oft schon auf, bevor überhaupt geschätzt wird.

📈

Posterior Predictive Check

Nach der Schätzung: Simuliert Datensätze aus dem gefitteten Modell und vergleicht sie direkt mit den echten Daten. Hier wird eine falsche Likelihood am deutlichsten sichtbar — die Simulationen treffen Schiefe, Grenzen oder Streuung der echten Daten systematisch nicht.

⚖

LOO Lab — Modellvergleich

Der eigentliche Schiedsrichter: Leave-One-Out-Kreuzvalidierung schätzt, wie gut jedes Modell auf ungesehene Daten vorhersagt — nicht nur, wie gut es die Trainingsdaten nachzeichnet. Zwei Familien, die in Stufe 2 nah beieinander lagen, lassen sich hier direkt gegeneinander stellen.