Vom LM zum GLM — Bayes Thinking Lab

Drei Szenarien

OLS-Regression setzt normalverteilte Fehler (errors ε) voraus. Drei Szenarien aus der Körperbildforschung zeigen, was passiert wenn man es trotzdem erzwingt — und wie ein GLM mit passender Verteilung die Situation löst.

Worum geht es hier?

Eine lineare Regression (LM) nimmt an, dass die Fehler normalverteilt sind — der Outcome darf dann jeden Wert annehmen. Das passt nicht, wenn der Outcome nur 0/1 ist (Therapieerfolg), eine Zählung (Body Checking pro Woche) oder eine positive, rechtsschiefe Größe (Reaktionszeit). Das LM sagt dann Werte voraus, die es gar nicht geben kann (Wahrscheinlichkeiten unter 0, negative Häufigkeiten), und die Residuen sehen nicht normal aus.

Das GLM löst das mit drei Bausteinen: einer Verteilungsfamilie passend zu den Daten, einem linearen Prädiktor η und einer Linkfunktion, die η in den gültigen Wertebereich überführt. Das LM ist der Spezialfall mit Normalverteilung und Identitäts-Link.

Die Normalverteilungsannahme betrifft die Fehler ε, nicht den Outcome selbst — sie ist bei diesen Daten strukturell verletzt, nicht nur zufällig.

So gehst du vor

Zuerst: Wähle oben eines der drei Szenarien (Bernoulli, Poisson, Gamma) und lies den Kasten „Das Problem“.
① LM (links): Das LM wird trotz ungeeigneter Daten angepasst. Der rote Kasten unter dem Plot nennt die konkreten Probleme.
② GLM (Mitte): Dieselben Daten mit passender Verteilung und Link — Logit für Bernoulli, Log-Link für Poisson und Gamma. Der grüne Kasten erklärt, warum das hier funktioniert.
③ Fit-Vergleich (rechts): Residuenverteilung, AIC und RMSE beider Modelle. ΔAIC = AIC(LM) − AIC(GLM): je größer, desto klarer das GLM.

Worauf achten?

• AIC ist eine Entscheidungshilfe, kein Urteil: ΔAIC < 2 heißt kaum Unterschied, ΔAIC > 10 einen klaren Vorteil für das GLM.
• Der RMSE ist in y-Einheiten angegeben und immer vergleichbar — beim AIC lohnt der Blick auf beide Zahlen.
• Bei Zähldaten reicht Poisson nicht immer: Bei Überdispersion wechselst du zur Negativ-Binomial-Verteilung.

Zum Ausprobieren

• Stelle die Stichprobengröße n auf 20 und klicke mehrmals „Neue Daten“: Wie stabil bleibt ΔAIC?
• Wechsle zwischen den Szenarien und vergleiche die Form der Residuen im rechten Plot.
• Schau dir unten die Linkfunktion an: Dort siehst du, wie η in den gültigen Wertebereich abgebildet wird.

Und danach?

Wie die Verteilung eines Outcomes je nach Prädiktorwert wandert, zeigt GLM Cond Dist.

Szenarien – Bitte ein Szenario wählen: ↓

Problem

①LM — Normalverteilung (falsch)

→

②GLM — passende Verteilung (richtig)

→

③Fit-Vergleich: AIC & Residuen

Stichprobengröße n 50

LM mit Normalverteilung ⚠ Problematisch

Log-Likelihood (LM)—

AIC (LM)—

GLM mit passender Verteilung ✓ Besser

Log-Likelihood (GLM)—

AIC (GLM)—

Residuenverteilung & AIC-Vergleich

ΔAIC (LM − GLM)—

■ LM-AIC —

■ GLM-AIC —

          RMSE (immer vergleichbar — in y-Einheiten; kleiner = besser)
        

■ LM-RMSE —

■ GLM-RMSE —

Linkfunktion Was die Linkfunktion macht — visuell

    So liest du das Diagramm: Oben steht der lineare Prädiktor η = a + b·x —
    er kann, genau wie bei der gewöhnlichen linearen Regression, jeden Wert zwischen −∞ und +∞ annehmen.
    Die Linkfunktion (Pfeil) bildet η auf den für diese Verteilungsfamilie gültigen Wertebereich
    ab (unten) — z.B. Wahrscheinlichkeiten in (0,1) bei Bernoulli oder positive Werte bei Poisson/Gamma.
    Die fünf farbigen Punkte sind dieselben Beispiel-x-Werte oben und unten — die
    Verbindungslinien zeigen direkt, wie die Linkfunktion sie staucht oder streckt, um sie
    in den gültigen Bereich zu bringen.
  

      Linearer Prädiktor η = a + b·x
       · Wertebereich: −∞ bis +∞
    

↓

      E[y] = g⁻¹(η)
      Wertebereich: eingeschränkt
    

Beispielrechnung Effekt-Interpretation mit konkreten Zahlen

Konzepte Was du hier lernst

Wie wählt man die richtige Familie?

Schaue auf die Natur der Outcome-Variable — Wertebereich, diskret/stetig, symmetrisch/schief:

Bernoulli — binäre Outcomes: Diagnosen, Erfolg/Misserfolg.
Poisson — Zähldaten (0, 1, 2, …). Cave: bei Überdispersion → Negativ-Binomial.
Gamma — positiv, rechtsschief: Reaktionszeiten, Wartezeiten, Kosten.
Normal/LM — stetig, symmetrisch, kein harter Nullpunkt: z-standardisierte Fragebogenwerte, IQ.

Passung prüfen via Posterior Predictive Check · AIC/BIC für Vergleich alternativer Familien.

Systematisch durchgehen: Der Likelihood Compass führt durch alle Verteilungsfamilien — mit Pflichtparametern, Priors und brms-Syntax je Familie.

Was ist eine Linkfunktion — und warum braucht man sie?

Das Problem: Der lineare Prädiktor η = a + b·x kann jeden Wert annehmen (−∞ bis +∞). Aber viele Outcome-Variablen haben einen eingeschränkten Wertebereich: Wahrscheinlichkeiten liegen in (0,1), Zählraten müssen positiv sein.

Die Lösung: Eine Linkfunktion transformiert den Erwartungswert in einen Bereich, für den lineare Modellierung sinnvoll ist:

Logit-Link (Bernoulli): log(p/(1-p)) = η — bildet p ∈ (0,1) auf (−∞,+∞) ab, umgekehrt ergibt jedes η ein p = 1/(1+e^(−η)) ∈ (0,1). Die S-Kurve im Plot.
Log-Link (Poisson, Gamma): log(λ) = η — bildet λ > 0 auf (−∞,+∞) ab, umgekehrt ist λ = e^η immer positiv. Die exponentielle Kurve im Plot.
Identitäts-Link (Normal): E[y] = η — keine Transformation; das LM ist ein GLM-Spezialfall mit Normalverteilung und Identitätslink.

Was passiert wenn man die falsche Likelihood wählt?

Das LM minimiert RSS — was äquivalent zur Maximum-Likelihood-Schätzung unter Normalverteilungsannahme ist. Wenn diese Annahme verletzt ist, sind die Schätzer zwar noch berechenbar, aber:

Vorhersagen landen außerhalb des gültigen Wertebereichs (p < 0 oder p > 1)
Die Log-Likelihood ist suboptimal — AIC/BIC schlechter
Residuen sind systematisch nicht normalverteilt
Inferenz (Konfidenzintervalle, Tests) ist verzerrt

ΔAIC als Entscheidungshilfe

AIC bestraft schlechten Fit und Parameteranzahl: AIC = −2ℓ̂ + 2k

Faustregel für ΔAIC = AIC(LM) − AIC(GLM):

ΔAIC < 2: kaum Unterschied
ΔAIC 2–6: moderater Vorteil für GLM
ΔAIC > 10: starker Vorteil, LM klar schlechter

Hier siehst du den ΔAIC live. Bei binären Daten und Zähldaten ist der Vorteil des GLM typischerweise groß — bei stetigen, symmetrischen Daten kann das LM ausreichend sein.