Maximum Likelihood — Bayes Thinking Lab

Maximum Likelihood — welcher Parameter macht die beobachteten Daten am plausibelsten? · Likelihood ≠ Wahrscheinlichkeit

Worum geht es hier?

Du hast Daten erhoben — sie stehen fest. Unbekannt ist der Parameter, der sie erzeugt hat (im Beispiel: die wahre Abweichung μ einer Waage). Maximum Likelihood fragt: Welcher Parameterwert macht genau diese Daten am plausibelsten?

Dafür brauchst du zwei Blickwinkel auf dieselbe Formel: Dichte f(y|μ) — μ ist fest, y variiert: „Wie typisch wäre dieser Messwert bei diesem μ?" Likelihood L(μ|y) — y ist fest (beobachtet), μ variiert: „Wie gut passt dieses μ zu meinen Daten?" Das Maximum der Likelihood ist der MLE (Maximum-Likelihood-Schätzer).

Likelihood ≠ Wahrscheinlichkeit: L summiert sich nicht auf 1, kann > 1 sein und ist keine Wahrscheinlichkeit für μ. Ausführlicher Vergleich → Lernkarten unten.

So gehst du vor

① Stufe 1 — Ein Datenpunkt: Setze y und schiebe die Verteilung über μ. Der rote Punkt zeigt die Dichte am beobachteten y — für festes y ist das die Likelihood. Sie ist am größten, wenn μ = y.
② Stufe 2 — Viele Daten: Die Likelihood aller Daten ist ein Produkt und wird winzig; deshalb rechnet man mit der Log-Likelihood (Summe). Verschiebe μ und verändere σ; mit „Auch σ variieren" siehst du die Landschaft für μ und σ gemeinsam.
③ Stufe 3 — Andere Familien: Poisson (Zähldaten) und Bernoulli (0/1): andere Daten, andere Landschaft, gleiches Prinzip — finde den Gipfel. Dort vergleichst du auch Modelle mit AIC & BIC.

Worauf achten?

• Die Likelihood-Kurve ist keine Verteilung von μ: Ihre Fläche ist nicht 1, sie sagt nur, welche Werte besser zu den Daten passen als andere.
• Der MLE ist ein Punktschätzer. Wie sicher er ist, zeigt die Form der Landschaft: Ein breiter, flacher Gipfel heißt, dass viele μ-Werte ähnlich gut passen.
• Der MLE für σ² teilt durch n und ist bei kleinem n zu klein (Bias) — Details in der Lernkarte „MLE — das Prinzip".

Und danach?

Der MLE nutzt nur die Daten. Wie sich zusätzliches Vorwissen einbeziehen lässt (Prior → Posterior), zeigt Bayes Interactive.

Laufendes Beispiel

Stufe 1 & 2 — Normal
Wiegefehler einer Waage (g)
Du wiegst mehrmals ein Referenzgewicht auf einer Waage. Die Anzeige weicht leicht vom wahren Gewicht ab — Sensorrauschen streut den Messfehler annähernd normalverteilt um eine wahre Abweichung (Kalibrierungsfehler) μ. Wie groß ist μ — und welches μ macht deine konkreten Messungen am plausibelsten?

Stufe 3 — Poisson
Trainingsstunden pro Woche
Ganzzahlige Zähldaten (0, 1, 2, …). Die Poisson-Verteilung modelliert, wie viele Einheiten pro Zeitraum auftreten. Parameter λ = erwarteter Mittelwert. MLE: λ = y — identisches Prinzip, andere Formel.

Stufe 3 — Bernoulli
Mindestleistung erreicht? (0/1)
Binäres Ergebnis: bestanden oder nicht. Parameter p = Erfolgswahrscheinlichkeit. MLE: p = Anteil der Einsen. Die Likelihood-Landschaft wird zur Parabel über p ∈ (0, 1).

Stufen – Bitte eine Stufe wählen: ↓

Stufe 1

Beobachtung 1 — Dichte f(y|μ) bei festem μ

Datenpunkt y (beobachtet, fest) —

Verteilung zentriert bei μ —

Dichtewert = Likelihood L(μ|y) —

Beobachtung 2 — Likelihood L(μ|y) über μ

Maximum bei μ = — (= y)

Log-Likelihood ℓ(μ|y) —

          Die rechte Kurve zeigt für jedes mögliche μ, wie hoch die Dichtefunktion
          am Datenpunkt y wäre. Das Maximum liegt genau bei μ = y.
          Das ist MLE für einen Datenpunkt.
        

      σ = 1.0 (fest)
    

① Datenpunkt y 1.5

② Verteilung schieben: μ -2.00

Nächste Frage: Was passiert bei mehreren Beobachtungen?
Ein Datenpunkt ist verstanden — als Nächstes erweitern wir die Idee auf mehrere Messungen und multiplizieren die Likelihood.

Konzepte Was du hier lernst

Likelihood ≠ Wahrscheinlichkeit — der zentrale Unterschied

P(y | θ): Wahrscheinlichkeit der Daten y, wenn Parameter θ bekannt ist. θ fest, y unbekannt.
L(θ | y): Likelihood des Parameters θ, wenn die Daten y beobachtet sind. y fest, θ unbekannt.

Dieselbe mathematische Formel — vollständig andere Interpretation.

Likelihood summiert sich nicht auf 1 und ist keine Wahrscheinlichkeit über θ. Bei stetigen Verteilungen ist L der Dichtewert — dieser kann > 1 sein (σ in Stufe 2 sehr klein stellen, dann steigt die Dichtefunktion über 1).

Warum Log-Likelihood? — Stufe 1 & 2

Die Likelihood von n Beobachtungen ist das Produkt der Einzeldichten: L(θ|y₁…yₙ) = ∏ᵢ f(yᵢ|θ)

Bei vielen kleinen Werten (z.B. 0.04 × 0.09 × … × 0.06) wird das Produkt extrem klein — numerischer Underflow. Stufe 2 zeigt das live: das Produkt der roten Linien wird im Infotext angezeigt und schrumpft rasant.

Der Logarithmus macht aus dem Produkt eine Summe: ℓ(θ) = Σᵢ log f(yᵢ|θ) — er ist eine monoton steigende Funktion, das Maximum liegt also an genau derselben Stelle θ, egal ob man L(θ) oder ℓ(θ) maximiert.

Der praktische Vorteil: Statt tausender winziger Zahlen zu multiplizieren (numerischer Underflow — der Computer rechnet einfach 0), addiert man handhabbare negative Zahlen, ohne Präzisionsverlust. MLE maximiert daher immer ℓ(θ) = log L(θ).

MLE — das Prinzip & Schätzer — Stufe 1 & 2

Maximum Likelihood Estimation sucht θ, das die beobachteten Daten am plausibelsten macht: θ = argmax ℓ(θ|y)

Das ist kein Urteil über θ selbst — nur über seine Kompatibilität mit den Daten. Andere θ-Werte sind nicht unmöglich, nur weniger plausibel.

Analytische MLE-Schätzer (Normal): μ = y σ² = Σ(yᵢ−y)²/n

Warum ist σ² biased? Der Schätzer zentriert an y selbst, und y minimiert per Konstruktion Σ(yᵢ−c)² über alle c (Least-Squares-Eigenschaft des Mittelwerts). Deshalb ist Σ(yᵢ−y)² im Mittel kleiner als Σ(yᵢ−μ)² mit dem wahren μ. Exakt gilt E[σ²] = (n−1)/n · σ² — der Effekt ist bei kleinem n am stärksten. Der unbiased Schätzer s² = Σ(yᵢ−y)²/(n−1) korrigiert das (Bessel-Korrektur) — deshalb teilt var() in R durch n−1.

In Stufe 1: μ = y (ein Punkt). In Stufe 2: μ = y (alle Punkte).

Mehrdimensionales MLE: μ und σ gleichzeitig — Stufe 2

MLE kann mehrere Parameter gleichzeitig schätzen — ein wichtiger Vorteil gegenüber einfachen Momentenschätzern.

Für die Normalverteilung gibt es zwei unbekannte Parameter: μ (Lage) und σ (Streuung). Die Log-Likelihood wird zu einer Fläche über dem (μ, σ)-Raum — ein Gebirge statt einer Kurve. Der gemeinsame MLE liegt am Gipfel: μ = y σ = √(Σ(yᵢ−y)²/n)

In Stufe 2: „Auch σ variieren" aktivieren → Heatmap zeigt die 2D-Landschaft, der helle Punkt ist der gemeinsame Gipfel. Dieses Prinzip skaliert auf beliebig viele Parameter — so schätzt lm() und glm() in R intern.

MLE ist allgemein — Poisson & Bernoulli — Stufe 3

MLE funktioniert für jede parametrische Familie — nicht nur Normal. Das ist das Fundament von GLMs:

Poisson (Trainingsstunden/Woche): λ = y | Log-Likelihood: Σᵢ [yᵢ·log(λ) − λ]
Bernoulli (Mindestleistung 0/1): p = Anteil Einsen | Log-Likelihood: Σᵢ [yᵢ·log(p) + (1−yᵢ)·log(1−p)]

In Stufe 3 zwischen den Familien wechseln: Die Likelihood-Landschaft verändert ihre Form — Parabel für Bernoulli, asymmetrisch für Poisson — aber der Mechanismus ist identisch: finde den Gipfel.

Modellvergleich mit AIC & BIC — Stufe 3

Der maximierte Log-Likelihood-Wert ℓ̂ lässt sich direkt für Modellvergleiche nutzen:

AIC = −2·ℓ̂ + 2k (k = Anzahl Parameter)
BIC = −2·ℓ̂ + k·log(n)

Kleinerer AIC/BIC = bessere Passung bei gleicher Komplexität. AIC bestraft weniger stark als BIC — bei großem n bevorzugt BIC sparsamere Modelle.

Wichtige Einschränkung: Direkt vergleichbar sind AIC/BIC nur zwischen Modellen derselben Verteilungsklasse — z.B. mehrere Zähldatenmodelle (Poisson vs. Negativ-Binomial) oder mehrere Normalmodelle. Zwischen grundverschiedenen Familien (z.B. Bernoulli vs. Normal) sind die Werte wegen unterschiedlicher Datenskalen/ Likelihood-Normierungen nicht ohne Weiteres vergleichbar.

Anwendungsbeispiel: Passt Poisson oder Negativ-Binomial besser auf die Trainingsstunden-Daten? Gleiche Daten, gleiche Verteilungsklasse (Zähldaten) — hier entscheiden AIC/BIC. In Stufe 3 werden beide live berechnet.