Wie findet der Computer den Posterior?

Die Metapher: Stell dir vor, du stehst im dichten Nebel auf einer Hügellandschaft und sollst herausfinden, wie die Landschaft aussieht. Du kannst nicht fliegen und nichts sehen — aber du kannst den Boden unter deinen Füßen ertasten. Wenn du schlau spazierst und aufschreibst, wo du warst, entsteht nach vielen Schritten eine Karte der Landschaft. Genau das ist MCMC. Die Landschaft ist der Posterior — und deine Karte ist die Sammlung von Samples.

Warum kann man den Posterior nicht einfach berechnen?

Im frequentistischen Denken gibt es eine Formel: Daten rein, Schätzer raus. Im Bayesianischen Rahmen ist das Ziel eine ganze Verteilung über alle plausiblen Parameterwerte — der Posterior P(θ | Daten).

Das Bayes-Theorem sagt: P(θ|D) ∝ P(D|θ) · P(θ). Das Proportionalzeichen versteckt ein Integral im Nenner, das in realistischen Modellen nicht lösbar ist. Bei 5 Parametern und 100 Gitterpunkten pro Parameter wären das 100⁵ = 10¹⁰ Berechnungen. Unmöglich.

MCMC löst das, indem es den Posterior beprobt statt ihn vollständig auszurechnen.

Wie bewegt sich der Wanderer?

An jeder Position macht der Wanderer einen zufälligen Vorschlag: „Was wäre, wenn ich einen Schritt dorthin machte?"

Ist der neue Ort wahrscheinlicher? → immer hingehen.
Ist er weniger wahrscheinlich? → manchmal trotzdem hingehen — proportional zum Unterschied. Ein Ort, der halb so wahrscheinlich ist, wird in 50% der Fälle besucht.

So bleibt der Wanderer nicht in einer Ecke stecken und erkundet die ganze Landschaft.

Start

Wähle eine Stufe oben und klicke ▶ Starten oder → Ein Schritt.

Letzter Schritt

Position aktuell—

Vorschlag—

P(Vorschlag)—

P(Aktuell)—

Verhältnis α—

Zufallszahl u—

Noch kein Schritt.

Akzeptanzrate

0 % Gut: 20–50 %

          Schrittweite anpassen, um Exploration zu optimieren.
        

Legende

          ● Warmup (verworfen)

          ● Sampling (aufgezeichnet)

          ○ Vorschlag angenommen

          ○ Vorschlag abgelehnt

          - - Sprungverteilung N(θ, s)

HistogrammAnnäherung an Posterior

Trace — θ über SchritteGut: «Raupe»

Schrittweite s 0.80

Warmup 150

Tempo 6

Schritte: 0

Phase: —

Position: —

Samples: 0

Akzeptanzrate: —

Schrittweite s — was wirklich passiert

Die Schrittweite s bestimmt, wie weit der Wanderer bei jedem Schritt springen kann.

s sehr klein: Fast jeder Vorschlag liegt dicht am aktuellen Ort — wird fast immer akzeptiert. Aber: Der Wanderer trippelt nur, erkundet kaum. Selbst bei 90% Akzeptanz kann die Exploration schlecht sein.

s sehr groß: Vorschläge landen weit weg, oft in sehr flachen Bereichen — werden oft abgelehnt. Der Wanderer steht häufig still.

Die optimale Schrittweite ist diejenige, die gute Exploration bei vernünftiger Akzeptanzrate ergibt. Als Richtwert gilt 20–50 % — aber entscheidend ist der Trace Plot, nicht die Rate allein. brms passt s automatisch im Warmup an (adaptive sampling).

Warmup, Trace Plot & Konvergenz

Warmup (burn-in): Die Kette startet irgendwo und braucht Zeit, um in den hochwahrscheinlichen Bereich zu finden. Diese ersten Schritte werden verworfen — sie repräsentieren den Posterior noch nicht.

Trace Plot lesen: Eine konvergierte Kette sieht aus wie eine «flauschige Raupe» — zufällig springend um ein stabiles Niveau. Sichtbarer Aufwärtstrend oder lange Plateaus → Warmup nicht lang genug oder s nicht optimal.

R̂ (Gelman-Rubin): In brms laufen mehrere Ketten parallel. Wenn alle dieselbe Verteilung erkunden, konvergieren sie. R̂ < 1.01 = gut. Divergenzen → oft ein Hinweis auf schlecht gewählte Priors oder schwierige Posterior-Geometrie — dann hilft adapt_delta erhöhen.

▸ Metropolis-Hastings — die Mathematik

An jedem Schritt gelten drei Regeln:

1. Vorschlag: Neuer Wert θ* = θ + ε, ε ~ Normal(0, s).

2. Verhältnis: α = P(θ*|Daten) / P(θ|Daten). Wie viel plausibler ist der Vorschlag?

3. Entscheidung: α ≥ 1 → immer annehmen. α < 1 → mit Wahrscheinlichkeit α annehmen.

Der Trick: Nur Verhältnisse werden gebraucht — die unlösbare Normierungskonstante kürzt sich heraus.

Warum konvergiert das? Die Übergangsregel erfüllt detailed balance: bei unendlich vielen Schritten entspricht die Besuchshäufigkeit exakt der Posterior-Verteilung. Mathematisch beweisbar.

ℹ MCMC Visualizer — Hilfe

Was lerne ich hier?

Bayesianische Inferenz erfordert den Posterior P(θ|Daten) — eine Verteilung über alle plausiblen Parameterwerte. Da der Nenner des Bayes-Theorems ein unlösbares Integral enthält, wird der Posterior durch Markov Chain Monte Carlo (MCMC) beprobt statt berechnet. Dieses Tool zeigt Schritt für Schritt, wie der Metropolis-Hastings-Algorithmus dabei vorgeht.

Empfohlene Erkundung

Stufe 1 starten, einzelne Schritte mit → Ein Schritt durchklicken — Inspector beobachten: Verhältnis α und Zufallszahl u entscheiden über Annahme oder Ablehnung
Schrittweite s variieren — zu groß: viele Ablehnungen; zu klein: Wanderer bewegt sich kaum. Ziel: Akzeptanzrate 20–50 %
Stufe 2 (bimodaler Posterior) — beobachte, ob der Wanderer beide Gipfel findet oder in einem stecken bleibt
Stufe 3 (2D: μ und σ) — sehe wie brms gleichzeitig zwei Parameter schätzt; Histogramme zeigen die marginalen Posteriors
Warmup vs. Sampling vergleichen — orange Punkte (Warmup) werden verworfen, blaue (Sampling) bilden die Posterior-Schätzung

Die wichtigsten Anzeigen

Hauptplot: Posterior-Landschaft + Pfad des Wanderers

Inspector: Letzter Schritt im Detail — Verhältnis α = P(Vorschlag)/P(Aktuell); wenn α ≥ u → Annahme

Akzeptanzrate: Grüner Bereich (20–50 %) = optimale Schrittweite

Histogramm + Trace: Entstehende Posterior-Approximation und Verlauf über alle Schritte — ein «Raupen»-Trace signalisiert gute Konvergenz

Narrative-Banner: Erklärt jeden Schritt in Worten — ideal zum schrittweisen Lernen