OLS & Multiple Regression — Bayes Thinking Lab

Die Regressionsgerade ist die Gerade, die am besten durch die Punktwolke passt — und jeder Koeffizient gilt nur „bei Konstanthalten der anderen“.

Worum geht es hier?

Je mehr Lernzeit, desto bessere Klausurnote? Genau das untersuchst du hier an 30 simulierten Studierenden: Lernzeit (X₁, Stunden pro Woche), Schlaf (X₂, Stunden pro Nacht) und Klausurnote (Y, 0–100 Punkte). Eine Regression beschreibt, wie sich Y im Durchschnitt verändert, wenn sich X ändert — als Gerade durch die Punktwolke.

Welche Gerade? Jede Gerade macht Fehler: Die Abweichung eines Punktes von der Geraden heißt Residuum. Die Methode der kleinsten Quadrate (OLS) wählt die Gerade, bei der die Summe der quadrierten Residuen (RSS) am kleinsten ist. Das Minimum lässt sich direkt berechnen — es ist kein Ausprobieren nötig.

Was sagt dir die Gerade? Die Steigung b₁ gibt an, um wie viele Punkte die erwartete Note pro zusätzlicher Lernstunde steigt; der Achsenabschnitt b₀ ist die erwartete Note bei X = 0. Das standardisierte β macht Prädiktoren mit verschiedenen Einheiten vergleichbar. Wie gut die Gerade passt, misst R²: der Anteil der Varianz von Y, den das Modell erklärt (Gesamtstreuung TSS = erklärter Teil + RSS).

Mehrere Einflussgrößen. Kommt ein zweiter Prädiktor hinzu, wird aus der Geraden eine Ebene. Jeder Koeffizient gilt dann „bei Konstanthalten der anderen“ (ceteris paribus). Hängen Lernzeit und Schlaf zusammen, verändert sich b₁: Das bivariate b₁ enthält den Einfluss des Schlafs noch mit (Konfundierung). Ein Added Variable Plot macht den bereinigten Effekt sichtbar.

So gehst du vor

① Least Squares — Ziehe die Gerade an den beiden Ankern und bringe die RSS (orangener Balken) möglichst klein. Mit „Residuals“ siehst du die Abweichungen (grün: Punkt über der Geraden, rot: darunter), mit „OLS zeigen“ erscheint die beste Gerade samt ihrer RSS. Das Anscombe-Quartett darunter zeigt, warum man Residuen immer ansehen sollte.
② Koeffizienten — Lies b₁ als „+1 Stunde Lernzeit → +b₁ Punkte erwartet“ (das Steigungsdreieck zeigt es an drei Stunden), b₀ als erwartete Note bei 0 Stunden und β als einheitenfreie Stärke. Im bivariaten Modell ist β = r.
③ Modellgüte — Schalte zwischen TSS, SSM und RSS um und sieh, wie sich die Gesamtstreuung zerlegt. Daraus ergeben sich R² = SSM/TSS, das adjustierte R², der Effektstärke-Wert f² (klein ab .02, mittel ab .15, groß ab .35) und r.
④ Multiple Regression — Gehe die Schritte Bivariat, e(Y|X₂), e(X₁|X₂), AVP und 3D-Ebene durch. Stelle die Korrelation von X₁ und X₂ (r = .00 bis .80) um und vergleiche in der Tabelle das bivariate mit dem partiellen b₁. Δb₁ zeigt, wie viel Konfundierung im bivariaten Wert steckt.

Worauf achten?

Einheiten zählen: Ein unstandardisiertes b hängt von den Einheiten ab (Stunden, Punkte). Willst du Prädiktoren vergleichen, nimm β.
„Bei Konstanthalten der anderen“: Ein Koeffizient der multiplen Regression gilt nur unter dieser Bedingung — er ändert sich, wenn Prädiktoren hinzukommen oder wegfallen.
R² ist kein Kausalitätsbeweis: Es wächst mit jedem zusätzlichen Prädiktor, auch mit nutzlosen (das adjustierte R² gleicht das aus), und sagt nichts darüber, ob ein Zusammenhang ursächlich ist.
Gleiche Kennwerte, andere Daten: Koeffizienten und R² können identisch sein, obwohl Ausreißer oder Krümmung vorliegen. Ohne Blick auf Streudiagramm und Residuen bleibt das unbemerkt.
Normalverteilung der Fehler: Für die OLS-Schätzung selbst ist sie nicht nötig (Gauss-Markov), erst für Tests und Konfidenzintervalle.

Zum Ausprobieren

• Versuche in Schritt 1, die RSS der OLS-Geraden zu unterbieten — es gelingt nicht, denn OLS liefert das exakte Minimum.
• Öffne in Schritt 1 das Anscombe-Quartett: Vier sehr verschiedene Datensätze haben fast dieselbe Gerade.
• Schalte in Schritt 3 zwischen TSS, SSM und RSS und prüfe, dass sich SSM und RSS zu TSS ergänzen.
• Setze in Schritt 4 die Korrelation auf r = .00 und dann auf r = .80: Bei r = .00 ist Δb₁ = 0, bei r = .80 ist der Unterschied am größten.

Und danach?

Dieses Tool setzt einen stetigen, normalverteilten Outcome voraus. Was passiert, wenn das nicht stimmt — bei 0/1-Daten, Zählungen oder Reaktionszeiten —, zeigt Vom LM zum GLM.

Beispiel

N = 30 Studierende X₁ = Lernzeit (h/Woche) X₂ = Schlafstunden (h/Nacht) Y = Klausurnote (0–100 Pkt.)

Lernschritte – Bitte einen Reiter wählen: ↓

Das Least-Squares-Prinzip

Warum minimiert OLS die quadrierten Abweichungen — und was bedeutet das?

Lernzeit (h/Woche) → Klausurnote

b₀

—

b₁

—

R²

—

RSS

—

RSS-Vergleich (kleiner = besser)

Deine Gerade

—

OLS (min)

—

Modell:
Y = — + — · X₁

OLS (min):
Y = — + — · X₁

Tutorial — Das Least-Squares-Prinzip

Was du siehst
30 simulierte Studierende: Lernzeit X₁ (h/Woche) → Klausurnote Y (Punkte). Die orangene Gerade ist deine Schätzlinie — ziehbar über zwei runde Anker am linken und rechten Rand. Schalte ● Residuals ein: grüne Striche = positive Residuen (Punkt liegt über der Gerade), rote Striche = negative Residuen (Punkt liegt darunter). Ein Residuum eᵢ = yᵢ − ŷᵢ ist die Abweichung des beobachteten vom vorhergesagten Wert.

Was tun
Zieh die Anker, bis deine RSS (orangener Balken, absoluter Wert) möglichst klein wird. Klick dann ◎ OLS zeigen — die blaue OLS-Gerade erscheint. Der zweite Balken zeigt deren RSS. Vergleich: Wie nah kamst du ans Minimum?

Was ist RSS? (Residual Sum of Squares)
RSS = Σeᵢ² = Σ(yᵢ − ŷᵢ)². OLS findet analytisch exakt das b₀ und b₁, für das RSS global minimal ist — eindeutig und beweisbar. Kein Ausprobieren: b₁ = Cov(X,Y)/Var(X), b₀ = ȳ − b₁·x̄.

Warum Quadrate, nicht Beträge?
(1) Für jede OLS-Gerade mit Intercept gilt Σeᵢ = 0. Positive und negative Residuen heben sich trivialerweise auf. Sowohl Beträge als auch Quadrate würden das verhindern, aber nur letztere sind optimal um den Mittelwert vorherzusagen. (2) Das Quadrieren allerdings bestraft große Residuen überproportional: ein Residuum von 10 kostet 100, nicht 10. (3) Das Quadrat liefert außerdem eine differenzierbare Funktion → geschlossene, eindeutige Lösung.

Gauss-Markov: Unter den 5 OLS-Annahmen (→ Modul ③) ist OLS der BLUE — Best Linear Unbiased Estimator. Kein anderer linearer unverzerrter Schätzer hat kleinere Varianz.

I — linear

II — quadratisch

III — Ausreißer

IV — Leverage-Punkt

Alle vier Datensätze haben (nahezu) identische Kennwerte: b₁ ≈ 0.50, b₀ ≈ 3.0, r ≈ .816, R² ≈ .667. Dennoch zeigen Scatterplot und Residualplot fundamental verschiedene Muster. Fazit: Koeffizienten und R² allein genügen nicht — Residualdiagnostik ist Pflicht.

b₀, b₁ und β verstehen

Steigung, Achsenabschnitt und standardisierter Koeffizient — visuell und formal

Regressionsgerade mit Koeffizienten-Visualisierung

b₀

—

b₁

—

b₁: Pro +1 h Lernzeit steigt die erwartete Note um — Punkte.
β = r = — — bivariat gilt stets β = r.
b₀: Erwartete Note bei 0 h Lernzeit (extrapoliert, inhaltlich oft nicht sinnvoll).

Tutorial — b₀, b₁ und β verstehen

Was du siehst
Die OLS-Gerade durch alle 30 Datenpunkte. Aktiviere △ Steigung für das Steigungsdreieck und ✛ Mittelwert für den Schwerpunkt (x̄, ȳ) im Koordinatensystem.

b₁ = — — Steigung (unstandardisiert)
Pro +1 h Lernzeit steigt die erwartete Note um — Punkte. Einheit: Punkte/Stunde. Interpretation: deskriptiv, kein Kausaleffekt. b₁ ist skalenabhängig.
Das Steigungsdreieck im Koordinatensystem zeigt konkret: +3 h Lernzeit → +— Punkte (= 3 · b₁).

β = — — standardisierter Koeffizient
Pro +1 SD in X₁ steigt Y um β SD. Bivariat gilt immer β = r (Pearson-Korrelation). β erlaubt den Vergleich von Prädiktoren unterschiedlicher Skalen innerhalb einer Studie.
Wichtig: β gibt nicht direkt die Wichtigkeit an — bei korrelierten Prädiktoren kann β stark vom partiellen Effekt abweichen (→ Modul ④).

b₀ = — — Achsenabschnitt
Erwartete Note bei X₁ = 0 h Lernzeit. Da 0 h außerhalb des beobachteten Bereichs liegt, ist das eine Extrapolation — inhaltlich meist nicht sinnvoll interpretierbar.

Schwerpunkt (x̄ = — h | ȳ = — Pkt)
Die OLS-Gerade läuft immer durch (x̄, ȳ) — mathematisch zwingend, da b₀ = ȳ − b₁·x̄.

Berechnungsformeln:
b₁ = Σ(xᵢ − x)(yᵢ − y) / Σ(xᵢ − x)² = Cov(X,Y) / Var(X)
b₀ = y − b₁ · x | β = b₁ · (SD_X / SD_Y) = r (bivariat)

          b₁ (unstandardisiert) berichtet man, wenn
          die Einheit inhaltlich bedeutsam ist: „+1 h Lernzeit → +— Punkte".


          β (standardisiert) erlaubt den Vergleich von
          Prädiktoren verschiedener Skalen innerhalb einer Studie.
          Achtung: β variiert mit SD(X) und SD(Y) — Vergleiche zwischen Studien sind
          nicht zulässig.


          Im bivariaten OLS gilt stets: β = r = —.
          Im multiplen Modell (Modul ④) ist β ≠ r.
        

Modellgüte & Varianzzerlegung

TSS = SSM + RSS, R², adjusted R² und die Annahmen des OLS-Modells

Gesamt (TSS) — Abstände der Punkte vom Mittelwert ȳ

            TSS = SSM + RSS
          

SSM

RSS

            SSM = —
            RSS = —
          

R²

—

adj. R²

—

f²

—

r (Pearson)

—

R² = SSM/TSS = —% der Gesamtvarianz in Y werden durch X₁ erklärt.
f² = R²/(1−R²) = SSM/RSS: klein ≥ .02 · mittel ≥ .15 · groß ≥ .35

Tutorial — Varianzzerlegung & Modellgüte

Was du siehst — drei Modi (TSS = SSM + RSS)
TSS (graue Striche): Abstände aller Punkte vom Mittelwert ȳ — die Gesamtstreuung in Y, unabhängig vom Modell. SSM (grüne Striche): Abstände des Modells (Regressionsgerade) vom Mittelwert ȳ — der Anteil, den das Modell gegenüber „nur ȳ als Vorhersage" erklärt. RSS (rote Striche): Abstände der Punkte vom Modell — die Residuen, also was unerklärt bleibt. Der Balken links zeigt das SSM : RSS-Verhältnis. Wechsle die Modi über die Schaltflächen.

TSS = — — Total Sum of Squares
TSS = Σ(yᵢ − ȳ)². Gesamtvarianz in Y — hängt nicht vom Modell ab.

SSM = — (—% von TSS) — Sum of Squares Model
SSM = Σ(ŷᵢ − ȳ)². Der vom Modell erklärte Anteil — der Abstand der Regressionsgeraden vom Mittelwert ȳ an der Stelle jedes Datenpunktes (ein Beitrag pro Beobachtung), also die Verbesserung gegenüber „nur ȳ". Je größer SSM relativ zu TSS, desto besser der Fit. OLS maximiert SSM (äquivalent zum Minimieren von RSS).

RSS = — (—% von TSS) — Residual Sum of Squares
RSS = Σeᵢ² — nicht erklärte Varianz. TSS = SSM + RSS ist mathematisch exakt.

R² und f² (Cohens Effektgröße)
R² = SSM/TSS: Anteil erklärter Varianz. Achtung: R² steigt immer mit jedem weiteren Prädiktor! Adjusted R² korrigiert mit Strafterm pro Prädiktor.
f² = R²/(1−R²) = — → — Effekt. Cohen (1988): .02 klein · .15 mittel · .35 groß.

①

              Linearität:
              Die Beziehung zwischen X und Y ist linear. Verletzung: Residual-vs-Fitted-Plot
              zeigt systematisches Muster. Abhilfe: Transformation oder polynomiale Terme.
            

②

              Unabhängigkeit:
              Beobachtungen sind unabhängig (keine Autokorrelation, kein Clustering).
              Verletzung bei Längsschnitt- oder Nested-Daten → gemischte Modelle notwendig.
            

③

              Homoskedastizität:
              Varianz der Residuen ist konstant über alle X-Werte — kein Streufächer.
              Die Schätzung der Regressionsgeraden selbst bleibt auch unter Heteroskedastizität unverzerrt — betroffen ist nur die Inferenzstatistik (wie bei der Normalverteilungsannahme).
              Verletzung: heteroskedastizitätsrobuste Standardfehler
              (HC3), WLS oder ein distributionelles Modell (σ selbst als Funktion von X, z.B. bf(y ~ x, sigma ~ x) in brms).
            

④

              Normalverteilung der Fehler ε:
              Nur für Inferenzstatistik nötig — nicht für die OLS-Schätzung selbst, die schon unter den 4 Annahmen oben allein durch das Gauss-Markov-Theorem zum BLUE wird (→ Modul ①). Bei n ≥ 30 greift der zentrale Grenzwertsatz.
            

⑤

              Keine perfekte Multikollinearität
              (multiple Regression): Sind zwei Prädiktoren perfekt korreliert, ist
              (XᵀX) nicht invertierbar.
              Hohe Kollinearität bläht Standardfehler auf → VIF > 10 kritisch.
              Siehe Modul ④.
            

Multiple Regression & Added Variable Plot

Was bedeutet „unter Kontrolle von X₂"? Partielle Slopes visuell verstehen.

Schritt ① — Bivariates Modell: Y ~ X₁

Schritt

Korrelation X₁↔X₂

Koeffizientenvergleich

Modell	b₁	β₁	R²
Bivariat	—	—	—
Partiell	—	—	—

AVP-Slope

—

Δb₁

—

Schritt ① zeigt die bivariate Regression Y auf X₁ — wie in Modul ①. Das bivariate b₁ enthält noch den Einfluss von X₂, wenn X₁ und X₂ korreliert sind.

Tutorial — Multiple Regression & AVP

Von der Geraden zur Ebene
Bivariat (Y ~ X₁) ist die Lösung eine Gerade im 2D-Raum. Mit zwei Prädiktoren (Y ~ X₁ + X₂) wird sie zur Regressionsfläche (Ebene) im 3D-Raum. b₁ ist die Steigung in X₁-Richtung, b₂ in X₂-Richtung — jeweils bei festgehaltenem anderen Prädiktor.

Warum multiple Regression?
X₁ (Lernzeit) und X₂ (Schlaf) korrelieren mit r₁₂ = —. Das bivariate Modell misst nicht den reinen X₁-Effekt — b₁ enthält auch den Einfluss von X₂. Das multiple Modell hält X₂ statistisch konstant.

Die Koeffizienten lesen (Tabelle links)
Bivariat b₁: Steigung aus Y ~ X₁ allein — enthält Konfundierung durch X₂.
Partiell b₁: Steigung aus Y ~ X₁ + X₂ — bereinigt um X₂.
Δb₁: Die Differenz quantifiziert die Konfundierung. Bei r₁₂ = 0 ist Δb₁ = 0.

Schritt ① — Bivariate Ausgangslage
Was du siehst: Die bivariate OLS-Gerade Y ~ X₁ (Lernzeit → Note) — identisch mit Modul ①.
Tipp: Notiere das bivariate b₁ (Tabelle links), wechsle dann r₁₂ und vergleiche.

Konfundierung im Vergleich
bivariat b₁ = — · partiell b₁ = — · Δb₁ = —
Je größer r₁₂, desto mehr weicht das bivariate vom partiellen b₁ ab.

AVP-Prinzip: Ein Added Variable Plot (Partialregression) macht den partiellen Effekt von X₁ auf Y sichtbar — bereinigt um X₂. Dazu wird X₂ sowohl aus Y (e(Y|X₂)) als auch aus X₁ (e(X₁|X₂)) herausgerechnet. Die Steigung der Regressionslinie durch die Residualvektoren entspricht exakt dem partiellen Koeffizienten b₁ aus dem multiplen Modell.

Lernkarten — OLS & Multiple Regression

1 OLS-Kriterium

OLS minimiert die Summe der quadrierten Residuen: min Σ(yᵢ − ŷᵢ)². Das Quadrieren hat zwei Gründe: Vorzeichen werden neutralisiert, und große Residuen werden überproportional stärker bestraft als kleine. Die Lösung ist eindeutig und liefert immer Σeᵢ = 0.

2 Koeffizient b₁

Interpretation: „Pro +1 Einheit X steigt der erwartete Wert von Y um b₁ Einheiten — alle anderen Prädiktoren konstant gehalten (ceteris paribus)." Im bivariaten Fall: b₁ = Σ(xᵢ−x̄)(yᵢ−ȳ) / Σ(xᵢ−x̄)². Der Zähler ist die Kovarianz, der Nenner die Varianz von X.

3 Intercept b₀

b₀ ist der erwartete Y-Wert, wenn alle Prädiktoren gleich 0 sind. Das ist oft inhaltlich nicht sinnvoll (z. B. 0 Lernstunden, 0 Schlaf). b₀ wird für die Vorhersage benötigt, sollte aber meist nicht inhaltlich interpretiert werden. Immer gilt: ȳ = b₀ + b₁·x̄.

4 R² und adj. R²

R² = SSM/SST ∈ [0, 1] — Anteil erklärter Varianz. R² steigt mit jedem hinzugefügten Prädiktor, auch nutzlosen. Adjusted R² korrigiert dafür: adj.R² = 1 − (1−R²)·(n−1)/(n−k−1). adj.R² sinkt, wenn ein neuer Prädiktor weniger erklärt als durch Zufall erwartet.

5 Partial Slope

b₁ im multiplen Modell ist nicht derselbe wie im bivariaten Modell — er ist der Slope im Added Variable Plot (AVP): Regression von e(Y|X₂) auf e(X₁|X₂). Dieser Wert entspricht dem Partial Slope: Effekt von X₁ auf Y, nachdem der gemeinsame Anteil von X₂ aus beiden herausgerechnet wurde.

6 Standardisierung β

β = b · (SD_X / SD_Y) — der standardisierte Regressionskoeffizient. β gibt an, um wie viele Standardabweichungen Y steigt, wenn X um eine SD steigt. Erlaubt Vergleich von Prädiktoren mit verschiedenen Skalen, aber nur innerhalb einer Stichprobe. Zwischen Studien sind β-Werte wegen unterschiedlicher SDs nicht direkt vergleichbar.

Was ist OLS?

Koeffizienteninterpretation

R² und Modellgüte

Effektgröße f²

Wann versagt OLS?

Verwandte Tools im Bayes Thinking Lab

Weiterführende Literatur