10  Einfache lineare Modelle

Schlüsselwörter

Statistik, Bayes, Wahrscheinlichkeit, Inferenz, R, Kausalität

10.1 Lernsteuerung

Nach Absolvieren des jeweiligen Kapitels sollen folgende Lernziele erreicht sein.

Sie können …

• Das Zusammenspiel von Apriori-Verteilungen und linearem Modell zur Berechnung der Likelihood erläutern
• die Post-Verteilung für einfache lineare Modelle in R berechnen
• zentrale Informationen zu Modellparametern des Regressionsmodells – wie Lage- oder Streuungsmaße und auch Schätzintervalle – aus der Post-Verteilung herauslesen

Der Stoff dieses Kapitels orientiert sich an McElreath (2020), Kap. 4.4.

Lesen Sie zur Vorbereitung folgende Kapitel im Eigenstudium:

• Statistik1, Kap. “Geradenmodelle 1”¹
• Statistik1, Abschnitt “z-Transformation”²

In diesem Kapitel benötigen Sie folgende R-Pakete:

library(tidyverse)
library(easystats)
library(rstanarm)  # Bayes-Golem
library(ggpubr)  # Datenvisualisierung

Da wir in diesem Kapitel immer mal wieder eine Funktion aus dem R-Paket {easystats} verwenden: Hier finden Sie eine Übersicht aller Funktionen des Pakets.^{3 4}

In diesem Kapitel benötigen wir den Datensatz zu den !Kung-Leuten, aus der Datei Howell1a.csv, McElreath (2020).

kung_path <- paste0(
  "https://raw.githubusercontent.com/sebastiansauer/",
  "Lehre/main/data/Howell1a.csv")

kung <- read.csv(kung_path)

kung_erwachsen <- kung |> filter(age > 18)

1

Pfad zum Datensatz; Sie müssen online sein, um die Daten herunterzuladen.

2

Daten einlesen

3

Auf Erwachsene Personen begrenzen (d.h. Alter > 18)

Hinweis

Die Folien zu diesem Kapitel finden Sie hier.

10.2 Einstieg

Übungsaufgabe 10.1 (Grundkonzepte der linearen Regression) Fassen Sie die Grundkonzepte der linearen Regression kurz zusammen! \(\square\)

Übungsaufgabe 10.2 (Was ist eine Post-Verteilung und wozu ist sie gut?) Erklären Sie kurz, was eine Post-Verteilung ist – insbesondere im Zusammenhang mit den Koeffizienten einer einfachen Regression – und wozu sie gut ist. \(\square\)

Dieses Kapitel stellt ein einfaches Regressionsmodell vor, bei dem die Körpergröße auf das Gewicht zurückgeführt wird; also ein sehr eingängiges Modell. Neu (im Vergleich zu einer Frequentistischen Regression mit lm) ist dabei lediglich, dass die drei Parameter des Modells – \(\beta_0\), \(\beta_1\), \(\sigma\) – jetzt über eine Post-Verteilung verfügen. Die Post-Verteilung ist der Zusatznutzen der Bayes-Statistik. Die “normale” Regression hat uns nur einzelne Werte für die Modellparameter geliefert (“Punktschätzer”). Mit Bayes haben wir eine ganze Verteilung pro Parameter; das ist informationsreicher als mit der Frequentistischen Regressionsanalyse.

10.3 Den Datensatz verstehen

10.3.1 Statistiken zum !Kung-Datensatz

Tabelle 10.1 zeigt die zentralen deskriptiven Statistiken zum !Kung-Datensatz.

Kung_path <- "data/Howell1a.csv"  
kung <- read_csv(Kung_path)  

kung_erwachsen <- kung |> filter(age > 18)

describe_distribution(kung_erwachsen)

Tabelle 10.1: Verteiung der (metrischen) Variablen im !Kung-Datensatz

Variable	Mean	SD	IQR	Range	Skewness	Kurtosis	n	n_Missing
height	154.64	7.77	12.06	(136.53, 179.07)	0.14	-0.50	346	0
weight	45.05	6.46	9.14	(31.52, 62.99)	0.14	-0.53	346	0
age	41.54	15.81	22.00	(19.00, 88.00)	0.68	-0.20	346	0
male	0.47	0.50	1.00	(0.00, 1.00)	0.10	-2.00	346	0

Wie aus Tabelle 10.1 abzulesen ist, liegt das mittlere Körpergewicht (weight) bei ca. 45 kg (SD ca. 7 kg).

Wir brauchen explorative Datenanalyse (EDA) nicht wirklich, um einfache Bayes-Regressionen zu verstehen. Aber EDA hilft, die Daten zu verstehen, was essenziell ist, wenn man Erkenntnisse aus den Daten gewinnen will. Das Paket DataExplorer hat ein paar nette Hilfen zur explorativen Datenanalyse.

library(DataExplorer)

Was man im Rahmen einer EDA stets prüfen sollte, sind fehlende Werte. Gibt es in diesem Datensatz fehlende Werte? Nein, s. Abb. Abbildung 10.1.

kung_erwachsen |> plot_missing()

Abbildung 10.1: Fehlende Werte – fehlen.

Betrachten wir als Nächstes die Verteilung der numerischen Variablen des Datensatzes, s. Abbildung 10.2.

kung_erwachsen |> plot_histogram()

Abbildung 10.2: Verteilung (als Histogramme dargestellt) der numerischen Variablen des Datensatzes

Wie man in Abbildung 10.2 sieht, ist Alter (age) rechtsschief verteilt, wohingegen Größe (height) und Gewicht (weight) deutlich symmetrischer oder sogar normalverteilt sind. height ist bimodal (zweigipflig), vermutlich auf Grund der Vermischung der Verteilung der beiden Geschlechter.

Betrachten wir nun die Verteilung der kategorialen Variablen des Datensatzes: Es gibt etwas mehr Männer als Frauen im Datensatz.

kung_erwachsen |> 
  count(male) |> 
  mutate(Anteil_maenner = n / sum(n))

Korrelationen sind, ähnlich wie Regressionen, eine Methode, um Zusammenhänge zwischen Variablen darzustellen. Allerdings sind Korrelationen nur zwischen zwei Variablen definiert; Regressionsanalysen können komfortabel mehrere Variablen berücksichtigen. Die Korrelationen der (numerischen) Variablen sind in Abbildung 10.3 dargestellt.

kung_erwachsen |> plot_correlation()

Abbildung 10.3: Korrelationsmatrix

Starke Zusammenhänge finden sich (wenig überraschend) zwischen Größe und Gewicht sowie zwischen Geschlecht und Größe/Gewicht.

Übungsaufgabe 10.3 (Vertiefung: EDA-Bericht) Probieren Sie mal die folgende Funktion aus, die Ihnen einen Bericht zur EDA erstellt: create_report(kung_erwachsen). \(\square\)

10.3.2 Der Zusammenhang von Gewicht und Größe

Die (einfache) Regression prüft, inwieweit zwei Variablen, \(Y\) und \(X\) linear zusammenhängen. Je mehr sie zusammenhängen, desto besser kann man \(X\) nutzen, um \(Y\) vorherzusagen (und umgekehrt). Hängen \(X\) und \(Y\) zusammen, heißt das nicht (unbedingt), dass es einen kausalen Zusammenhang zwischen \(X\) und \(Y\) gibt. Linear ist ein Zusammenhang, wenn der Zuwachs in \(Y\) relativ zu \(X\) konstant ist: wenn \(X\) um eine Einheit steigt, steigt \(Y\) immer um \(b\) Einheiten (nicht kausal, sondern deskriptiv gemeint).⁵

Laden wir die !Kung-Daten und visualisieren wir uns den Zusammenhang zwischen Gewicht (X, UV) und Größe (Y, AV), Abbildung 10.4.

Mit ggplot2

kung_erwachsen |>
  ggplot(
       aes(x = weight, y = height)) +
  geom_point(alpha = .7) +
  geom_smooth(method = "lm")

Mit ggpubr

ggscatter(kung_erwachsen,
          x = "weight", y = "height",
          add = "reg.line")

Abbildung 10.4: Der Zusammenhang zwischen Gewicht (X) und Größe (Y)

Wie man sieht in Abbildung 10.4, gibt es einen deutlichen linearen Zusammenhang zwischen Gewicht und Größe: Je schwerer (je höher das Gewicht einer Person), desto größer (desto höher ihr Wert in der Körpergröße).

10.3.3 Prädiktor zentrieren

Hinweis

Wenn Sie mit der z-Transformation nicht vertraut sind, macht es Sinn, das Thema (jetzt) zu lernen, s. hier.⁶ \(\square\)

Zieht man von jedem Gewichtswert den Mittelwert ab, so bekommt man die Abweichung des Gewichts vom Mittelwert; der Prädiktor ist dann zentriert (engl. to center). Wenn man den Prädiktor Gewicht (weight) zentriert hat, ist der Achsenabschnitt, \(\beta_0\), einfacher zu verstehen: In einem Modell mit zentriertem Prädiktor (weight) gibt der Achsenabschnitt die Größe einer Person mit durchschnittlichem Gewicht an. Würde man weight nicht zentrieren, gibt der Achsenabschnitt die Größe einer Person mit weight=0 an, was nicht wirklich sinnvoll zu interpretieren ist; vgl. Gelman et al. (2021), Kap. 10.4, 12.2. Man zentriert eine Variable \(X\), indem man von \(x_i\) den Mittelwert \(\bar{x}\) abzieht: \(x_i - \bar{x}\). Im Folgenden zentrieren wir Gewicht (weight); die resultierende Variable nennen wir weight_c (c wie “centered”).

kung_zentriert <-
  kung_erwachsen |> 
  mutate(weight_c = weight - mean(weight))

Mit Hilfe der Funktion center() aus {easystats} kann man sich das Zentrieren erleichtern.

kung_zentriert <- 
  kung_erwachsen |> 
  mutate(weight_c = as.numeric(center(weight)))

Tabelle 10.2: Gewicht (weight) und zentriertes Gewicht (weight_c): Zentrierte Gewichtswerte zeigen, wie viele Kilogramm eine Person vom Mittelwert entfernt ist. So ist die Person mit der ID 1 drei Kilogramm schwerer als der Mittelwert von 45 kg.

id	weight	weight_c	height	age	male
1	48	3	152	63	1
2	36	−9	140	63	0
3	32	−13	137	65	0

Wie man sieht, wird die Verteilung von weight durch die Zentrierung “zur Seite geschoben”: Der Mittelwert von weight_c (das zentrierte Gewicht) liegt jetzt bei 0, s. Abbildung 10.5.

Abbildung 10.5: Das Zentrieren ändert die Verteilungsform nicht, sondern “schiebt” die Verteilung nur zur Seite. Der resultierende Mittelwert ist dann Null. Die zentrierten Werte zeigen, wie weit ein Messwert vom Mittelwert entfernt ist (hier in der Einheit kg).

Das Schwierigste ist dabei nur, nicht zu vergessen, dass kung_zentriert die Tabelle mit zentriertem Prädiktor ist, nicht kung_erwachsen.

10.4 Modell m_kung_gewicht_c: zentrierter Prädiktor

📺 Prädiktoren zentrieren

Erstellen wir nun ein Regressionsmodell mit dem zentrierten Prädiktor, Gewicht. Die Forschungsfrage lautet: “Wie stark ist der lineare Zusammenhang von Größe und Gewicht?”. Anders formuliert: “Um wie viele Zentimeter Körpergröße unterscheiden sich zwei erwachsene Kung, wobei die eine Person um 1 kg leichter ist als die andere?”.

Einige Regressionskoeffizienten, wie der Achsenabschnitt (engl. intercept) sind schwer zu interpretieren: Bei einem (erwachsenen) Menschen mit Gewicht 0, was wäre wohl die Körpergröße? Hm, Philosophie steht heute nicht auf der Tagesordnung. Da wäre es schön, wenn wir die Daten so umformen könnten, dass der Achsenabschnitt eine sinnvolle Aussage macht. Zum Glück geht das leicht: Wir zentrieren den Prädiktor (Gewicht)!

Wichtig

Durch Zentrieren kann man die Ergebnisse einer Regression einfacher interpretieren.

Zuerst stellen wir die Modelldefinition von m_kung_gewicht_c auf.

Für jede Ausprägung des Prädiktors Gewicht zentriert (weight_centered), \(wc_i\), wird eine Post-Verteilung für die abhängige Variable Größe (height, \(h_i\)) berechnet. Der Mittelwert \(\mu\) für jede Post-Verteilung ergibt sich aus dem linearen Modell (unserer Regressionsformel). Die Post-Verteilung berechnet sich auf Basis der Priori-Werte und des Likelihoods (Bayes-Formel). Wir brauchen Priori-Werte für die Steigung \(\beta_1\) und den Achsenabschnitt \(\beta_0\) der Regressionsgeraden. Außerdem brauchen wir einen Priori-Wert, der die Streuung \(\sigma\) der Größe (height) angibt; dieser Wert wird als exponentialverteilt angenommen. Der Likelihood gibt an, wie wahrscheinlich ein bestimmter Wert height ist, gegeben \(\mu\) und \(\sigma\). Theorem 10.1 stellt die Modelldefinition dar. Abbildung 10.6 zeigt, wie die drei Parameter zusammen die Likelihood definieren.

Abbildung 10.6

Theorem 10.1 stellt Abbildung 10.6 als Modellgleichung dar. Abbildung 10.7 zeigt anhand der Regressionsgerade, wie die vorhergesagten Körpergrößen zustande kommen: \(\mu\) (vorhergesagte Körpergröße) beruht auf dem jeweiligen \(X\)-Wert (d.h. Gewicht, UV); zusammen mit der Streuung der Körpergrößen um den Mittelwert (\(\sigma\)) ergibt sich dann die Normalverteilung der Körpergrößen, \(y_i\) (AV).

Abbildung 10.7: Die Körpergrößen, \(Y\) (AV) sind abhängig vom Wert des Körpergewichts, \(X\), (UV)

Theorem 10.1 (Modelldefinition m_kung_gewicht_c) \[\begin{aligned} \color{red}{\text{height}_i} & \color{red}\sim \color{red}{\operatorname{Normal}(\mu_i, \sigma)} && \color{red}{\text{Likelihood}} \\ \color[RGB]{0,158,115}{\mu_i} & \color[RGB]{0,158,115}= \color[RGB]{0,158,115}{\beta_0 + \beta_1\cdot \text{weightcentered}_i} && \color[RGB]{0,158,115}{\text{Lineares Modell, Regressionsformel} } \\ \color{blue}{\beta_0} & \color{blue}\sim \color{blue}{\operatorname{Normal}(178, 20)} && \color{blue}{\text{Priori}} \\ \color{blue}{\beta_1} & \color{blue}\sim \color{blue}{\operatorname{Normal}(0, 10)} && \color{blue}{\text{Priori}}\\ \color{blue}\sigma & \color{blue}\sim \color{blue}{\operatorname{Exp}(0.1)} && \color{blue}{\text{Priori}} \end{aligned}\quad \square\]

\[ \begin{aligned} \color{red}{\text{height}_i} & \color{red}\sim \color{red}{\operatorname{Normal}(\mu_i, \sigma)} && \color{red}{\text{Likelihood}} \end{aligned} \]

Der Likelihood von m_kung_gewicht_c ist ähnlich zu den vorherigen Modellen (m_kung). Nur gibt es jetzt ein kleines “Index-i” am \(\mu\) und am \(h\) (h wie heights). Es gibt jetzt nicht mehr nur einen Mittelwert \(\mu\), wie in m_kung, sondern für jede Beobachtung (Zeile) einen Mittelwert \(\mu_i\). Lies etwa so:

“Die Wahrscheinlichkeit, eine bestimmte Größe \(h\) bei Person \(i\) zu beobachten, gegeben \(\mu\) und \(\sigma\) ist normalverteilt (mit Mittelwert \(\mu\) und Streuung \(\sigma\))”.

Betrachten wir als nächstes die Regressionsformel, m_kung_gewicht_c:

\[ \begin{aligned} \color[RGB]{0,158,115}{\mu_i} & \color[RGB]{0,158,115}= \color[RGB]{0,158,115}{\beta_0 + \beta_1\cdot \text{weightcentered}_i} && \color[RGB]{0,158,115}{\text{Lineares Modell} } \\ \end{aligned} \]

\(\mu\) ist jetzt nicht mehr ein Parameter, der (stochastisch) geschätzt werden muss (wie in m_kung). \(\mu\) wird jetzt (deterministisch) berechnet. Gegeben \(\beta_0\) und \(\beta_1\) ist \(\mu\) also ohne Ungewissheit bekannt. \(\text{weight}_i\) ist der Gewichtswert (weight) der \(i\)ten Beobachtung, also einer !Kung-Person (Zeile \(i\) im Datensatz). Lies etwa so:

“Der vorhergesagte mittlere Wert der Körpergröße, \(\mu_i\), der \(i\)ten Person berechnet sich als Summe von \(\beta_0\) und \(\beta_1\) mal \(\text{weight}_i\)”.

\(\mu_i\) ist eine lineare Funktion von weight. \(\beta_1\) gibt den Unterschied in height zweier Beobachtung an, die sich um eine Einheit in weight unterscheiden (Steigung der Regressionsgeraden). \(\beta_0\) gibt an, wie groß \(\mu\) ist, wenn weight Null ist (Achsenabschnitt, engl. intercept).

Was sind unsere Priori-Verteilung des Modells m_kung_gewicht_c? Sie gleichen denen von m_kung, allerdings haben wir jetzt zusätzlich \(\beta_1\). Dieser Parameter gibt die Steigung der Regressionsgeraden an (auch als “Regressiongsgewicht” bezeichnet). Damit wird die Stärke des (linearen) Zusammenhangs zwischen UV (X) und AV (Y) festgelegt. Hier definieren wir den Zusammenhang als normalverteilt mit Mittelwert 0 und Streuung 10 cm. Damit liegt der Bereich plausibler Werte für den Zusammenhang von Gewicht und Größe zwischen -20 cm bis +20 cm Unterschied in der Körpergröße pro Kilogramm Unterschied im Körpergewicht. Das ist ein recht informationsarmer Wert: Viele Werte sind möglich, auch unerwartete. Man kann argumentieren, dass diese Apriori-Verteilung biologisch nicht realistisch ist. Dazu später mehr.

\[\begin{align*} \color{blue}\beta_0 & \color{blue}\sim \color{blue}{\operatorname{Normal}(178, 20)} && \color{blue}{\text{Priori Achsenabschnitt}} \\ \color{blue}\beta_1 & \color{blue}\sim \color{blue}{\operatorname{Normal}(0, 10)} && \color{blue}{\text{Priori Regressionsgewicht}}\\ \color{blue}\sigma & \color{blue}\sim \color{blue}{\operatorname{Exp}(0.1)} && \color{blue}{\text{Priori Sigma}} \end{align*}\]

Parameter sind hypothetische Kreaturen: Man kann sie nicht beobachten, sie existieren nicht wirklich. Ihre Verteilungen nennt man Priori-Verteilungen. \(\beta_0\) wurde in m_kung als \(\mu\) bezeichnet, da wir dort eine “Regression ohne Prädiktoren” berechnet haben. \(\sigma\) ist uns schon als Parameter bekannt und behält seine Bedeutung aus dem letzten Kapitel. Da height nicht zentriert ist, liegt der Mittelwert von \(\beta_0\) bei 178 und nicht bei 0. \(\beta_1\) fasst unser Vorwissen, ob und wie sehr der Zusammenhang zwischen Gewicht und Größe positiv (gleichsinnig) ist. \(\beta_1\) ist hier schwach informativ: Im Schnitt behauptet diese Apriori-Verteilung, sei der Zusammenhang gleich Null. Aber die Apriori-Verteilung akzeptiert auch recht starke positive und negative (!) Werte. Diese Wahl an Apriori-Werten ist nicht unbedingt ideal. Wir sollten uns künftig noch andere (bessere) Parameter für die Apriori-Verteilung von \(\beta_1\) überlegen. Die Anzahl der Prioris entspricht übrigens der Anzahl der Parameter des Modells.

Jetzt sind wir bereit, das Model bzw. die Post-Verteilung zu berechnen. Erinnern wir uns: “Prioris plus Daten gleich Post”. Los, Stan, an die Arbeit! Berechne uns die Post-Verteilung. Nennen wir das Modell m_kung_gewicht_c.

m_kung_gewicht_c <-
  stan_glm(
    height ~ weight_c,  # Regressionsformel
    prior = normal(0, 10),  # Regressionsgewicht (beta 1)
    prior_intercept = normal(178, 20),  # beta 0
    prior_aux = exponential(0.1),  # sigma
    refresh = 0,  # zeig mir keine Details
    data = kung_zentriert)

parameters(m_kung_gewicht_c)

parameters(m_kung_gewicht_c) |> display()

Tabelle 10.3: Parameter von m_kung_gewicht_c

Parameter	Median	95% CI	pd	Rhat	ESS (tail)	Prior
(Intercept)	154.65	(154.11, 155.19)	100%	1.000	3048	Normal (178 +- 20)
weight_c	0.91	(0.83, 0.99)	100%	1.001	2725	Normal (0 +- 10)

Wie man in Tabelle 10.3 sieht, wird der Zusammenhang von Gewicht und Größe, d.h. \(\beta_1\), die Steigung der Regressionsgeraden, auf einen Wert zwischen ca. 0.8 bis 1.0 kg Unterschied in der Körpergröße geschätzt (wenn sich die Personen um 1 kg Körpergewicht unterscheiden). Es gibt also einen Zusammenhang zwischen Gewicht und Größe (laut unserem Modell). Danke, Stan!

Übungsaufgabe 10.4 (Peer-Instruction: Wie leitet sich der Wert der Körpergrößen \(h_i\) her?) Welche Aussage zur Herleitung der Körpergrößen, \(h_i\), ist korrekt?

• Die Körpergrößen sind gleich mit dem um das Regressionsgewicht gewichteten Wert des jeweiligen Körpergewichts (d.h. \(h_i = \beta_1 \cdot wc_i\)).
• Die Körpergrößen sind apriori normalverteilt mit dem Mittelwert 178 cm (in diesem Modell).
• Die Körpergrößen sind apriori normalverteilt mit dem Mittelwert, der sich aus dem Regressionsmodell ergibt für jede Beobachtung \(i\).
• Die Körpergrößen sind das Resultat zweier Parameter: Der mittleren Körpergröße, \(\mu\), sowie der Streuung in der Population, \(\sigma\). \(\square\)

10.5 Die Post-Verteilung befragen

📺 Post-Verteilung auslesen 1

📺 Post-Verteilung auslesen 2

10.5.1 m_kung_starkes_beta1

Mit der Apriori-Verteilung von \(\beta_1\) in m_kung_gewicht_c sind wir nicht zufrieden. Sagen wir stattdessen, auf Basis gut geprüfter Evidenz haben wir folgendes Modell festgelegt: height ~ weight_c, s. Gleichung 10.1. Dabei haben wir folgende Apriori-Verteilungen gewählt:

\[\beta_1 \sim N(5,3); \\ \beta_0 \sim N(178, 20); \\ \sigma \sim E(0.1) \tag{10.1}\]

Dieses Mal haben wir für \(\beta_1\) durchaus “meinungsstarke” Werte ausgewählt. Im Schnitt gehen wir von einem Zusammenhang aus, so dass es einen Unterschied von 5 cm in der AV (Größe) gibt, wenn sich die UV (Gewicht) um 1 Einheit (1 kg) unterscheidet zwischen zwei Personen. Wir nennen das Modell m_kung_starkes_beta1⁷, s. Listing 10.1.

Listing 10.1: Modelldefinition von m_kung_starkes_beta1 in R

m_kung_starkes_beta1 <-
  stan_glm(
    height ~ weight_c,  # Regressionsformel
    prior = normal(5, 3),  # Regressionsgewicht (beta 1)
    prior_intercept = normal(178, 20),  # beta 0
    prior_aux = exponential(0.1),  # sigma
    refresh = 0,  # zeig mir keine Details
    data = kung_zentriert)

Hinweis

Mit seed kann man die Zufallszahlen fixieren, so dass jedes Mal die gleichen Werte resultieren. So ist die Nachprüfbarkeit der Ergebnisse (“Reproduzierbarkeit”) sichergestellt⁸. Welche Wert für seed man verwendet, ist egal, solange alle den gleichen verwenden. Der Autor verwendet z.B. oft den Wert 42. Zur Erinnerung: Der Golem zieht Zufallszahlen, damit erstellt er Stichproben, die die Postverteilung schätzen. Das Argument seed ist nur relevant, wenn man die Ergebnisse von Stan zwischen zwei Durchläufen vergleichen möchte. Ansonsten hat es keine Bedeutung.

10.5.2 Mittelwerte von \(\beta_0\) und \(\beta_1\) aus der Post-Verteilung

Betrachten wir die ersten paar Zeilen aus der Post-Verteilung, s. Tabelle 10.4. Dazu wandeln wir das Ergebnis-Objekt von stan_glm, d.h. m_kung_starkes_beta1 in eine Tabelle (einen “Tibble”) um.

Listing 10.2: Die Post-Verteilung bekommen wir, indem wir das Ergebnisobjekt von stan_glm in einen Tibble (Dataframe) umwandeln.

m_kung_starkes_beta1_post <- 
m_kung_starkes_beta1 |> 
  as_tibble() |> 
  head()

Tabelle 10.4: Die ersten paar Zeilen der Post-Verteilung von m_kung_starkes_beta1

id	(Intercept)	weight_c	sigma
1	155.1	0.9	5.0
2	155.5	0.8	5.1
3	155.5	0.9	5.1

Tabelle 10.5 zeigt die Zusammenfassung der Stichproben aus der Post-Verteilung; komfortabel zu erhalten mit dem Befehl parameters(m_kung_starkes_beta1).

Tabelle 10.5: Parameter von m_kung_starkes_beta1

Parameter	Median	95% CI	pd	Rhat	ESS (tail)	Prior
(Intercept)	154.65	(154.14, 155.19)	100%	0.999	2862	Normal (178 +- 20)
weight_c	0.91	(0.82, 0.99)	100%	1.001	2688	Normal (5 +- 3)

Definition 10.1 (Effektwahrscheinlichkeit) Die Kennzahl pd (propability of direction) gibt die Effektwahrscheinlichkeit an: Die Wahrscheinlichkeit, dass der Effekt positiv (also größer als Null) oder negativ ist (je nachdem ob der Median des Effekts positiv oder negativ ist). pd gibt aber nicht an, wie stark der Effekt ist, nur ob er klar auf einer Seite der Null liegt. Damit ist er so etwas (grob!) Ähnliches wie der p-Wert in der Frequentistischen Statistik (Makowski et al., 2019). \(\square\)

Am besten das Diagramm zur Effektwahrscheinlichkeit (pd) anschauen, s. Abbildung 10.8. Rhat und ESS sind Kennzahlen, die untersuchen, ob mit der Stichprobenziehung im Bayes-Modell alles gut funktioniert hat. Bei einfachen Modellen (die wir hier berechnen) sollte da in der Regel alles in Ordnung sein. Rhat sollte nicht (viel) größer als 1 oder 1,01 sein. ESS (effective sample size) gibt die Anzahl der effektiv nutzbaren Stichproben an (im Standard werden 4000 berechnet). Die Zahl sollte nicht deutlich geringer sein. Wir werden uns aber mit diesen beiden Kennwerten nicht weiter beschäftigen in diesem Kurs.

plot(p_direction(m_kung_starkes_beta1))

Abbildung 10.8: Diagramm zur Probability of Direction, Modell m_kung_starkes_beta1

10.5.3 Visualisieren der “mittleren” Regressiongeraden

Zur Erinnerung: Die Bayes-Analyse liefert uns viele Stichproben zu den gesuchten Parametern, hier \(\beta_0\), \(\beta_1\) und \(\sigma\). Überzeugen wir uns mit einem Blick in die Post-Verteilung von m_kung_starkes_beta1, s. Tabelle 10.4. Wir können z.B. ein Lagemaß wie den Median hernehmen, um die “mittlere” Regressionsgerade zu betrachten, s. Abbildung 10.9.

kung_zentriert |> 
  ggplot() +
  aes(x = weight_c, y = height) +
  geom_point() +
  geom_abline(
    slope = 0.9,  # Median beta 1
    intercept = 154,  # Median beta 0
    color = "blue")

Abbildung 10.9: Die mittlere Regressionsgerade, unser ‘Best-Guess’ zum Zusammenhang von Gewicht und Größe

10.5.4 Zentrale Statistiken zu den Parametern

In diesem Modell gibt es drei Parameter: \(\beta_0, \beta_1, \sigma\).⁹ Hier folgen einige Beispiele an Fragen, die wir an unser Modell bzw. die Post-Verteilung stellen können.

10.5.4.1 Lagemaße zu den Parametern

• Was ist die mittlere Größe der erwachsenen Kung? (Das war die Forschungsfrage des letzten Kapitels; \(\beta_0\))
• Was ist der Schätzwert für den Zusammenhang von Gewicht und Größe? (\(\beta_1\))
• Was ist der Schätzwert für Ungewissheit in der Schätzung der Größe? (\(\sigma\))
• Was ist der wahrscheinlichste und der mediane Wert für \(\beta_1\)?

Eine nützliche Zusammenfassung der Post-Verteilung bekommt man mit parameters(modell), s. Tabelle 10.5. Wandelt man das Ausgabe-Objekt der Bayes-Regression, d.h. m_kung_starkes_beta1, mit as_tibble() in eine Tabelle um, so bekommt man eine Tabelle mit den Stichproben der Post-Verteilung, s. Tabelle 10.4.

Wie wir gesehen haben, nutzen wir diese Tabelle der Post-Verteilung immer wieder. Daher haben wir sie uns als ein Objekt abgespeichert, m_kung_starkes_beta1_post, s. Listing 10.2. Jetzt haben wir wieder eine schöne Tabelle mit Stichproben aus der Post-Verteilung, die wir wie gewohnt befragen können. Oder man erstellt selber ein Diagramm mit ggplot oder ggpubr, s. Abbildung 10.10, um einen Überblick über Lage- und Streuungsmaße der Post-Verteilung zu bekommen.

m_kung_starkes_beta1_post |> 
  ggplot(aes(x = weight_c)) +
  geom_density(fill = "orange")

Abbildung 10.10: Die Postverteilung für den Parameter Gewicht (zentriert); die plausiblen Werte liegen zwischen 0.8 und 1.0 cm pro Kilogramm Gewicht

Abbildung 10.10 zeigt, dass Mittelwert, Median und Modus eng zusammenliegen. Zur Erinnerung: Der Modus gibt den häufigsten, d.h. hier also den wahrscheinlichsten, Wert an. Der Modus wird hier auch Maximum a Posteriori (MAP) genannt, daher:

m_kung_starkes_beta1_post |> 
  summarise(map_b1 = map_estimate(weight_c))

Hier ist die Verteilung von \(\sigma\) visualisiert, s. Abbildung 10.11. Interessanterweise ist die Post-Verteilung von \(\sigma\) normalverteilt und nicht mehr exponentialverteilt, wie in der Apriori-Verteilung: Die Daten haben die Apriori-Verteilung “überstimmt”.

m_kung_starkes_beta1_post |> 
  ggplot(aes(x = sigma)) +
  geom_density(fill = "orange")

Abbildung 10.11: Die Post-Verteilung für den Parameter sigma, m_kung_starkes_beta1; die plausiblen Werte liegen zwischen 4.7 cm und 5.5 cm.

Alternativ kann man sich die Verteilung eines Parameters auch so ausgeben lassen, gleich mit Intervallgrenzen, z.B. 95%, s. Abbildung 10.12.

m_kung_starkes_beta1_hdi <- 
  m_kung_starkes_beta1_post |> 
  select(weight_c) |>  # analog für `select(sigma)`
  hdi()   # analog mit eti()

plot(m_kung_starkes_beta1_hdi, data = m_kung_starkes_beta1_post)

Abbildung 10.12: Die Parameter Gewicht (zentriert) Modells m_kung_starkes_beta1

Ergänzt man bei plot() noch show_intercept = TRUE wird auch der Achsenabschnitt angezeigt. Den Parameter der Vorhersage-Genauigkeit, \(\sigma\) bekommt man mit get_sigma:

get_sigma(m_kung_starkes_beta1)
## [1] 5.1
## attr(,"class")
## [1] "insight_aux" "numeric"

10.5.5 Streuungsmaße zu den Parametern

• Wie unsicher sind wir uns in den Schätzungen der Parameter?

Diese Frage wird durch die Ungewissheitsintervalle in der Ausgabe beantwortet.

Hinweis

An einigen Stellen wird empfohlen, anstelle eines (gebräuchlichen) 95%-Intervalls auf ein 90%- oder 89%-Intervall auszuweichen, aufgrund der besseren numerischen Stabilität.

10.5.6 Ungewissheit von \(\beta_0\) und \(\beta_1\) aus der Post-Verteilung visualisiert

Abbildung 10.13 stellt die Ungewissheit der Post-Verteilung dar, in dem einige Stichproben aus der Post-Verteilung visualisiert werden.

10

Die ersten 10 Stichproben:

100

Die ersten 100 Stichproben:

1000

Die ersten 1e3 Stichproben:

1000000

Die ersten 1000000¹⁰ … okay, lassen wir es gut sein¹¹.

Abbildung 10.13

Einfacher ist die Visualisierung mit estimate_expectation, s. Abbildung 10.14.

estimate_expectation(m_kung_starkes_beta1, by = "weight_c") |>  # Regressionsgerade
  plot() +
  geom_point(data = kung_zentriert, aes(x = weight_c, y = height)) # Punkte

Abbildung 10.14: Schätzbereich für die bedingten mittleren Körpergröße, also die Regressionsgerade mit Unsicherheitsintervall

10.5.7 Fragen zu Quantilen des Achsenabschnitts

Hinweis

Zur Erinnerung: Bei einem zentrierten Prädiktor misst der Achsenabschnitt die mittlere Größe¹².

• Welche mittlere Größe wird mit einer Wahrscheinlichkeit von 50%, 90% bzw. 95% Wahrscheinlichkeit nicht überschritten?
• Welche mittlere Größe wird mit einer Wahrscheinlichkeit von 95% nicht unterschritten?
• Von wo bis wo reicht der innere 50%-Schätzbereich (ETI) der mittleren Körpergröße?

Quantile:

m_kung_starkes_beta1_post |> 
  summarise(
    q_50 = quantile(`(Intercept)`, prob = .5),
    q_90 = quantile(`(Intercept)`, prob = .9),
    q_05 = quantile(`(Intercept)`, prob = .95))

50%-ETI:

m_kung_starkes_beta1 |> 
  eti(ci = .5)

10.5.8 Fragen zu Wahrscheinlichkeitsmassen des Achsenabschnitts

Wie wahrscheinlich ist es, dass die mittlere Größe bei mind. 155 cm liegt?

m_kung_starkes_beta1_post |> 
  count(gross = `(Intercept)` >= 155) |> 
  mutate(prop = n / sum(n))

Die Wahrscheinlichkeit beträgt 0.1.

Wie wahrscheinlich ist es, dass die mittlere Größe höchstens 154.5 cm beträgt?

m_kung_starkes_beta1_post |> 
  count(klein = (`(Intercept)` <= 154.5)) |> 
  mutate(prop = n / sum(n))

Die Wahrscheinlichkeit beträgt 0.29.

Beispiel 10.1 (Typischer Bayes-Nutzer in Aktion)  

Typischer Bayes-Nutzer, der ein Ungewissheitsintervall berechnet. Bildquelle: Easystats, bayestestR

Quelle¹³ \(\square\)

10.6 Post-Verteilung bedingt auf einen Prädiktorwert

10.6.1 Bei jedem Prädiktorwert eine Post-Verteilung für \(\mu\)

Komfort pur: Unser Modell erlaubt uns für jeden beliebigen Wert des Prädiktors eine Post-Verteilung (von \(\mu\)) zu berechnen. Hier am Beispiel von m_kung_post, s. Abbildung 10.15.

Abbildung 10.15: Für jeden beliebigen Prädiktorwert kann man eine Post-Verteilung bekommen. A: Regressionsmodell mit einigen ausgewählten Gewichtswerten. Es ist jeweils die Wahrscheinlichkeitsverteilung für den vorhergesagten Y-Wert dargestellt (hier sind die Verteilungen zu groß dargestellt zur besseren Sichtbarkeit). B: Für jeden beliebigen Gewichtswert (Y) bekommt man eine (auf den jeweiligen X-Wert bedingten) Post-Verteilung.

10.6.2 Visualisierung

Was ist wohl die Wahrscheinlichkeit der Körpergröße bei einem bestimmten Gewicht? Angenommen wir wissen, dass das Gewicht bei, sagen wir 45 kg liegt. Welche Körpergröße ist (im Schnitt) zu erwarten? Wie unsicher sind wir uns über diesen Mittelwert? Etwas formaler ausgedrückt: \(\mu|\text{weight}=45\)

45 kg entspricht genau dem Mittelwert von weight. Geht man von zentrierten Prädiktorwerten aus, gilt in dem Fall weight_c = 0. Erstellen wir uns dazu eine Tabelle und plotten diese, s. Abbildung 10.16.

mu45 <-
  m_kung_gewicht_c_post |>
  mutate(mu45 = `(Intercept)`)

mu45 |>
  ggplot(aes(x = mu45)) +
  geom_density()

Abbildung 10.16: Post-Verteilung der Größe (laut unserem Modell) bei einem Gewicht von 45kg

Analog können wir fragen, wie groß wohl eine Person mit 50 kg im Mittelwert sein wird und wie (un)gewiss wir uns über diesen Mittelwert sind. 50 kg, das sind 5 über dem Mittelwert, in zentrierten Einheiten ausgedrückt also weight_c = 5. Auch dazu erstellen wir uns eine Tabelle, s. Tabelle 10.6. Die Verteilung der mittleren Größe bei einem Gewicht von 50kg ist weiter “rechts” (Richtung höhere Größe) lokalisiert, s. Abbildung 10.17. Dazu addieren wir zum Wert des Achsenabschnitts (intercept) das Fünffache des Regressionsgewichts, \(\beta_1\) (weight_c): mu50 = (Intercept) + 5 * weight_c. Das Diagramm erhält man mit ggplot(mu50, aes(x = mu50)) + geom_density().

mu50 <-
  mu45 |>
  mutate(mu50 = `(Intercept)` + 5 * weight_c)

head(mu50)

Tabelle 10.6: Die Verteilung von mu bedingt auf ein Gewicht von 50kg.

Abbildung 10.17: Post-Verteilung der mittleren Größe (laut unserem Modell) bedingt auf ein Gewicht von 50 kg

10.6.3 Lagemaße und Streuungen

Befragen wir die bedingte Post-Verteilung. Eine erste Frage zielt nach den typischen deskriptiven Statistiken, also nach Lage und Streuung der Verteilung der Körpergröße.

Was ist das 90% ETI für \(\mu|w=50\)? Man erhält es mit dem Befehl mu50 |> eti(ci = .9)

#|echo: false
mu50 |>
  eti(ci = .9)

Die mittlere Größe – gegeben \(w=50\) – liegt mit 90% Wahrscheinlichkeit zwischen den beiden Werten (ca.) 159 cm und 160 cm.

Welche mittlere Größe wird mit 95% Wahrscheinlichkeit nicht überschritten, wenn die Person 45kg wiegt? Dazu berechnen wir das gefragte Quantil (also bei 95%).

mu45 |>
  summarise(q_95 = quantile(mu45, prob = .95))

10.7 Fazit

10.7.1 Ausstieg

Beispiel 10.2 (Fassen Sie das Wesentliche zusammen!) Schreiben Sie 5-10 Sätze zum Wesentlichen Stoff dieses Kapitels und reichen Sie bei der von Lehrkraft vorgegebenen Stelle ein! \(\square\)

10.7.2 Vertiefung

McElreath (2020) bietet eine tiefere Darstellung von linearen Modellen auf Basis der Bayes-Statistik, insbesondere Kapitel 4 daraus vertieft die Themen dieses Kapitels. Kurz (2021) greift die R-Inhalte von McElreath (2020) auf und setzt sie mit Tidyverse-Methoden um; ein interessanter Blickwinkel, wenn man tiefer in die R-Umsetzung einsteigen möchte. Gelman et al. (2021) bieten ebenfalls viele erhellende Einblicke in das Thema Regressionsanalyse, sowohl aus einer frequentistischen als auch aus einer Bayes-Perspektive.

10.8 Aufgaben

10.8.1 Papier-und-Bleistift-Aufgaben

1. Bayes-Ziel1
2. Bayesmod-bestimmen01
3. mtcars-post2a
4. Bed-Post-Wskt1
5. mtcars-post3a
6. regression1a
7. regression1b
8. Regression2
9. Priorwahl1
10. Bayesmod-bestimmen02
11. Likelihood-identifizieren
12. Priorwahl2
13. Likelihood2
14. interpret-koeff
15. bed-post-wskt1

10.8.2 Computer-Aufgaben

1. Post-befragen1
2. penguins-stan-01

10.8.3 Quiz-Aufgaben

Hier finden Sie Single-Choice-Aufgaben zu diesem Kapitel. Wählen Sie eine Antwort aus und klicken Sie auf das Häkchen, um sie zu überprüfen; über das Fragezeichen erhalten Sie die ausführliche Lösung.

Warum wird der Prädiktor Gewicht im Kung-Regressionsmodell zentriert (d.h. weight_c = weight - mean(weight) gebildet), bevor das Modell berechnet wird?

Zentrieren dient dazu, negative Gewichtswerte aus dem Datensatz zu entfernen.Durch das Zentrieren ändert sich die Steigung der Regressionsgeraden (\(\beta_1\)), wodurch der Zusammenhang zwischen Gewicht und Größe stärker erscheint.Ohne Zentrierung könnte man mit stan_glm() gar kein Regressionsmodell mit dieser Variablen berechnen.Durch die Zentrierung entspricht der Achsenabschnitt \(\beta_0\) der (mittleren) Körpergröße bei durchschnittlichem Gewicht – ohne Zentrierung würde \(\beta_0\) die (unrealistische) Körpergröße bei einem Gewicht von 0 kg angeben.Zentrieren ist nötig, damit das Regressionsgewicht \(\beta_1\) überhaupt berechnet werden kann.

Ohne Zentrierung gibt der Achsenabschnitt \(\beta_0\) die vorhergesagte Körpergröße bei einem Gewicht von 0 kg an – ein biologisch unsinniger, nicht interpretierbarer Wert. Zieht man hingegen von jedem Gewichtswert den Stichprobenmittelwert ab (Zentrieren), entspricht \(\beta_0\) der Körpergröße einer Person mit durchschnittlichem Gewicht, was inhaltlich sinnvoll interpretierbar ist. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ist falsch: \(\beta_1\) (die Steigung, also der Zusammenhang zwischen Gewicht und Größe) lässt sich auch ohne Zentrierung berechnen – die Zentrierung ändert lediglich die Interpretierbarkeit des Achsenabschnitts, nicht die grundsätzliche Berechenbarkeit des Modells.

• Die dritte Option ist falsch: Zentrieren ist eine reine Verschiebung (Subtraktion einer Konstanten) und ändert die Steigung der Regressionsgeraden nicht – nur die Lage der Gerade entlang der X-Achse (bzw. die Interpretation des Achsenabschnitts) verändert sich.

• Die vierte Option ist falsch: Zentrieren erzeugt zwar rechnerisch negative Werte für weight_c (bei unterdurchschnittlichem Gewicht), das ist aber gerade beabsichtigt (Abweichung vom Mittelwert) und hat nichts mit dem “Entfernen” negativer Werte aus dem Originaldatensatz weight zu tun.

• Die fünfte Option ist falsch: stan_glm() kann Regressionsmodelle grundsätzlich auch mit unzentrierten Prädiktoren berechnen – Zentrieren ist eine Frage der Interpretierbarkeit, keine technische Notwendigkeit für die Berechnung.

• Falsch

• Falsch

• Falsch

• Wahr

• Falsch

Das Modell m_kung_gewicht_c ist wie folgt spezifiziert:

\[\begin{aligned} \text{height}_i &\sim \operatorname{Normal}(\mu_i, \sigma) && \text{Likelihood} \\ \mu_i &= \beta_0 + \beta_1\cdot \text{weightcentered}_i && \text{Lineares Modell} \\ \beta_0 &\sim \operatorname{Normal}(178, 20) && \text{Prior} \\ \beta_1 &\sim \operatorname{Normal}(0, 10) && \text{Prior} \\ \sigma &\sim \operatorname{Exp}(0{,}1) && \text{Prior} \end{aligned}\]

Welche Aussage zu diesem Modell ist korrekt?

\(\mu_i\) wird deterministisch aus \(\beta_0\), \(\beta_1\) und dem Gewicht der \(i\)-ten Person berechnet – es hat also (gegeben \(\beta_0\) und \(\beta_1\)) selbst keine eigene Apriori-Verteilung, im Unterschied zum reinen Modell m_kung ohne Prädiktor.Das Modell hat insgesamt nur zwei zu schätzende Parameter: \(\beta_0\) und \(\beta_1\).\(\mu_i\) hat, genau wie \(\beta_0\) und \(\beta_1\), eine eigene, separat geschätzte Apriori-Verteilung.Die Likelihood-Zeile besagt, dass jede Person exakt die Körpergröße \(\mu_i\) hat, ohne jede Streuung.\(\beta_1\) gibt an, wie groß die mittlere Körpergröße bei einem Gewicht von exakt 0 kg (zentriert) ist.

Anders als im reinen Modell m_kung (ohne Prädiktor), wo \(\mu\) ein selbst zu schätzender Parameter mit eigener Apriori-Verteilung war, wird \(\mu_i\) hier deterministisch aus den Parametern \(\beta_0\), \(\beta_1\) und dem (bekannten) Gewichtswert der jeweiligen Person berechnet. Gegeben \(\beta_0\) und \(\beta_1\) ist \(\mu_i\) also ohne zusätzliche Ungewissheit festgelegt. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option widerspricht der Modellgleichung direkt: \(\mu_i\) wird durch die lineare Formel berechnet, nicht durch eine eigene, separat zu schätzende Priori-Verteilung – nur \(\beta_0\), \(\beta_1\) und \(\sigma\) haben eigene Priori-Verteilungen.

• Die dritte Option vergisst \(\sigma\): Das Modell hat insgesamt drei zu schätzende Parameter (\(\beta_0\), \(\beta_1\), \(\sigma\)), nicht nur zwei.

• Die vierte Option verwechselt \(\beta_0\) (Achsenabschnitt, gibt die mittlere Größe bei Gewicht \(=0\) bzw. bei zentriertem Gewicht \(\text{weightcentered}=0\) an) mit \(\beta_1\) (der Steigung, die den Unterschied in der Größe pro Kilogramm Gewichtsunterschied angibt).

• Die fünfte Option ignoriert den Streuungsparameter \(\sigma\) in der Likelihood-Zeile: Die Körpergrößen \(h_i\) streuen laut Modell normalverteilt um \(\mu_i\) mit Streuung \(\sigma\), sie entsprechen also gerade nicht exakt (ohne jede Streuung) dem vorhergesagten Mittelwert.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Im Kung-Regressionsmodell (height ~ weight_c) wird für \(\beta_1\) (das “Regressionsgewicht”) ein Schätzwert von etwa 0,9 berichtet. Wie ist dieser Wert korrekt zu interpretieren?

Die durchschnittliche Körpergröße aller erwachsenen !Kung beträgt 0,9 cm.Zwei erwachsene !Kung, die sich um 1 kg im (zentrierten) Gewicht unterscheiden, unterscheiden sich laut Modell im Schnitt um etwa 0,9 cm in der Körpergröße.\(\beta_1=0{,}9\) bedeutet, dass 90% der !Kung größer als der Mittelwert sind.\(\beta_1=0{,}9\) gibt die Korrelation zwischen Gewicht und Größe an, die hier bei \(r=0{,}9\) liegt.Eine Person mit einem (zentrierten) Gewicht von 0 hat laut Modell eine Körpergröße von 0,9 cm.

\(\beta_1\) ist die Steigung der Regressionsgeraden: Sie gibt an, um wie viele Einheiten sich die AV (Körpergröße) im Schnitt unterscheidet, wenn sich zwei Beobachtungen um eine Einheit in der UV (Gewicht) unterscheiden. Mit \(\beta_1\approx 0{,}9\) bedeutet das: Ein Unterschied von 1 kg Körpergewicht geht im Schnitt mit einem Unterschied von etwa 0,9 cm Körpergröße einher. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option verwechselt \(\beta_1\) (die Steigung) mit \(\beta_0\) (dem Achsenabschnitt, der bei zentriertem Prädiktor die mittlere Körpergröße angibt) – die durchschnittliche Körpergröße liegt im Beispiel bei ca. 154 cm, nicht bei 0,9 cm.

• Die dritte Option interpretiert \(\beta_1\) fälschlich als einen Anteilswert (Prozentsatz) – \(\beta_1\) ist aber ein Regressionskoeffizient in der Einheit “cm pro kg”, kein Anteil an der Stichprobe.

• Die vierte Option verwechselt wiederum \(\beta_1\) mit \(\beta_0\): Die vorhergesagte Größe bei weight_c = 0 wird durch den Achsenabschnitt \(\beta_0\) angegeben, nicht durch die Steigung \(\beta_1\).

• Die fünfte Option verwechselt den Regressionskoeffizienten \(\beta_1\) mit dem Korrelationskoeffizienten \(r\) – beide messen zwar verwandte Aspekte des Zusammenhangs, sind aber unterschiedliche Kennzahlen mit unterschiedlichen Einheiten und Wertebereichen (\(r\) liegt zwischen \(-1\) und \(1\), \(\beta_1\) kann beliebige Werte in der Einheit von AV/UV annehmen).

• Falsch

• Wahr

• Falsch

• Falsch

• Falsch

Für ein Kung-Regressionsmodell mit zentriertem Gewicht als Prädiktor liegen die (medianen) Post-Schätzwerte bei \(\beta_0=154\) (Achsenabschnitt, mittlere Größe bei Durchschnittsgewicht) und \(\beta_1=0{,}9\) (Regressionsgewicht pro kg). Wie groß ist die vorhergesagte mittlere Körpergröße \(\mu\) für eine Person mit einem zentrierten Gewicht von \(\text{weight\_c}=8\) (also 8 kg über dem Stichprobenmittelwert)?

\(\mu = \beta_0 - \beta_1\cdot \text{weight\_c} = 154 - 0{,}9\cdot 8 = 146{,}8\)\(\mu = \beta_1 + \beta_0\cdot \text{weight\_c} = 0{,}9 + 154\cdot 8 = 1232{,}9\)\(\mu = \beta_1\cdot \text{weight\_c} = 0{,}9\cdot 8 = 7{,}2\)\(\mu = \beta_0 + \beta_1\cdot \text{weight\_c} = 154 + 0{,}9\cdot 8 = 161{,}2\)\(\mu = \beta_0 + \beta_1 + \text{weight\_c} = 154 + 0{,}9 + 8 = 162{,}9\)

Laut der Modellgleichung \(\mu_i = \beta_0 + \beta_1\cdot \text{weightcentered}_i\) setzt man die gegebenen Werte ein: \(\mu = 154 + 0{,}9\cdot 8 = 154 + 7{,}2 = 161{,}2\).

Warum die Distraktoren falsch sind:

• Die zweite Option lässt den Achsenabschnitt \(\beta_0\) komplett weg – ohne diesen Term würde man nur den Unterschied zur Referenzgröße (bei weight_c = 0) berechnen, nicht die tatsächliche vorhergesagte Größe.

• Die dritte Option verwendet das falsche Vorzeichen (Subtraktion statt Addition) für den Term \(\beta_1\cdot\text{weight\_c}\) – laut Modellgleichung wird dieser Term addiert, nicht subtrahiert.

• Die vierte Option addiert statt zu multiplizieren (\(\beta_1 + \text{weight\_c}\) statt \(\beta_1\cdot\text{weight\_c}\)) und ignoriert damit die multiplikative Struktur der linearen Modellgleichung.

• Die fünfte Option vertauscht die Rollen von \(\beta_0\) und \(\beta_1\) in der Formel und multipliziert fälschlich \(\beta_0\) (statt \(\beta_1\)) mit weight_c, was zu einem völlig unplausiblen, viel zu großen Ergebnis führt.

• Falsch

• Falsch

• Falsch

• Wahr

• Falsch

Im Kapitel wird die Kennzahl pd (probability of direction, Effektwahrscheinlichkeit) eingeführt. Welche Aussage zu pd ist korrekt?

pd gibt an, wie viele Prozent der ursprünglichen Priori-Verteilung durch die Daten “überstimmt” wurden.pd kann nur Werte zwischen \(-1\) und \(1\) annehmen, wie ein Korrelationskoeffizient.pd gibt die Wahrscheinlichkeit an, dass ein Effekt (z.B. \(\beta_1\)) klar auf einer Seite von Null liegt (also eindeutig positiv oder eindeutig negativ ist) – sie sagt aber nichts über die Stärke des Effekts aus.pd ist identisch mit dem Median der Post-Verteilung eines Parameters.pd gibt die exakte Stärke (Effektgröße) eines Zusammenhangs an, z.B. in Zentimetern pro Kilogramm.

Laut Definition im Kapitel gibt pd die Wahrscheinlichkeit an, dass ein Effekt positiv oder negativ ist (je nachdem, auf welcher Seite der Median der Post-Verteilung liegt) – sie macht aber keine Aussage darüber, wie stark der Effekt ist, sondern nur, wie eindeutig er auf einer Seite von Null liegt. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option widerspricht der Definition direkt: pd misst gerade nicht die Stärke (Effektgröße) eines Zusammenhangs, sondern nur, wie sicher die Richtung (positiv/negativ) des Effekts ist – die Effektgröße selbst liest man z.B. am Median oder Mittelwert des Parameters ab.

• Die dritte Option verwechselt zwei unterschiedliche Kennzahlen: Der Median gibt einen typischen Wert der Post-Verteilung an, pd hingegen eine Wahrscheinlichkeit bezüglich der Richtung des Effekts – beide sind eng verwandt (der Median bestimmt, welche Seite als “die Richtung” gilt), aber nicht identisch.

• Die vierte Option ist falsch: pd ist eine Wahrscheinlichkeit und liegt daher im Bereich zwischen 0 und 1 (bzw. 50% und 100%), nicht im Bereich \(-1\) bis \(1\) wie ein Korrelationskoeffizient.

• Die fünfte Option beschreibt kein sinnvolles Konzept aus dem Kapitel: pd bezieht sich auf die Richtung eines geschätzten Effekts in der Post-Verteilung, nicht auf einen Vergleich von Priori- und Post-Verteilung.

• Falsch

• Falsch

• Wahr

• Falsch

• Falsch

Das Kapitel stellt fest, dass Gewicht und Größe der !Kung linear zusammenhängen. Welche Aussage zum Verhältnis von (linearem) Zusammenhang und Kausalität ist korrekt?

Ein linearer (statistischer) Zusammenhang zwischen zwei Variablen bedeutet nicht automatisch, dass zwischen ihnen ein kausaler Zusammenhang besteht.Ein linearer Zusammenhang zwischen zwei Variablen beweist immer, dass die eine Variable die andere kausal beeinflusst.Ein linearer Zusammenhang bedeutet, dass eine Verdopplung von \(X\) auch eine Verdopplung von \(Y\) zur Folge hat.Wenn kein linearer Zusammenhang zwischen zwei Variablen vorliegt, kann zwischen ihnen mit Sicherheit auch kein kausaler Zusammenhang bestehen.Regressionsanalysen können – im Gegensatz zu Korrelationen – grundsätzlich nur kausale Zusammenhänge abbilden, niemals rein deskriptive.

Das Kapitel stellt explizit klar: “Hängen \(X\) und \(Y\) zusammen, heißt das nicht (unbedingt), dass es einen kausalen Zusammenhang zwischen \(X\) und \(Y\) gibt.” Ein statistischer (linearer) Zusammenhang ist zunächst eine rein deskriptive Beobachtung in den Daten und lässt für sich genommen noch keine Aussage über Ursache und Wirkung zu. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option widerspricht der Aussage des Kapitels direkt: Ein Zusammenhang allein ist kein Beweis für Kausalität – es könnten z.B. auch gemeinsame Drittvariablen (Confounder) oder umgekehrte Kausalität vorliegen.

• Die dritte Option ist falsch: Auch Regressionsanalysen sind zunächst rein deskriptive bzw. prädiktive Werkzeuge – ob ein gefundener Zusammenhang auch kausal interpretiert werden darf, hängt vom Studiendesign (z.B. Experiment vs. Beobachtungsstudie) ab, nicht von der bloßen Wahl des statistischen Verfahrens.

• Die vierte Option ist eine unzulässige Umkehrung: Aus der (korrekten) Aussage “Zusammenhang beweist keine Kausalität” folgt logisch nicht die (falsche) Umkehrung “kein Zusammenhang beweist keine Kausalität” – ein kausaler Effekt könnte z.B. durch andere Effekte überlagert und dadurch statistisch unsichtbar werden.

• Die fünfte Option definiert Linearität falsch: Laut Kapitel bedeutet Linearität, dass der Zuwachs in \(Y\) relativ zu \(X\) konstant ist (bei jedem Anstieg von \(X\) um eine Einheit steigt \(Y\) um denselben Betrag \(b\)) – das ist etwas anderes als eine proportionale Verdopplung.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Eine Post-Stichprobe des Achsenabschnitts (der mittleren Körpergröße) besteht aus 4000 Werten. Der Befehl count(Intercept >= 155) liefert folgendes Ergebnis: FALSE: 3800, TRUE: 200. Wie hoch ist die geschätzte Wahrscheinlichkeit \(Pr(\beta_0 \ge 155)\)?

\(Pr(\beta_0\ge 155) = \dfrac{200}{4000} = 0{,}05\)\(Pr(\beta_0\ge 155) = 200\)\(Pr(\beta_0\ge 155) = \dfrac{200}{3800} \approx 0{,}053\)\(Pr(\beta_0\ge 155) = \dfrac{4000}{200} = 20\)\(Pr(\beta_0\ge 155) = \dfrac{3800}{4000} = 0{,}95\)

Um die Wahrscheinlichkeit aus der Stichprobe zu schätzen, teilt man die Anzahl der Stichproben, die die Bedingung erfüllen (TRUE, also \(\beta_0\ge 155\)), durch die Gesamtzahl aller Stichproben: \(Pr(\beta_0\ge 155) = \dfrac{200}{4000} = 0{,}05\).

Warum die Distraktoren falsch sind:

• Die zweite Option berechnet stattdessen den Anteil der FALSE-Fälle, also \(Pr(\beta_0 < 155)\) – das Komplementärereignis zur gestellten Frage.

• Die dritte Option teilt die Anzahl der TRUE-Fälle fälschlich durch die Anzahl der FALSE-Fälle statt durch die Gesamtzahl aller Stichproben (TRUE + FALSE = 4000).

• Die vierte Option kehrt den Bruch um (Gesamtzahl geteilt durch Trefferzahl statt umgekehrt); das Ergebnis ist größer als 1 und kann daher keine gültige Wahrscheinlichkeit sein.

• Die fünfte Option gibt schlicht die absolute Anzahl der Treffer zurück, ohne diese ins Verhältnis zur Gesamtzahl der Stichproben zu setzen – eine Wahrscheinlichkeit muss aber immer zwischen 0 und 1 liegen.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Das Kapitel vergleicht zwei Modelle: m_kung_gewicht_c mit einer eher schwach informativen Priori für \(\beta_1\) (\(\beta_1\sim\mathcal{N}(0,10)\)) und m_kung_starkes_beta1 mit einer meinungsstärkeren Priori (\(\beta_1\sim\mathcal{N}(5,3)\)). Welche Aussage zum Effekt dieser unterschiedlichen Priori-Wahl ist am ehesten zutreffend?

Die schwach informative Priori bedeutet, dass das Modell \(\beta_1\) überhaupt nicht schätzen kann.Die schwach informative Priori für \(\beta_1\) lässt vorab auch negative Zusammenhänge (also einen negativen Effekt von Gewicht auf Größe) als plausibel zu, während die meinungsstärkere Priori vorab bereits einen klar positiven Zusammenhang um 5 herum favorisiert.Beide Prioris führen zwangsläufig zu exakt identischen Post-Verteilungen für \(\beta_1\), unabhängig von der Datenmenge.Eine meinungsstärkere Priori für \(\beta_1\) macht die Berechnung mit stan_glm() unmöglich.Der Unterschied zwischen den beiden Prioris betrifft nur \(\beta_0\), nicht \(\beta_1\).

Die Priori \(\beta_1\sim\mathcal{N}(0,10)\) ist recht breit um 0 zentriert und lässt damit vorab sowohl positive als auch negative Werte für den Zusammenhang als plausibel erscheinen (der Bereich reicht laut Kapitel von ca. \(-20\) bis \(+20\)). Die Priori \(\beta_1\sim\mathcal{N}(5,3)\) hingegen ist deutlich enger um den Wert 5 zentriert und geht damit von vornherein von einem klar positiven Zusammenhang aus. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ist eine unzulässige Verallgemeinerung: Ob unterschiedliche Prioris zu ähnlichen oder unterschiedlichen Post-Ergebnissen führen, hängt von der Stichprobengröße und der Stärke der Priori-Information ab – eine zwangsläufige Identität der Ergebnisse ist damit nicht garantiert, insbesondere bei kleineren Stichproben oder sehr informativen Prioris.

• Die dritte Option ist falsch: Eine schwach informative (aber nicht flache) Priori erlaubt weiterhin die Schätzung von \(\beta_1\) – sie lässt lediglich einen breiteren Bereich plausibler Werte zu als eine informativere Priori.

• Die vierte Option ist falsch: stan_glm() kann problemlos mit informativeren (engeren) Priori-Verteilungen umgehen, wie im Kapitel am Modell m_kung_starkes_beta1 explizit demonstriert wird.

• Die fünfte Option ist falsch: Der beschriebene Unterschied zwischen beiden Modellen betrifft explizit die Priori-Verteilung von \(\beta_1\) (nicht \(\beta_0\), dessen Priori in beiden Modellen identisch bei \(\mathcal{N}(178,20)\) bleibt).

• Falsch

• Wahr

• Falsch

• Falsch

• Falsch

Das Kapitel visualisiert die Ungewissheit der Regressionsgeraden, indem viele einzelne Geraden aus den Post-Stichproben (z.B. die ersten 10, 100 oder 1000 Kombinationen von \(\beta_0\) und \(\beta_1\)) übereinander geplottet werden. Welche Aussage zu dieser Visualisierung ist korrekt?

Je mehr Geraden aus der Post-Verteilung eingezeichnet werden, desto deutlicher wird sichtbar, wie viel Ungewissheit im Modell bezüglich der genauen Lage der Regressionsgeraden besteht – die “Wolke” der Geraden zeigt den plausiblen Bereich.Nur eine einzige Gerade aus der Post-Verteilung ist tatsächlich “richtig”, alle anderen sind reine Rechenfehler.Alle aus der Post-Verteilung gezogenen Geraden sind exakt identisch, da \(\beta_0\) und \(\beta_1\) feste Werte sind.Diese Visualisierung zeigt ausschließlich die Unsicherheit von \(\sigma\), nicht die von \(\beta_0\) und \(\beta_1\).Je mehr Geraden eingezeichnet werden, desto größer wird die tatsächliche Unsicherheit des Modells.

Da die Post-Verteilung aus vielen plausiblen Kombinationen von \(\beta_0\) und \(\beta_1\) besteht, ergibt jede einzelne Stichprobe eine eigene, leicht unterschiedliche Regressionsgerade. Zeichnet man viele dieser Geraden übereinander (mit Transparenz), entsteht eine “Wolke” von Geraden, die visuell zeigt, wie sicher (oder unsicher) sich das Modell bezüglich der genauen Lage der “wahren” Regressionsgeraden ist. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option widerspricht dem gesamten Sinn der Übung: Gerade weil \(\beta_0\) und \(\beta_1\) Post-Verteilungen (und keine festen Werte) haben, unterscheiden sich die einzelnen Stichproben-Kombinationen und ergeben unterschiedliche Geraden.

• Die dritte Option ist falsch: Jede Kombination aus der Post-Verteilung ist ein gültiger, plausibler Wert entsprechend seiner Post-Wahrscheinlichkeit – es handelt sich nicht um “Rechenfehler”, sondern um den Ausdruck der Parameterungewissheit.

• Die vierte Option verwechselt die Visualisierung der bereits vorhandenen Ungewissheit mit einer Veränderung der tatsächlichen Ungewissheit: Das Einzeichnen von mehr Geraden macht die (bereits vorhandene) Ungewissheit nur besser sichtbar, es erzeugt keine zusätzliche Ungewissheit im Modell selbst.

• Die fünfte Option ist falsch: Die “Wolke” der Geraden entsteht gerade durch die Variation von \(\beta_0\) und \(\beta_1\) zwischen den Stichproben – die Streuung um jede einzelne Gerade herum (also \(\sigma\)) wird durch diese Visualisierung gar nicht dargestellt.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Das Kapitel visualisiert mit estimate_expectation(modell, by = "weight_c") eine Regressionsgerade mit einem Schätzbereich (Unsicherheitsband) und legt zusätzlich die einzelnen beobachteten Datenpunkte darüber. Welche Aussage zur Interpretation dieser Grafik ist korrekt?

Das Unsicherheitsband zeigt, mit welcher Wahrscheinlichkeit eine einzelne neue Person exakt auf der Regressionsgeraden liegen wird.Das Unsicherheitsband und die Streuung der einzelnen Datenpunkte um die Gerade sind exakt gleich breit.Je breiter das Unsicherheitsband, desto besser passt das Modell zu den Daten.Alle beobachteten Datenpunkte müssen zwangsläufig innerhalb des Unsicherheitsbands der mittleren Vorhersage liegen, sonst ist das Modell fehlerhaft.Das Unsicherheitsband zeigt die Ungewissheit über den mittleren vorhergesagten Wert \(\mu\) bei jedem Gewichtswert; die einzelnen Datenpunkte streuen typischerweise stärker um die Gerade als dieses (schmalere) Band, da zusätzlich die Streuung \(\sigma\) einzelner Beobachtungen um \(\mu\) hinzukommt.

Das von estimate_expectation() gezeigte Band bezieht sich auf die Ungewissheit des mittleren vorhergesagten Werts \(\mu\) (also z.B. wie sicher wir uns über die mittlere Körpergröße bei einem bestimmten Gewicht sind) – nicht auf die Streuung der einzelnen Beobachtungen. Da einzelne Beobachtungen zusätzlich noch um \(\mu\) mit der Streuung \(\sigma\) variieren (siehe Likelihood-Zeile des Modells), liegen die tatsächlichen Datenpunkte typischerweise deutlich breiter gestreut als das (schmalere) Unsicherheitsband der mittleren Vorhersage. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ist falsch: Das Unsicherheitsband bezieht sich nur auf die Ungewissheit über den Mittelwert \(\mu\) (basierend auf der Ungewissheit von \(\beta_0\) und \(\beta_1\)), während die Streuung der einzelnen Datenpunkte zusätzlich noch von \(\sigma\) (der Streuung der Likelihood) bestimmt wird – beide Streuungsquellen sind unterschiedlich groß.

• Die dritte Option ist eine unrealistische Anforderung: Da einzelne Beobachtungen um \(\mu\) mit Streuung \(\sigma\) variieren, ist es völlig normal und erwartbar, dass etliche Datenpunkte außerhalb des (schmaleren) Unsicherheitsbands für den mittleren Wert liegen – das bedeutet nicht, dass das Modell fehlerhaft ist.

• Die vierte Option verwechselt die Vorhersage des Mittelwerts \(\mu\) mit einer Vorhersage für eine einzelne neue Beobachtung – Letztere müsste zusätzlich die Streuung \(\sigma\) berücksichtigen (ähnlich der Posterior-Prädiktiv-Verteilung aus einem früheren Kapitel), was das gezeigte Band allein nicht leistet.

• Die fünfte Option kehrt die übliche Interpretation um: Ein breiteres Unsicherheitsband zeigt in der Regel mehr, nicht weniger Ungewissheit im Modell – die reine Bandbreite sagt zudem nichts direkt über die Modellgüte (Passung an die Daten) aus.

• Falsch

• Falsch

• Falsch

• Falsch

• Wahr

10.9 —

Gelman, A., Hill, J., & Vehtari, A. (2021). Regression and Other Stories. Cambridge University Press.

Kurz, S. (2021). Statistical Rethinking with Brms, Ggplot2, and the Tidyverse: Second Edition. https://bookdown.org/content/4857/

Makowski, D., Ben-Shachar, M. S., Chen, S. H. A., & Lüdecke, D. (2019). Indices of Effect Existence and Significance in the Bayesian Framework. Frontiers in Psychology, 10. https://www.frontiersin.org/article/10.3389/fpsyg.2019.02767

McElreath, R. (2020). Statistical Rethinking: A Bayesian Course with Examples in R and Stan (2. Aufl.). Taylor and Francis, CRC Press.

---

1. https://statistik1.netlify.app/080-regression1

2. https://statistik1.netlify.app/060-modellguete.html#die-z-transformation

3. https://easystats.github.io/easystats/articles/list_of_functions.html

4. Da es viele Funktionen sind, bietet es sich an mit Strg-F auf der Webseite nach Ihrem Lieblingsbefehl zu suchen.

5. Datenquelle (https://raw.githubusercontent.com/sebastiansauer/Lehre/main/data/Howell1a.csv), McElreath (2020).

6. https://statistik1.netlify.app/060-modellguete.html#die-z-transformation

7. Wer ist hier für die Namensgebung zuständig? Besoffen oder was?

8. oder zumindest besser sichergestellt

9. In manchen Lehrbüchern wird \(\beta_0\) auch als \(\alpha\) bezeichnet.

10. 1e6

11. Im Standard beschert uns stan_glm() 4000 Stichproben.

12. \(\mu\)

13. https://easystats.github.io/bayestestR/articles/bayestestR.html