ReThink4e3

bayes

probability

Published

November 5, 2022

Exercise

Gegeben dem folgenden Modell, schreiben Sie die passende Form des Bayes-Theorem auf.

Likelihood: $h_i \sim \mathcal{N}(\mu, \sigma)$

Prior für $\mu$: $\mu \sim \mathcal{N}(178, 20)$

Prior für $\sigma$: $\sigma \sim \mathcal{U}(0, 50)$

Quelle: McElreath, R. (2020). Statistical rethinking: A Bayesian course with examples in R and Stan (2. Aufl.). Taylor and Francis, CRC Press.

Solution

Die allgemeine Form des Bayes-Theorem hatten wir so kennen gelernt:

\[Pr(H|D) = \frac{Pr(D|H)\cdot Pr(H)}{Pr(D)}\]

$Pr(\mu, \sigma|h)$ gibt die Posteriori-Wahrscheinlichkeit für ein bestimmte Hypothese $H$ an, z.B. für die Hypothese $\mu=0$.

$Pr(D|H)$ ist der Likelihood unserer Daten $D$ gegeben der gerade untersuchten Hypothese $H$.

$Pr(H)$ ist die Apriori-Wahrscheinlichkeit (das “Apriori-Gewicht”) der gerade untersuchten Hypothese.

Der Zähler gibt die unstandardisierte Posteriori-Wahrscheinlichkeit der gerade untersuchten Hypothese an.

Der Nenner ist nur ein Normalisierungsfaktor, der dafür sorgt, dass der ganze Bruch die standardisierte Posteriori-Wahrscheinlichkeit angibt.

In diesem konkreten Fall untersuchen wir Hypothesen zu einem “Parameter-Pärchen”, $\mu\sigma$. Wir fragen also, wie wahrscheinlich es ist, einen gewissen Mittelwert $\mu$ und (gleichzeitig) eine gewisse Streuung $\sigma$ aufzufinden.

Zum Beispiel könnten wir fragen: “Wie wahrscheinlich ist es, dass $\mu=194$ und $\sigma=12$?”. Bayes’ Theorem gibt uns die Wahrscheinlichkeit für diese Hypothese.

Zur Erinnerung, Bayes’ Theorem:

\[Pr(\mu \cap \sigma|D) = \frac{Pr(D|\mu \cap \sigma)\cdot Pr(\mu) \cdot Pr(\sigma)}{Pr(H)}\]

Hier ist zu beachten, dass die Apriori-Wahrscheinlichkeit auf zwei Termen besteht, $Pr(\mu)$ und $Pr(\sigma)$. Sind diese unabhängig, so kann man ihre Wahrscheinlichkeiten multiplizieren, um die gemeinsame Wahrscheinlichkeit zu erhalten, also die Wahrscheinlichkeit für ein bestimmten “Mu-Sigma-Pärchen”, etwa $\mu=194,\sigma=12$.

Categories:

bayes
probability

--- extype: string exsolution: NA exname: ReThink4e3 expoints: 1 categories: - bayes - probability date: '2022-11-05' slug: ReThink4e3 title: ReThink4e3 --- ```{r libs, include = FALSE} library(tidyverse) library(testthat) library(glue) library(printr) ``` ```{r global-knitr-options, include=FALSE} knitr::opts_chunk$set(fig.pos = 'H', fig.asp = 0.618, fig.width = 4, fig.cap = "", fig.path = "", echo = FALSE, message = FALSE, fig.show = "hold") ``` # Exercise Gegeben dem folgenden Modell, schreiben Sie die passende Form des Bayes-Theorem auf. Likelihood: $h_i \sim \mathcal{N}(\mu, \sigma)$ Prior für $\mu$: $\mu \sim \mathcal{N}(178, 20)$ Prior für $\sigma$: $\sigma \sim \mathcal{U}(0, 50)$ *Quelle*: McElreath, R. (2020). *Statistical rethinking: A Bayesian course with examples in R and Stan* (2. Aufl.). Taylor and Francis, CRC Press. # Solution Die allgemeine Form des Bayes-Theorem hatten wir so kennen gelernt: $$Pr(H|D) = \frac{Pr(D|H)\cdot Pr(H)}{Pr(D)}$$ $Pr(\mu, \sigma|h)$ gibt die Posteriori-Wahrscheinlichkeit für ein bestimmte Hypothese $H$ an, z.B. für die Hypothese $\mu=0$. $Pr(D|H)$ ist der Likelihood unserer Daten $D$ gegeben der gerade untersuchten Hypothese $H$. $Pr(H)$ ist die Apriori-Wahrscheinlichkeit (das "Apriori-Gewicht") der gerade untersuchten Hypothese. Der Zähler gibt die *unstandardisierte* Posteriori-Wahrscheinlichkeit der gerade untersuchten Hypothese an. Der Nenner ist nur ein *Normalisierungsfaktor*, der dafür sorgt, dass der ganze Bruch die *standardisierte* Posteriori-Wahrscheinlichkeit angibt. In diesem konkreten Fall untersuchen wir Hypothesen zu einem "Parameter-Pärchen", $\mu\sigma$. Wir fragen also, wie wahrscheinlich es ist, einen gewissen Mittelwert $\mu$ und (gleichzeitig) eine gewisse Streuung $\sigma$ aufzufinden. Zum Beispiel könnten wir fragen: "Wie wahrscheinlich ist es, dass $\mu=194$ und $\sigma=12$?". Bayes' Theorem gibt uns die Wahrscheinlichkeit für diese Hypothese. Zur Erinnerung, Bayes' Theorem: $$Pr(\mu \cap \sigma|D) = \frac{Pr(D|\mu \cap \sigma)\cdot Pr(\mu) \cdot Pr(\sigma)}{Pr(H)}$$ Hier ist zu beachten, dass die Apriori-Wahrscheinlichkeit auf *zwei* Termen besteht, $Pr(\mu)$ und $Pr(\sigma)$. Sind diese unabhängig, so kann man ihre Wahrscheinlichkeiten multiplizieren, um die gemeinsame Wahrscheinlichkeit zu erhalten, also die Wahrscheinlichkeit für ein bestimmten "Mu-Sigma-Pärchen", etwa $\mu=194,\sigma=12$. --- Categories: - bayes - probability