7  Der Globus-Versuch

Schlüsselwörter

Statistik, Bayes, Wahrscheinlichkeit, Inferenz, R, Kausalität

Bayes:Start!

Bayes:Start!

7.1 Lernsteuerung

In diesem Kapitel übersetzen wir eine Problemstellung (Forschungsfrage) in ein (mathematisches) Modell, das uns dann mithilfe der Bayes-Formel Antworten auf die Problemstellung gibt.

Nach Absolvieren dieses Kapitels sollen folgende Lernziele erreicht sein.

Sie können …

  • Unterschiede zwischen Modellen und der Realität erläutern
  • die Binomialverteilung heranziehen, um geeignete (einfache) Modelle zu erstellen (für binomial verteilte Zufallsvariablen)
  • die weite Einsetzbarkeit anhand mehrerer Beispiele exemplifizieren
  • das Bayes-Modell anhand bekannter Formeln herleiten
  • Post-Wahrscheinlichkeiten anhand der Bayesbox berechnen

Der Stoff dieses Kapitels deckt einen Teil aus McElreath (2020), Kap. 2, ab. McElreath (2020) stellt das Globusmodell mit mehr Erläuterung und etwas mehr theoretischem Hintergrund vor, als es in diesem Kapitel der Fall ist.

Lesen Sie zur Vorbereitung in Statistik 1 das Kapitel “Daten Einlesen”1. Das Video Globusversuch ist hilfreich.

Folgende R-Pakete werden in diesem Kapitel benötigt:

library(tidyverse)
library(ggpubr)  # komfortable Visualisierung
Hinweis

Die Folien zu diesem Kapitel finden Sie hier.

7.2 Von Welten und Golems

7.2.1 Kleine Welt, große Welt

Bekanntlich segelte Kolumbus 1492 los, und entdeckte Amerika2. Das war aber ein glücklicher Zufall, denn auf seinem Globus existierte Amerika gar nicht. Vielleicht sah sein Globus so aus wie der von Behaim, s. Abb Abbildung 7.1.

Abbildung 7.1: Behaims Globus: Kein Amerika

Quelle: Ernst Ravenstein, Wikimedia, Public Domain3

Die kleine Welt des Modells entsprach hier nicht der großen Welt, der echten Erdkugel.

Das ist ein Beispiel, das zeigt, wie Modellieren schiefgehen kann. Es ist aber auch ein Beispiel für, sagen wir, die Komplexität wissenschaftlicher (und sonstiger) Erkenntnis. Einfach gesagt: Glück gehört halt auch dazu.

Hinweis

Behaims Globus ist nicht gleich der Erde. Die kleine Welt von Behaims Globus ist nicht die große Welt, ist nicht die Erde.

Was in der kleinen Welt funktioniert, muss nicht in der großen Welt funktionieren. Modelle zeigen immer nur die kleine Welt: Vorsicht vor schnellen Schlüssen und vermeintlicher Gewissheit.

Übungsaufgabe 7.1 🏋 Nennen Sie ein Beispiel, in dem ein Modell nicht (exakt) der Wirklichkeit entspricht! \(\square\)

7.2.2 Der Golem von Prag

Abbildung 7.2: Der Golem von Prag

Bildquelle: Mikoláš Aleš, Wikimedia, Gemeinfrei4

Der Golem von Prag5, die Legende einer vom Menschen geschaffenen Kreatur mit gewaltiger Kraft, die Befehle wörtlich ausführt, s. Abbildung 7.2. Die Geschichte besagt, dass ein Rabbi mit Zauberkräften den Golem aus Lehm erschuf, um die jüdische Bevölkerung der Stadt zu schützen. Bei kluger Führung kann ein Golem Nützliches vollbringen. Bei unüberlegter Verwendung wird er jedoch großen Schaden anrichten.

7.2.3 Wissenschaftliche Modelle sind wie Golems

“Yeah, ich bin ein Golem!” – Bildquelle: Klara Schaumann

“Yeah, ich bin ein Golem!” – Bildquelle: Klara Schaumann

Golem

Eigenschaften des Golems:

  • Besteht aus Lehm
  • Belebt durch “Wahrheit”
  • Mächtig
  • dumm
  • Führt Befehle wörtlich aus
  • Missbrauch leicht möglich
  • Märchen

Modell

Eigenschaften eines Modells:

  • Besteht aus LehmSilikon
  • Belebt durch Wahrheit (?)
  • Manchmal mächtig
  • simpler als die Realität
  • Führt Befehle wörtlich aus
  • Missbrauch leicht möglich
  • Nicht einmal falsch
Hinweis

Wir bauen Golems.

Abbildung 2.7 stellt ein Sinnbild von Modellen dar.

Vergleichen wir die kleine Welt unseres Modells (Tabelle 7.1), wie z.B. Behaims Globus, mit der Großen Welt, die Kolumbus und wir befahren.

Tabelle 7.1: Kleine Welt vs. große Welt
Kleine Welt Große Welt
Die Welt, wie sie der Golem sieht Die Welt, wie sie in Wirklichkeit ist
ist das Modell, aber nicht (zwangsläufig) die Wirklichkeit entspricht nicht (zwangsläufig) dem Modell
Verwenden wir beim Modellieren Ist das, was wir modellieren

Beispiel 7.1 (Die Bayes-Formel und Lernen) 🏋 Bayes-Inferenz ähnelt dem Lernen von Menschen. Geben Sie ein Beispiel von Lernen bei Menschen, das oben dargestelltem Prozess ähnelt! \(\square\)

Beispiel 7.2 (Ein Regressionsmodell stammt aus der kleinen Welt) Ein wissenschaftliches Modell, etwa auf Basis eines Regressionsmodells ist Teil der kleinen Welt. Man muss sich bei der Interpretation eines Regressionsmodells vor Augen halten: “Die Ergebnisse des Modells sind nur richtig unter der Annahme, dass sich der Zusammenhang X und Y durch eine Gerade beschreiben lassen und unter der Annahme, dass meine Daten repräsentativ sind.” \(\square\)

7.3 Ein erster Versuch: Wir werfen den Globus

7.3.1 Das Bayes-Update

Beispiel 7.3 (Wasseranteil auf der Erdoberfläche) Unsere Forschungsfrage lautet, mit welchem Anteil die Erde wohl mit Wasser bedeckt ist (Abbildung 7.3)? Um möglichst wenig schreiben zu müssen, schreiben wir für “angenommener Wasseranteil auf der Erdoberfläche” kurz \(p\) oder \(\pi\) (p wie proportion, Anteil). \(\square\)

Abbildung 7.3: Die Erde. Schön! Und mit viel Wasser, ca. 70% der Erdoberfläche sind mit Wasser bedeckt. Bildquelle: NASA “Blue Marble” (Apollo 17, 1972) – gemeinfrei, kommerziell nutzbar ohne Attribution-Pflicht.

Analog können wir uns vorstellen, 11 Wissenschaftler haben jeweils eine andere Hypothese zum Wasseranteil, \(\pi\), der Erde. Die erste Person hat die Hypothese \(\pi_1 = 0\), die zweite Person geht von \(\pi_2 = 0.1\) aus … die 11. Person von \(\pi_{11} = 1\).

Um die Forschungsfrage zu beantworten, werfen Sie einen Globus-Ball in die Luft und fangen ihn wieder auf. Sie notieren dann, ob die Stelle unter Ihrem Zeigefinger Wasser zeigt (W) oder Land (L). Den Versuch wiederholen Sie, bis Sie den Globusball insgesamt 9 Mal geworfen haben. (Warum gerade 9 Mal? Tja, dann hat das Handy geklingelt… Auch in wissenschaftlichen Versuchen ist (leider?) nicht immer alles genau geregelt.)

So sah mein Ergebnis aus (Ihr Ergebnis kann anders aussehen, schließlich ist es ja Zufall):

\[W \quad L \quad W \quad W \quad W \quad L \quad W \quad L \quad W\]

Also \(W=6\) (Wasser, d.h. “Treffer”) und \(L=3\) (Land, “Niete”) (\(n=9\) Versuche).

Übungsaufgabe 7.2 (Der Globusversuch) 🏋️️ Besorgen Sie sich einen Globus (zur Not eine Münze) und stellen Sie den Versuch nach! \(\square\)

Beispiel 7.4 (Wir schießen Sonden ins Weltall) Eine alternative Geschichte für den Globusversuch: Es ist das Jahr 2345536. Sie arbeiten für eine Weltraumbehörde. Gestern haben Sie einen Planeten entdeckt, weit draußen im All. Jetzt geht es um die Frage, wie viel Wasser es auf der Oberfläche dieses Planeten gibt. Dazu schießen Sie (bzw. Ihre Behörde) eine Reihe von Sonden auf den Planeten. Wir gehen davon aus, dass die Landeplätze dieser Sonden voneinander unabhängig sind. Sagen wir, es werden \(n=9\) Sonden hochgeschossen, und davon landen \(W=6\) im Wasser. \(\square\)

7.3.2 Bayes-Updates

Der Bayes-Golem denkt eigentlich ganz vernünftig: Zuerst (“Apriori”) hat er ein Vorwissen zum Wasseranteil, die dazugehörige Wahrscheinlichkeitsverteilung nennt man Apriori-Verteilung (s. Definition 7.1). In unserem Beispiel ist das Vorwissen recht bescheiden: Jeder Wasseranteil ist ihm gleich plausibel. Als nächstes beschaut sich der Golem die Daten und überlegt, wie wahrscheinlich die Daten sind, wenn man von einer bestimmten Hypothese ausgeht, z.B. dass der Wasseranteil 50% beträgt. Die zugehörige Wahrscheinlichkeit der Daten unter Annahme einer Hypothese nennt man die6 Likelihood7, s. Definition 7.2. Als Letztes bildet sich der Golem eine abschließende Meinung zur Wahrscheinlichkeit jeder Hypothese. Diese Wahrscheinlichkeitsverteilung nennt man Aposteriori-Verteilung, s. Definition 7.3. Sie berechnet sich als Gewichtung des Vorwissens mit den neuen Daten, die durch die Likelihood repräsentiert werden. Anders gesagt: Das Vorwissen wird anhand der Erkenntnisse (der Daten) aktualisiert: das Bayes-Update, s. Abbildung 7.4.

graph LR
A[Apriori-Vert.]-->B[Likelihood]-->C[Post-Vert.]-->A
Abbildung 7.4: Updating mit Bayes

Definition 7.1 (Apriori-Verteilung) Für jede Hypothese haben wir ein Vorab-Wissen, das die jeweilige Plausibilität der Hypothese angibt: Apriori-Verteilung8. \(\square\)

Definition 7.2 (Likelihood) Für jede Hypothese (d.h. jeden Parameterwert \(\pi\)) möchten wir wissen, wie wahrscheinlich die Daten sind (unter der Annahme, dass die Hypothese richtig ist). Anders gesagt: Die Likelihood sagt uns, wie gut die Daten zu einer bestimmten Hypothese passen. \(\square\)

Definition 7.3 (Aposteriori-Verteilung) Dann gewichten wir den Likelihood mit dem Vorabwissen, so dass wir die Aposteriori-Verteilung9 (kurz: “Post-Verteilung”) bekommen. Sie quantifiziert unser Wissen zu den Parameterwerten nach Kenntnis der Daten und aufbauend auf unserem Vorwissen. Man bezeichnet sie kurz mit \(Pr(H|D)\), lies: “Die Wahrscheinlichkeit der Hypothese H gegeben der Daten D.” \(\square\)

Übungsaufgabe 7.3 (Wie gut passen die Daten zur Hypothese, dass die Erde komplett trocken ist?) Wir haben in unseren Versuch \(W=6\) und \(L=3\) erzielt. Diese Daten passen überhaupt nicht zur Hypothese, dass die Erdoberfläche komplett trocken ist. Die Likelihood, \(L\) für \(\pi=0\) ist also Null. Analog ist die Likelihood für \(\pi=1\) auch Null. \(\square\)

7.3.3 Berechnung der Likelihood im Globusversuch

Wie wahrscheinlich ist es, ein bestimmtes Ergebnis, z.B. \(W=6\) Treffer (bei 9 Würfen), zu erhalten, wenn man eine bestimmte Hypothese (einen bestimmten Wasseranteil, z.B. 90%) annimmt? Diese Wahrscheinlichkeit nennt man die Likelihood, \(L = Pr(W = 6, n = 9| \pi=.9)\).

Wenn wir eine Binomialverteilung für die Globuswürfe annehmen, dann gehen wir davon aus, dass die Daten unabhängig voneinander entstehen und sich der Parameterwert nicht zwischenzeitlich ändert. 10 Der Wasseranteil der Erde bleibt während des Versuchs gleich (durchaus plausibel).

Berechnen wir also die Likelihood für verschiedene Hypothesen (Wasseranteile, \(\pi\)), für \(\pi = 0, 0.1, 0.2, \ldots, 1\), s. Listing 7.1. Wir halten also die Daten fest (6 Treffer bei 9 Würfen) und berechnen die Wahrscheinlichkeit dieser Daten für verschiedene Hypothesen (Wasseranteile, \(\pi\)).

Listing 7.1: Likelihood-Funktion für x=6 Treffer, bei n=9 Würfen, für eine binomialverteilte Zufallsvariable: Wir halten die Daten fest und variieren den Parameterwert.
dbinom(x = 6, size = 9, prob = .1)
dbinom(x = 6, size = 9, prob = .2)
dbinom(x = 6, size = 9, prob = .3)
dbinom(x = 6, size = 9, prob = .4)
dbinom(x = 6, size = 9, prob = .5)
dbinom(x = 6, size = 9, prob = .6)
dbinom(x = 6, size = 9, prob = .7)
dbinom(x = 6, size = 9, prob = .8)
dbinom(x = 6, size = 9, prob = .9)
## [1] 6.1e-05
## [1] 0.0028
## [1] 0.021
## [1] 0.074
## [1] 0.16
## [1] 0.25
## [1] 0.27
## [1] 0.18
## [1] 0.045

Abbildung 7.5 visualisiert die Likelihood-Funktion für unser Beispiel (6 Wasser bei 9 Würfen) für verschiedene Hypothesen (Wasseranteile, \(\pi\)). Man sieht, dass die Likelihood um \(\pi = 0.7\) herum am höchsten ist.

Abbildung 7.5: Die Likelihood-Funktion für x=6 Treffer, bei n=9 Würfen, für eine binomialverteilte Zufallsvariable (mit 11 Parameterwerten: 0, 0.1, 0.2, …, 1): Die Parameterwerte um 0.7 herum sind am plausibelsten.

Oder von Hand gerechnet für \(\pi = 1/2\), s. Gleichung 7.1:

\[\begin{aligned} Pr(\pi = 1/2| x = 6, n = 9) &=\\ \tbinom{9}{6} \cdot (1/2)^6 \cdot (1/2)^3 &=\\ \frac{9!}{6!3!} \cdot (1/2)^9 &= \\ 84 \cdot 1/512 = 21/128 &= 0.16 \end{aligned} \tag{7.1}\]

Mithilfe von R als Taschenrechner gerechnet:

anz_pfade <- choose(9, 6)
wskt_pro_pfad <- (1/2)^6 * (1/2)^3
gesamt_wskt <- anz_pfade * wskt_pro_pfad
gesamt_wskt
## [1] 0.16

Für so viele Würfe (\(n=9\)) würde ein Baumdiagramm unübersichtlich werden, s. Abbildung 7.6. Visualisierungen wie Baumdiagramme sind eine praktische Hilfe zum Verständnis, kommen aber bei größeren Daten schnell an ihre Grenze.

Abbildung 7.6: Wir werfen den Globus (oder eine Münze) 9 Mal, es resultieren 512 Endknoten. Nicht gerade übersichtlich.

Jetzt folgen einige Beispiele.

Beispiel 7.5 (Likelihood für \(W = 6, n = 9, \pi=.7\)) Was ist die Likelihood von \(W=6\) bei \(n=9\) gegeben \(\pi=.7\) bei unserem Globusversuch?

dbinom(x = 6, size = 9, prob = .7)
## [1] 0.27

Oder, synonym, wenn man einen Taschenrechner (oder R als Taschenrechner) benutzt:

choose(9, 6) * (.7)^6 * (.3)^3
## [1] 0.27

Noch “händischer” gerechnet:

factorial(9)/(factorial(6)*factorial(3)) * (.7)^6 * (.3)^3
## [1] 0.27

Die Daten passen gut zur Hypothese \(\pi=.7\). \(\square\)

Zur Erinnerung: Die Funktion dbinom gibt uns die Wahrscheinlichkeit von x Treffern, bei size Versuchen zurück, wobei eine Binomialverteilung angenommen wird mit der Trefferwahrscheinlichkeit prob.

Beispiel 7.6 (Likelihood für \(W = 6, n = 9, \pi=1/3\)) Was ist die Likelihood von \(W=6\) bei \(n=9\) gegeben \(\pi=1/3\) bei unserem Globusversuch?

dbinom(x = 6, size = 9, prob = 1/3)
## [1] 0.034

Offenbar ist \(\pi=1/3\) eine schlechte Hypothese, um die Daten zu erklären: Die Daten passen nicht gut zu ihr. \(\square\)

Beispiel 7.7 (Likelihood für \(\pi=0\)) Was ist die Likelihood von \(W=6\) bei \(n=9\) gegeben \(\pi=0\) bei unserem Globusversuch?

dbinom(x = 6, size = 9, prob = 0)
## [1] 0

\(\pi=0\) ist offenbar eine sehr schlechte Hypothese, um die Daten zu erklären: Die Daten sind unmöglich unter dieser Hypothese. \(\square\)

(Fast) von Hand gerechnet:

factorial(9)/(factorial(6)*factorial(3)) * (.7)^6 * (.3)^3
## [1] 0.27

Als Formel, s. Gleichung 7.2:

\[\begin{aligned} Pr(W=6 | \pi=.7, n=9) &=\\ \tbinom{9}{6} \cdot (.7)^6 \cdot (.3)^3 &=\\ \frac{9!}{6!3!} \cdot (.7)^6 \cdot (.3)^3 &=\\ 84 \cdot .003 = .27. \end{aligned} \tag{7.2}\]

\(\square\)

Es gibt Taschenrechner(-Apps), die die Binomialverteilung oder den Binomialkoeffizienten berechnen können.11

Übungsaufgabe 7.4 (Peer Instruction: Welcher Parameterwert ist am plausibelsten?) Wir führen wieder den Globusversuch durch (oder werfen eine Münze) und erhalten folgendes Ergebnis: 7 Mal Wasser und 2 Mal Land (also \(W=7\) und \(L=2\)).

Welcher Wasseranteil, \(\pi\) ist am plausibelsten?

  1. 0 Wasser (0%)
  2. 1/9 Wasser (ca. 11%)
  3. 3/9 Wasser (ca. 33%)
  4. 7/9 Wasser (ca. 78%)
  5. 9 Wasser (100%) \(\square\)

7.3.4 Unser Modell ist geboren

Ein Modell (in der Bayes-Statistik) besteht aus mind. drei Komponenten:

  1. Die Likelihood (die Wahrscheinlichkeit der Daten unter Annahme der Hypothese), s. Gleichung 7.1
  2. Die Apriori-Verteilung(en) (die Wahrscheinlichkeit der Hypothese vor den Daten), s. Gleichung 7.3
  3. Die Aposteriori-Verteilung (die Wahrscheinlichkeit der Hypothese nach den Daten), s. Abbildung 7.10

7.3.5 Apriori-Verteilung

Unser Vorab- bzw. Apriori-Wissen zu \(\pi\) sei, dass uns alle Werte gleich (“uniform”) plausibel erscheinen, s. Gleichung 7.3.

\[\pi \sim \text{Unif}(0,1). \tag{7.3}\]

Lies: “\(\pi\) ist gleich (uniform) verteilt mit der Untergrenze 0 und der Obergrenze 1”.

Man könnte auch sagen: Wir haben praktisch kein Vorwissen, wir sind erstmal (apriori) indifferent; jeder Parameterwert erscheint uns erstmal gleich wahrscheinlich, s. Abbildung 7.7.

Abbildung 7.7: Gleichverteilung mit Parametern min=0 und max=1

7.3.6 Aposteriori-Verteilung

Wie in Definition 7.3 eingeführt, quantifiziert die Aposteriori-Verteilung (kurz: “Post-Verteilung”) unser Wissen zu den Parameterwerten nach Kenntnis der Daten und aufbauend auf unserem Vorwissen (Apriori-Wissen). Sie ist das Ergebnis des Bayes-Updates; man bezeichnet sie kurz mit \(Pr(H|D)\). Lies: “Die Wahrscheinlichkeit der Hypothese H gegeben der Daten D.”

Dabei nimmt man stillschweigend an, dass die Daten anhand eines gewissen Modells generiert wurden, z.B. der Binomialverteilung, sodass die Likelihood \(Pr(D|H)\) berechnet werden kann. Abbildung 7.10 zeigt die Post-Verteilung für unser Globusbeispiel (6 Wasser bei 9 Würfen).

7.4 Bayes’ Theorem

7.4.1 Wozu wird Bayes in der Praxis genutzt?

In der Praxis nutzt man Bayes häufig, wenn man Daten \(D\) gesammelt hat, und wissen möchte, wie wahrscheinlich eine Hypothese \(H\) ist, im Lichte dieser gesammelten Daten, s. Theorem 7.1. Anders gesagt: Die Likelihood ist relativ einfach zu bestimmen, \(Pr(D|H)\), aber nicht so interessant. Die Aposteriori-Wahrscheinlichkeit, \(Pr(H|D)\), ist schwerer zu bestimmen, aber interessanter. Man könnte also sinnbildlich sagen, das Bayes-Theorem ist eine “Maschine”, die die Apriori-Wahrscheinlichkeit zusammen mit der Likelihood zur Aposteriori-Wahrscheinlichkeit “umbaut”.

\[Pr(H|D) = \frac{ Pr(H) \cdot Pr(D|H) }{Pr(D)} \tag{7.4}\]

Theorem 7.1 (Bayes’ Theorem) \[ Pr(H|D) = \frac{ Pr(H) \cdot Pr(D|H) }{Pr(D)} = \frac{\text{Apriori} \cdot \text{Likelihood}} {\text{Evidenz}}\quad \square\]

Bayes’ Theorem (Theorem 7.1) fragt nach \(Pr(H|D)\):

Was ist die Wahrscheinlichkeit der Hypothese H, jetzt wo wir die Daten kennen?

Und antwortet so (Gleichung 7.4):

Diese Wahrscheinlichkeit entspricht der Apriori-Wahrscheinlichkeit der Hypothese mal der Plausibilität (Likelihood) der Daten unter Annahme (gegeben) der Hypothese. Aus Standardisierungsgründen dividiert man noch die totale Wahrscheinlichkeit der Daten über alle Hypothesen (durch die sog. Evidenz).

Für unser Globusbeispiel:

Wie wahrscheinlich ist denn jetzt ein bestimmter Wasseranteil auf der Erde, \(\pi\), (gegeben den Daten, \(W=6\) und \(L=3\)) und wenn wir jede Hypothese apriori für gleich wahrscheinlich halten? Also, wie wahrscheinlich ist z.B. ein Wasseranteil von 70% oder von 50%?

7.4.2 Die Evidenz zur Standardisierung

Die Aufgabe der Evidenz ist nur dafür zu sorgen, dass der Wert von \(Pr(H|D)\) insgesamt nur Werte zwischen 0 und 1 annehmen kann, also eine brave, normale Wahrscheinlichkeit ist. Würde man in Theorem 7.1 nicht durch die Evidenz teilen, so wäre die Aposteriori-Wahrscheinlichkeit nicht normiert, d.h. sie könnte Werte >1 annehmen, was ja nicht sein darf.

Definition 7.4 (Evidenz) \(Pr(D)\) nennt man die Evidenz.

Die Evidenz berechnet sich als Summe der Likelihoods für alle Parameterwerte \(H_i\), d.h. als die totale Wahrscheinlichkeit von \(D\), s. Theorem 7.2, vgl. Definition 5.8. \(\square\)

Theorem 7.2 (Evidenz) \[ \begin{aligned} Pr(D) = \sum_{i=1}^n Pr(D|H_i) \cdot Pr(H_i) \end{aligned}\quad \square \]

Die verschiedenen Parameterwerte kann man auch als die verschiedenen Hypothesen \(H_i\) auffassen. Falls es nur zwei Hypothesen bzw. Parameterwerte gibt, vereinfacht sich Theorem 7.2 zu Theorem 7.3.

Theorem 7.3 (Evidenz bei zwei Hypothesen) \[ \begin{aligned} Pr(D) = Pr(D|H_1) \cdot Pr(H_1) + Pr(D|H_2) \cdot Pr(H_2) \end{aligned}\quad \square \]

Beispiel 7.8 In Beispiel 7.10 betrug der Wert der Evidenz \(0.03 + 0.002 + 0.012 = 0.044\), also ca. 4%. \(\square\)

Schauen wir uns die Bestandteile von Bayes’ Theorem (Theorem 7.1) noch etwas näher an:

  • (standardisierte) Aposteriori-Wahrscheinlichkeit: \(Pr_{Post} := Pr(H|D)\)
  • Likelihood: \(L := Pr(D|H)\)
  • Apriori-Wahrscheinlichkeit: \(Pr_{Apriori} := Pr(H)\)
  • Evidenz: \(E := Pr(D)\)
  • unstandardisierte Aposteriori-Wahrscheinlichkeit: \(Pr_{\text{unPost}} = Pr_{\text{Apriori}} \cdot L\)

Bayes’ Theorem gibt die \(Pr_{Post}\) an, wenn man die Gleichung mit der \(Pr_{Apriori}\) und dem \(L\) füttert. Bayes’ Theorem wird verwendet, um die \(Pr_{Post}\) zu quantifizieren. Die \(Pr_{Post}\) ist proportional zu \(Pr_{unPost} = L \times Pr_{Apriori}\).

7.4.3 Posteriori als Produkt von Priori und Likelihood

Die unstandardisierte Post-Wahrscheinlichkeit \(Pr_{\text{unPost}}\) ist einfach das Produkt von Likelihood und Priori, s. Gleichung 7.5.

\[ Pr_{\text{unPost}} = L \times \text{Priori} \tag{7.5}\]

Abb. Abbildung 7.8 visualisiert, dass die Post-Verteilung eine Gewichtung von Apriori und Likelihood ist (das gilt sowohl für die unstandardisierte als auch für die standardisierte Post-Verteilung). Mathematisch gesprochen beruht diese Gewichtung auf einer einfachen Multiplikationen der beiden genannten Terme.

Abbildung 7.8: Prior mal Likelihood = Post

Standardisiert man die unstandardisierte Post-Verteilung, so erhält man die standardisierte Post-Verteilung. Das Standardisieren dient nur dazu, einen Wert zwischen 0 und 1 zu erhalten. Dies erreichen wir, indem wir durch die Summe aller Post-Wahrscheinlichkeiten dividieren. Die Summe der Post-Wahrscheinlichkeiten bezeichnet man (auch) als Evidenz, vgl. Gleichung Gleichung 7.6.

\[ \text{Posteriori} = \frac{\text{Likelihood} \times \text{Priori}}{\text{Evidenz}} \tag{7.6}\]

7.4.4 Wissen updaten: Wir füttern Daten in das Modell

Golems können lernen?! Abbildung 7.9 zeigt die Post-Verteilung, nach \(n=1, 2, ...,n=9\) Datenpunkten, d.h. Würfen mit dem Globusball. Man sieht: Am Anfang, apriori, also bevor wir die Daten kennen, vor dem ersten Wurf also, ist jeder Parameterwert gleich wahrscheinlich für den Golem (das Modell). Je nach Ergebnis des Wurfes verändert sich die Wahrscheinlichkeit der Parameterwerte, kurz gesagt, die Post-Verteilung verändert sich in Abhängigkeit von den Daten.

Abbildung 7.9: Unser Golem lernt

Insofern kann man sagen: Unser Golem (das Modell) lernt. Ob das Modell nützlich ist (präzise Vorhersagen liefert), steht auf einem anderen Blatt.

7.5 Die Post berechnen mit der Bayesbox

Wir erstellen uns eine kleine Tabelle, die man “Bayesbox” nennen könnte.12 Unser Ziel ist es, die Posteriori-Wahrscheinlichkeit für verschiedene Parameterwerte zu berechnen, also die Wahrscheinlichkeit, dass ein bestimmter Wasseranteil \(\pi\) vorliegt, gegeben die Daten (6 Wasser bei 9 Würfen). Dazu gehen wir so vor:

7.5.1 Die Idee der Bayesbox

  1. Teile den Wertebereich des Parameters in ein “Gitter” auf, z.B. \(0.1, 0.2, ..., 0.9, 1\).
  2. Wähle die Apriori-Wahrscheinlichkeit für jeden Parameterwert, z.B. 1/11 bei einer diskreten Gleichverteilung von 0 bis 1.
  3. Berechne die Likelihood für jeden Parameterwert.
  4. Berechne den unstandardisierten Aposteriori-Wert für jeden Parameterwert (Produkt von Apriori und Likelihood).
  5. Standardisiere den Aposteriori-Wert durch Teilen anhand der Summe aller unstandardisierten Aposteriori-Wahrscheinlichkeiten.

Für jeden Parameterwert berechnen wir eine (Post-)Wahrscheinlichkeit.13 Häufig entspricht eine Hypothese einem Parameterwert, etwa wenn man sagt: “Ich glaube, die Münze ist fair”, was auf einen Parameterwert von 50% herausläuft. Dazu geben wir an, für wie wahrscheinlich wir apriori14 – also bevor wir irgendwelche Daten erheben – jeden einzelnen Parameterwert halten. Wir machen es uns hier einfach und halten jeden Parameterwert für gleich wahrscheinlich.

Tatsächlich ist der konkrete Wert hier egal, solange wir allen Parameterwerten denselben Wert geben, wird sich die standardisierte Aposteriori-Wahrscheinlichkeit nicht ändern.

Entscheidend ist das Verhältnis der Apriori-Werte zueinander: Geben wir einem Parameterwerten den Wert 2, aber einem anderen den Wert 1, so halten wir Ersteren für (apriori) doppelt so plausibel wie Letztere. Die Post-Wahrscheinlichkeit für den Ersteren wird dann auch doppelt so groß sein wie die für Letztere (alles andere konstant gehalten).

Die “End-Wahrscheinlichkeit”, die unstandardisierte Post-Wahrscheinlichkeit, die “hinten rauskommt” ist das Produkt von Apriori-Wert und Likelihood. Anschaulich gesprochen: Die Apriori-Werte werden mit den Likelihoodwerten gewichtet15. Da wir letztlich eine Wahrscheinlichkeitsverteilung bekommen möchten, teilen wir jeden Aposteriori-Wert durch die Summe aller Aposteriori-Werte. Dadurch ist garantiert, dass sich die Aposteriori-Werte zu eins aufaddieren. Damit haben wir dann die Ansprüche an eine Wahrscheinlichkeitsverteilung erfüllt (vgl. Kapitel 4.3.3).

7.5.2 Bayesbox in R berechnen

Legen wir uns ein Gitter mit Parameterwerten (\(\pi\)) an, um deren Aposteriori-Wahrscheinlichkeit zu berechnen. Konkret gesprochen: Wir listen jeden für uns interessanten Wasseranteil (\(\pi\)) auf, also \(\pi=0, 0.1, 0.2, ..., 1\). Diese Parameterwerte sind die Hypothesen, die wir testen wollen, s. Listing 7.2.

Listing 7.2: Parameterwerte (Gitter) für Wasseranteile: 0, 0.1, 0.2, …, 1
wasseranteile <- seq(from = 0, to = 1, by = 0.1)  # Parameterwerte
wasseranteile
##  [1] 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

Dann berechnen wir schon mal die Wahrscheinlichkeit der Daten (6 W bei 9 Würfen) gegeben jeweils eines Wasseranteils.

Likelihood <- dbinom(6, size = 9, prob = wasseranteile)
Likelihood
##  [1] 0.0e+00 6.1e-05 2.8e-03 2.1e-02 7.4e-02 1.6e-01 2.5e-01 2.7e-01 1.8e-01
## [10] 4.5e-02 0.0e+00

Schließlich packen wir das alles in eine Tabelle, die “Bayesbox”, s. Tabelle 7.2 und Listing 7.3.

Listing 7.3: Wir basteln uns eine Bayesbox
bayesbox_globusversuch <-
  tibble(
    # definiere die Hypothesen (die Parameterwerte, p): 
    p = wasseranteile,
    # Lege den Apriori-Wert für alle Parameterwerte auf 1/11 fest:
    Apriori  = 1/11) |> 
    mutate(
      # berechne Likelihood für jeden Wasseranteil (Parameterwert):
      Likelihood = Likelihood,
      # berechne unstand. Aposteriori-Werte:
      unstd_Post = Likelihood * Apriori,
      # berechne Evidenz, d.i. die Summe aller unstand. Post-Werte:
      Evidenz = sum(unstd_Post),
      # berechne stand. Aposteriori-Werte (summiert zu 1):
      Post = unstd_Post / Evidenz)  

Die Bayesbox (Tabelle 7.2) zeigt, wie sich die Post-Verteilung berechnet.

Tabelle 7.2: Die Bayesbox für den Globusversuch, k=6 Treffer, n=9 Versuche, Apriori-Wahrscheinlichkeit Pr(H)=9%, und Wasseranteile p von 0 bis 1
id p Apriori Likelihood unstd_Post Evidenz Post
1 0.0 0.091 0.000 0.000 0.091 0.000
2 0.1 0.091 0.000 0.000 0.091 0.000
3 0.2 0.091 0.003 0.000 0.091 0.003
4 0.3 0.091 0.021 0.002 0.091 0.021
5 0.4 0.091 0.074 0.007 0.091 0.074
6 0.5 0.091 0.164 0.015 0.091 0.164
7 0.6 0.091 0.251 0.023 0.091 0.251
8 0.7 0.091 0.267 0.024 0.091 0.267
9 0.8 0.091 0.176 0.016 0.091 0.176
10 0.9 0.091 0.045 0.004 0.091 0.045
11 1.0 0.091 0.000 0.000 0.091 0.000

Für jede Hypothese (Spalte id) berechnen wir die unstandardisierte Aposteriori-Wahrscheinlichkeit als Produkt von Apriori und Likelihood.

Um zur standardisierten Aposteriori-Wahrscheinlichkeit zu gelangen, teilen wir in jeder Zeile der Bayesbox (also für jede Hypothese) die unstandardisierte Post-Wahrscheinlichkeit durch die Summe der unstandardisierten Post-Wahrscheinlichkeiten, s. Gleichung 7.7.

\[\text{Post} = \frac{\text{Post}_{\text{unstand}}}{\text{Evidenz}} = \frac{Pr(H) \cdot Pr(H|D)}{Pr(D)} \tag{7.7}\]

Dabei haben wir die Apriori-Wahrscheinlichkeit für alle Parameterwerte als gleich angenommen, da wir keinerlei Vorwissen hatten, \(Pr(H_i) = 1/11\). Die Evidenz berechnet sich als Summe der unstandardisierten Post-Wahrscheinlichkeiten, \(Pr(D) = \sum Pr_{unstandPost}=0.09\).

Wenn die Apriori-Wahrscheinlichkeit für alle Hypothesen gleich ist, dann ist die standardisierte Aposteriori-Wahrscheinlichkeit identisch mit der Likelihood. Denn die Post-Wahrscheinlichkeit ist die um die Priori-Wahrscheinlichkeit gewichtete Likelihood. Sind die Apriori-Wahrscheinlichkeiten alle gleich, so ist die Gewichtung der Likelihood für alle Hypothesen gleich.

Beispiel 7.9 (Post-Wahrscheinlichkeit im Globusversuch für p=.7) In Beispiel 7.5 haben wir die Wahrscheinlichkeit für 6 Treffer bei 9 Würfen gegeben einer Trefferwahrscheinlichkeit von \(\pi = .7\) berechnet. Damit haben wir die Likelihood \(L = Pr(D|H) =.27\) berechnet.

Auf dieser Basis können wir die Aposteriori-Wahrscheinlichkeit \(Pr_{Post}\) berechnen, zunächst die unstandardisierte. Dazu haben wir die Apriori-Wahrscheinlichkeit mit der Likelihood multipliziert, s. Gleichung 7.8:

\[ \text{Post}_{\text{unstand}} = Pr(H) \cdot Pr(D|H) = 1/11 \cdot 0.2668 = 0.024 \tag{7.8}\]

Jetzt standardisieren wir die unstandardisierte Post-Wahrscheinlichkeit, indem wir durch die Evidenz dividieren, s. Gleichung 7.9.

\[\text{Post} = \frac{\text{Post}_{\text{unstand}}}{\text{Evidenz}} = \frac{0.024}{0.09} = 0.267 \tag{7.9}\]

Fazit: Nach dem Versuch, d.h. nachdem wir die Daten in Betracht gezogen haben, hat sich unsere Meinung über den Wasseranteil von \(\pi=.7\) aktualisiert von 0.09 auf 0.27 – das ist eine Verdreifachung. Wir sind uns drei Mal so sicher wie vor dem Versuch, dass der Wasseranteil bei 70% liegt. \(\square\)

Übungsaufgabe 7.5 🏋️ Was wohl mit Post passiert, wenn wir Apriori ändern? \(\square\)

Abbildung 7.10 zeigt eine Visualisierung der Post-Verteilung mit Hilfe der Funktion ggline(x, y) aus dem Paket ggpubr. Wie man sieht, ist die Post-Wahrscheinlichkeit am höchsten bei \(\pi=0.7\). Wobei der Bereich von 0.6 bis 0.8 auch recht wahrscheinlich ist.

Abbildung 7.10: Die Post-Verteilung visualisiert. Die Post-Wahrscheinlichkeit ist am höchsten bei p=0.7

7.5.3 Was sagt die Post?

Die Aposteriori-Verteilung (Kurz: “Post-Verteilung”, oder “Post”), \(Pr_{Post}\), sagt, wie plausibel wir jeden Wert von \(p\) halten, jetzt, nachdem wir die Daten des Versuchs kennen. Die Post-Wahrscheinlichkeit updatet unser Apriori-Wissen mit dem Wissen, das wir durch die Daten erhalten haben.

Abbildung 7.11 zeigt die Post-Wahrscheinlichkeit für 5, 10 und 20 Parameterwerte. Das mittlere Teilbild mit 10 Parameterwerten entspricht unserer Tabelle oben. Man sieht: Je mehr Parameterwerte, desto “glatter” wird die Verteilung.

Abbildung 7.11: Die Post-Verteilung zunehmend mehr Parameterwerte in der Bayesbox. Je mehr Parameterwerte, desto ‘glatter’ wird die Verteilung.

Die Post-Verteilung ist sowas wie das Ziel all Ihrer Träume (falls Sie es noch nicht gewusst haben): Aus der Post-Verteilung können Sie ablesen, wie wahrscheinlich Ihre Hypothese (Ihr Lieblings-Parameterwert) ist. Und noch einiges mehr, aber das ist Thema des nächsten Kapitels. \(\square\)

Übungsaufgabe 7.6 (Peer Instruction: Schlüsse ziehen mit dem Bayes-Modell) Auf einer Party: Unterhalten sich fünf Studis über das Bayesmodell. Einer hat Unrecht, die anderen Recht. Aber wer?

  1. Wenn eine Hypothese \(A\) apriori doppelt so wahrscheinlich ist wie die anderen und die Likelihoods für alle Hypothesen gleich ist, dann ist \(A\) aposteriori auch doppelt so wahrscheinlich wie die anderen Hypothesen.

  2. Sind alle Hypothesen apriori gleich wahrscheinlich, dann hat die Hypothese mit dem höchsten Likelihood aposteriori auch die höchste Post-Wahrscheinlichkeit.

  3. Hat eine Hypothese apriori die Wahrscheinlichkeit Null, so hat sie automatisch aposteriori auch die Wahrscheinlichkeit Null, unabhängig von ihrer Likelihood.

  4. Die unstandardisierte Aposteriori-Wahrscheinlichkeit ist gleich der standardisierten mal einen Faktor \(k\).

  5. Hat eine Hypothese die höchste Likelihood, so hat sie automatisch auch die höchste Wahrscheinlichkeit aposteriori. \(\square\)

7.6 Abschluss

7.6.1 Zusammenfassung

📺 Übung zum Globusversuch

  • In unserem Modell haben wir Annahmen zu \(Pr_{Apriori}\) und \(L\) getroffen.
  • Auf dieser Basis hat der Golem sein Wissen geupdated zu \(Pr_{Post}\).
  • Mit der Bayesbox haben wir viele Hypothesen (Parameterwerte) untersucht und jeweils die \(Pr_{Post}\) berechnet.
  • Unser Modell bildet die kleine Welt ab; ob es in der großen Welt nützlich ist, steht auf einem anderen Blatt.
Tipp

Wenn Sie auf einen Prozentwert für \(W\) tippen müssten, welchen würden Sie nehmen, laut dem Modell (und gegeben der Daten)? \(\square\)

7.6.2 Der Globusversuch als Modell für zweiwertige Zufallsversuche

Der Globusversuch ist kein prototypisches Beispiel für Statistik in der Praxis, zumindest nicht auf den ersten Blick. Er hat aber den Vorteil, dass es ein einfaches, gut greifbares Beispiel ist, und damit zum Lernen gut geeignet ist. Bei näherer Betrachtung ist der Globusversuch prototypisch für ganz viele Fragestellungen:

  • Von einem neuen Produkt wurden von \(n\) Exemplaren \(k\) verkauft. Auf welchen Wert \(p\) kann die Akzeptanzrate dieses Produkts geschätzt werden?
  • Ein Chat-Bot hat von \(n\) Fragen \(k\) richtig beantwortet. Wie hoch kann die Verständnisrate \(p\) dieses Programms geschätzt werden?
  • Eine neue Krebstherapie hat von \(n\) “austherapierten” Patientis \(k\) geheilt. Auf wie hoch kann die Erfolgsrate dieser Therapie geschätzt werden?

Kurz: Der Globusversuch ist ein Muster für zweiwertige Zufallsversuche. Und solche sind häufig im Leben, im Business und in der Wissenschaft.

7.7 Vertiefung

7.7.1 Bayes-Video von 3b1b

Das “Bayes-Paradox-Video” von 3b1b präsentiert eine gut verständliche Darstellung des Bayes-Theorems aus einer zwar nicht gleichen, aber ähnlichen Darstellung wie in diesem Kapitel.

7.7.2 Bayes als Baum

Bayes’ Theorem kann man sich als Baumdiagramm vor Augen führen, Abbildung 7.12. Gesucht sei \(Pr(M_1|A)\), also: die Wahrscheinlichkeit, dass das Teil von Maschine 1 produziert wurde, gegeben, dass es Ausschuss ist. Gegeben sind die Wahrscheinlichkeiten, dass Maschine \(i\) das Teil produziert hat, \(Pr(M_i)\). Außerdem sind die Wahrscheinlichkeiten, dass das Teil Ausschuss ist, \(Pr(A|M_i)\), bekannt. Das Diagramm löst die Aufgabe für uns; es zeigt damit die Anwendung von Bayes’ Theorem auf. Um \(Pr(M_1|A)\) zu erhalten, setzt man die Wahrscheinlichkeit des günstigen Asts ins Verhältnis zur Wahrscheinlichkeit aller relevanten Äste, \(Pr(A)\).

Beispiel 7.10 (Maschine produziert Ausschuss) Die drei Maschinen \(M_1, M_2, M_3\) produzieren den gleichen Artikel. Ihr jeweiliger Anteil an der Produktion liegt bei 60%, 10% bzw. 30%. Die jeweilige Ausschussquote liegt bei 5, 2, bzw. 4%, s. Abbildung 7.12.

Aufgabe: Wie groß ist die Wahrscheinlichkeit, dass ein defektes Teil von Maschine 1 produziert wurde? Berechnen Sie diese Wahrscheinlichkeit. \(\square\)

Lösung: Der günstige (gesuchte) Ast, \(Pr(M1 \cap A)\), ist hier fett gedruckt, s. Abbildung 7.12. In Abbildung 7.12 zeigen die runden Kästchen am Ende der Pfade die Wahrscheinlichkeiten des jeweiligen Pfades an.

flowchart LR
  A[Start] ==>|0.60|B[M1]
  A --->|0.10|C[M2]
  A --->|0.30|D[M3]
  B ==>|0.05|E[A]
  B -->|0.95|F[Nicht-A]
  C --->|0.02|G[A]
  C --->|0.98|H[Nicht-A]
  D --->|0.04|I[A]
  D --->|0.96|J[Nicht-A]
  E --- K((0.030))
  F --- L((0.570))
  G --- M((0.002))
  H --- N((0.098))
  I --- O((0.012))
  J --- P((0.288))
Abbildung 7.12: Günstige Pfade

\[Pr(M1|A) = \frac{Pr(M1 \cap A)}{Pr(A)} = \frac{0.6 \cdot 0.05}{0.03 + 0.002 + 0.012} = \frac{0.03}{0.044} \approx 0.68\]

\(Pr(M1|A)\) beträgt also ca. 68%.

Zur Erinnerung: \(Pr(A)\) ist die totale Wahrscheinlichkeit (dass ein produziertes Teil Ausschuss ist).

7.7.3 Bayes als bedingte Wahrscheinlichkeit

Bayes’ Theorem wird verwendet, um die Wahrscheinlichkeit einer Hypothese, gegeben einer bestimmten Datenlage und basierend auf einer Apriori-Wahrscheinlichkeit dieser Hypothese zu berechnen. Man berechnet also \(Pr(H|D)\). Bayes’ Theorem ist nichts anderes als eine normale bedingte Wahrscheinlichkeit.

\(Pr(H| D)\) kann man umformen (vgl. Theorem 5.3 und Definition 5.6), dann erhält man Bayes’ Theorem, s. Theorem 7.4.

Theorem 7.4 (Bayes’ Theorem als bedingte Wahrscheinlichkeit) \[\begin{aligned} Pr(H|D) &=\frac{\overbrace{ Pr(H\cap D)}^\text{umformen}}{Pr(D)} \\ &= \frac{\overbrace{Pr(H)}^\text{Apriori-Wahrscheinlichkeit} \cdot \overbrace{Pr(D|H)}^\text{Likelihood}}{\underbrace{Pr(D)}_\text{Evidenz}} \end{aligned}\quad \square\]

7.7.4 Weitere Herleitung der Bayes-Formel

Man kann sich Bayes’ Theorem auch wie folgt herleiten:

\(Pr(D\cap H) = Pr(H \cap D) = Pr(D) \cdot Pr(H|D) = Pr(H) \cdot Pr(D|H)\)

Dann lösen wir nach \(P(H|D)\) auf, s. Gleichung 7.10.

\[Pr(H|D) = \frac{\overbrace{Pr(H)}^\text{Apriori-Wahrscheinlichkeit} \cdot \overbrace{Pr(D|H)}^\text{Likelihood}}{\underbrace{Pr(D)}_\text{Evidenz}} \tag{7.10}\]

7.7.5 Zusammengesetzte Hypothesen

Das ist vielleicht ein bisschen fancy, aber man kann Bayes’ Theorem auch nutzen, um die Wahrscheinlichkeit einer zusammengesetzten Hypothese zu berechnen: \(H = H_1 \cap H_2\). Ein Beispiel wäre: “Was ist die Wahrscheinlichkeit, dass es Regen (\(R\)) und Blitzeis (\(B\)) gibt, wenn es kalt (\(K\)) ist?”.

Das sieht dann so aus, Gleichung 7.11:

\[ \begin{aligned} Pr(R \cap B |K) &= \frac{ Pr(R \cap B) \cdot Pr(K|R \cap B) }{Pr(D)} \\ &= \frac{ Pr(R ) \cdot Pr(B) \cdot Pr(K|R \cap B) }{Pr(D)} \end{aligned} \tag{7.11}\]

Hier haben wir \(Pr(R \cap B)\) aufgelöst in \(Pr(R) \cdot Pr(B)\), das ist nur zulässig, wenn \(R\) und \(B\) unabhängig sind.

7.8 Aufgaben

Tipp

Einige der folgenden Aufgaben sind in englischer Sprache. Wenn Ihnen eine andere Sprache (z.B. Deutsch) lieber ist, nutzen Sie einfach die Übersetzungsfunktion Ihres Browsers. Das sind meist nur zwei Klicks. \(\square\)

7.8.1 Papier-und-Bleistift-Aufgaben

  1. Verteilungen-Quiz-01
  2. globus1
  3. globus2
  4. globus3
  5. globus-bin
  6. globus-bin2
  7. Krebs1
  8. kekse01
  9. kekse03
  10. bayes2
  11. Bayes-Theorem1
  12. bayes-ziel1
  13. totale-wskt1
  14. wskt-quiz13
  15. wskt-quiz12
  16. wskt-quiz15
  17. qm2-quiz-globos

7.8.2 Aufgaben, für die man einen Computer braucht

  1. Rethink2m1
  2. Rethink2m2
  3. Rethink2m3
  4. kekse02
  5. euro-bayes
  6. bath42
  7. Kaefer2
  8. Lose-Nieten-Binomial-Grid

7.8.3 Quiz-Aufgaben

Hier finden Sie Single-Choice-Aufgaben zu diesem Kapitel. Wählen Sie eine Antwort aus und klicken Sie auf das Häkchen, um sie zu überprüfen; über das Fragezeichen erhalten Sie die ausführliche Lösung.

Welche der folgenden Aussagen zum Konzept “kleine Welt vs. große Welt” im Kontext wissenschaftlicher Modelle (z.B. Behaims Globus) ist korrekt?

Die kleine Welt ist die Welt, wie sie das Modell (der “Golem”) sieht bzw. abbildet – die große Welt ist die tatsächliche Realität, die das Modell zu erfassen versucht. Beide müssen nicht übereinstimmen, wie das Beispiel von Behaims Globus (ohne Amerika) zeigt. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

  • Die zweite Option widerspricht der Kernaussage des Konzepts: Modelle bilden immer nur die kleine Welt ab, eine vollständige Übereinstimmung mit der großen Welt (der Realität) ist gerade nicht garantiert und in der Praxis die Ausnahme, nicht die Regel.

  • Die dritte Option verwechselt den Begriff “große Welt” mit “großes/komplexes Modell” – gemeint ist aber stets die tatsächliche Realität, unabhängig von der Komplexität des Modells.

  • Die vierte Option ist die zentrale Warnung des Kapitels: Was in der kleinen Welt des Modells funktioniert, muss nicht in der großen Welt (der Realität) funktionieren – Vorsicht vor schnellen Schlüssen und vermeintlicher Gewissheit.

  • Die fünfte Option ist falsch: Der Text nennt explizit auch ein Regressionsmodell als Beispiel für ein Modell aus der kleinen Welt – das Konzept ist also nicht auf Bayes-Modelle beschränkt.

  • Falsch

  • Falsch

  • Falsch

  • Wahr

  • Falsch

Welche der folgenden Zuordnungen zu den drei zentralen Bestandteilen eines Bayes-Modells ist korrekt?

Die Likelihood gibt an, wie wahrscheinlich die beobachteten Daten \(D\) sind, wenn man eine bestimmte Hypothese \(H\) als richtig annimmt: \(L = Pr(D|H)\). Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

  • Die zweite Option beschreibt tatsächlich die Aposteriori-Verteilung (Wahrscheinlichkeit der Hypothese nach Kenntnis der Daten), nicht die Apriori-Verteilung – diese bezeichnet gerade das Vorwissen vor den Daten.

  • Die dritte Option beschreibt eher die Rolle der Evidenz (die totale, hypothesenunabhängige Wahrscheinlichkeit der Daten zur Normierung), nicht die Aposteriori-Verteilung, die sich ja gerade auf eine bestimmte Hypothese bezieht.

  • Die vierte Option vertauscht die Reihenfolge der Bedingung: \(Pr(H|D)\) ist die Aposteriori-Wahrscheinlichkeit, nicht die Likelihood – Likelihood und Aposteriori-Wahrscheinlichkeit sind bedingte Wahrscheinlichkeiten mit vertauschten Ereignissen und im Allgemeinen nicht gleich.

  • Die fünfte Option widerspricht dem gesamten Sinn des Bayes-Updates: Gerade weil neue Daten das Vorwissen aktualisieren, unterscheiden sich Apriori- und Aposteriori-Verteilung in aller Regel – außer im Sonderfall, dass die Likelihood für alle Hypothesen exakt gleich ist.

  • Falsch

  • Falsch

  • Falsch

  • Wahr

  • Falsch

Bei einem Globusversuch werden \(n=10\) Würfe durchgeführt, davon zeigt \(W=7\) Mal der Zeigefinger auf Wasser. Wie groß ist die Likelihood für die Hypothese \(\pi=0{,}6\), also \(Pr(W=7, n=10\mid \pi=0{,}6)\)?

Unter der Annahme einer Binomialverteilung (unabhängige, identisch verteilte Würfe) ist die Likelihood für die Hypothese \(\pi=0{,}6\) gegeben die Daten \(W=7\), \(n=10\): \(Pr(W=7,n=10\mid \pi=0{,}6) = \binom{10}{7}\cdot 0{,}6^7 \cdot 0{,}4^3 \approx 0{,}215\) (in R: dbinom(x = 7, size = 10, prob = 0.6)).

Warum die Distraktoren falsch sind:

  • Die zweite Option vertauscht \(\pi\) und \(1-\pi\) (\(0{,}4^7\cdot 0{,}6^3\) statt \(0{,}6^7\cdot 0{,}4^3\)) – das entspricht der Likelihood für 7 “Land”-Treffer statt 7 “Wasser”-Treffer.

  • Die dritte Option berechnet die kumulierte Wahrscheinlichkeit \(Pr(W\le 7)\) (mit pbinom) statt der Likelihood für genau dieses eine beobachtete Ergebnis \(W=7\) (mit dbinom) – für die Likelihood ist aber genau das beobachtete Datum relevant.

  • Die vierte Option verwendet den falschen Datenwert (\(W=6\) statt der tatsächlich beobachteten \(W=7\) Treffer) – die Likelihood muss sich immer auf die tatsächlich beobachteten Daten beziehen.

  • Die fünfte Option vergisst den Faktor \((1-\pi)^{n-x}=0{,}4^3\) für die 3 “Land”-Ergebnisse; das Resultat ist folgerichtig größer als 1 und kann daher keine gültige Wahrscheinlichkeit sein.

  • Falsch

  • Falsch

  • Falsch

  • Falsch

  • Wahr

In einer Bayesbox berechnet man für eine Hypothese \(H_i\) den unstandardisierten Aposteriori-Wert \(\text{Post}_{\text{unstand}} = Pr(H_i)\cdot L_i = 0{,}05\). Die Summe aller unstandardisierten Post-Werte über sämtliche Hypothesen (die Evidenz) beträgt \(0{,}2\). Wie groß ist die standardisierte Aposteriori-Wahrscheinlichkeit für \(H_i\)?

Die standardisierte Aposteriori-Wahrscheinlichkeit erhält man, indem man den unstandardisierten Post-Wert einer Hypothese durch die Evidenz (die Summe aller unstandardisierten Post-Werte) teilt: \(\text{Post} = \dfrac{\text{Post}_{\text{unstand}}}{\text{Evidenz}} = \dfrac{0{,}05}{0{,}2} = 0{,}25\).

Warum die Distraktoren falsch sind:

  • Die zweite Option multipliziert statt zu dividieren – das widerspricht der Standardisierungsformel und würde bei ohnehin schon kleinen Werten zu einer noch kleineren, nicht normierten Zahl führen.

  • Die dritte Option kehrt den Bruch um (Evidenz geteilt durch unstandardisierten Post-Wert statt umgekehrt) – das Ergebnis (\(4\)) ist zudem größer als 1 und kann daher keine gültige Wahrscheinlichkeit sein.

  • Die vierte Option ignoriert, dass eine Standardisierung überhaupt nötig ist: Der unstandardisierte Post-Wert ist erst nach Division durch die Evidenz eine echte (auf 1 normierte) Wahrscheinlichkeit.

  • Die fünfte Option berechnet das Komplement (\(1-0{,}05\)), was inhaltlich nichts mit der Standardisierung anhand der Evidenz zu tun hat.

  • Falsch

  • Falsch

  • Falsch

  • Falsch

  • Wahr

Drei Maschinen \(M_1, M_2, M_3\) produzieren denselben Artikel, mit Produktionsanteilen von 50%, 30% bzw. 20%. Ihre jeweiligen Ausschussquoten betragen 3%, 6% bzw. 10%. Wie groß ist die Evidenz \(Pr(A)\), also die totale Wahrscheinlichkeit, dass ein zufällig ausgewähltes Teil Ausschuss (\(A\)) ist?

Die Evidenz (totale Wahrscheinlichkeit) berechnet sich als gewichtete Summe der bedingten Wahrscheinlichkeiten \(Pr(A|M_i)\), gewichtet mit den jeweiligen Produktionsanteilen \(Pr(M_i)\): \(Pr(A) = \sum_i Pr(M_i)\cdot Pr(A|M_i) = 0{,}5\cdot 0{,}03 + 0{,}3\cdot 0{,}06 + 0{,}2\cdot 0{,}10 = 0{,}015+0{,}018+0{,}02 = 0{,}053\).

Warum die Distraktoren falsch sind:

  • Die zweite Option summiert einfach die drei Ausschussquoten, ohne sie mit den (unterschiedlichen) Produktionsanteilen der Maschinen zu gewichten – damit ignoriert sie, dass Maschine 1 für die meisten produzierten Teile verantwortlich ist.

  • Die dritte Option bildet den ungewichteten Mittelwert der drei Ausschussquoten, was implizit unterstellt, jede Maschine würde ein Drittel der Produktion beisteuern – das widerspricht den angegebenen Produktionsanteilen von 50%, 30% und 20%.

  • Die vierte Option berücksichtigt nur den Beitrag von Maschine 1 und vergisst die Beiträge von Maschine 2 und Maschine 3 vollständig, obwohl auch diese zur Gesamt-Ausschussquote beitragen.

  • Die fünfte Option vertauscht die Produktionsanteile den falschen Maschinen zu (0,2 statt 0,5 für \(M_1\) usw.) und berechnet damit die Evidenz für ein anderes, nicht das gegebene Szenario.

  • Falsch

  • Wahr

  • Falsch

  • Falsch

  • Falsch

Drei Maschinen \(M_1, M_2, M_3\) produzieren denselben Artikel, mit Produktionsanteilen von 50%, 30% bzw. 20%. Ihre jeweiligen Ausschussquoten betragen 3%, 6% bzw. 10% (Evidenz \(Pr(A) = 0{,}053\), s. vorherige Aufgabe). Ein zufällig ausgewähltes Teil ist Ausschuss. Wie groß ist die Wahrscheinlichkeit, dass es von Maschine 2 stammt, \(Pr(M_2\mid A)\)?

Nach Bayes’ Theorem gilt \(Pr(M_2\mid A) = \dfrac{Pr(M_2)\cdot Pr(A\mid M_2)}{Pr(A)} = \dfrac{0{,}3\cdot 0{,}06}{0{,}053} \approx 0{,}340\).

Warum die Distraktoren falsch sind:

  • Die zweite Option berechnet nur den Zähler (\(Pr(M_2)\cdot Pr(A|M_2)\)), vergisst aber die Division durch die Evidenz \(Pr(A)\) – ohne diese Standardisierung ist das Ergebnis keine gültige bedingte Wahrscheinlichkeit.

  • Die dritte Option verwendet versehentlich die Werte von Maschine 1 (\(Pr(M_1)\cdot Pr(A|M_1)\)) statt der von Maschine 2 im Zähler – das beantwortet eine andere Frage, nämlich \(Pr(M_1|A)\).

  • Die vierte Option kehrt den Bruch um (Evidenz geteilt durch Zähler statt umgekehrt); das Ergebnis ist größer als 1 und kann daher keine gültige Wahrscheinlichkeit sein.

  • Die fünfte Option gibt schlicht die Apriori-Wahrscheinlichkeit \(Pr(M_2)=0{,}3\) zurück, ohne die neue Information (dass das Teil Ausschuss ist) über die Likelihood und die Bayes-Formel überhaupt einzubeziehen.

  • Falsch

  • Falsch

  • Falsch

  • Falsch

  • Wahr

Welche Funktion hat die Evidenz \(Pr(D)\) in der Bayes-Formel \(Pr(H|D) = \dfrac{Pr(H)\cdot Pr(D|H)}{Pr(D)}\)?

Die Evidenz ist die Summe aller unstandardisierten Aposteriori-Werte (Apriori mal Likelihood) über alle Hypothesen. Sie sorgt dafür, dass die resultierenden standardisierten Aposteriori-Wahrscheinlichkeiten eine “brave, normale” Wahrscheinlichkeitsverteilung bilden, die sich zu 1 aufsummiert – die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

  • Die zweite Option beschreibt eher ein Vergleichsmaß zwischen zwei Hypothesen (ähnlich einem Bayes-Faktor), nicht die Funktion der Evidenz: Die Evidenz ist für alle Hypothesen ein und derselbe Wert, sie vergleicht also nicht direkt “die beste” mit den anderen.

  • Die dritte Option ist falsch: Die Evidenz ist die Summe der (mit der Apriori-Wahrscheinlichkeit gewichteten) Likelihoods über alle Hypothesen, nicht nur die Likelihood einer einzelnen (der plausibelsten) Hypothese.

  • Die vierte Option kehrt die tatsächliche Berechnungsreihenfolge um: Man berechnet zunächst die Likelihood für jede einzelne Hypothese und summiert diese (gewichtet mit der Apriori-Wahrscheinlichkeit) anschließend zur Evidenz auf – nicht umgekehrt.

  • Die fünfte Option ist falsch: Da die Evidenz für alle Hypothesen denselben (konstanten) Wert hat, mit dem geteilt wird, ändert sie nur die Skalierung aller Post-Werte gleichermaßen, nicht aber deren Rangfolge zueinander.

  • Falsch

  • Falsch

  • Wahr

  • Falsch

  • Falsch

Auf einer Party diskutieren fünf Studierende über das Bayes-Modell. Nur eine der folgenden Aussagen ist richtig, die anderen vier sind falsch (bzw. gelten nur unter zusätzlichen, hier nicht genannten Voraussetzungen). Welche Aussage ist richtig?

Die Aposteriori-Wahrscheinlichkeit ist proportional zum Produkt aus Apriori-Wahrscheinlichkeit und Likelihood (\(\text{Post}_{\text{unstand}} = Pr(H)\cdot L\)). Deshalb bestimmt allein die Likelihood noch nicht die Rangfolge der Aposteriori-Wahrscheinlichkeiten – eine Hypothese mit hoher Likelihood, aber sehr niedriger Apriori-Wahrscheinlichkeit kann trotzdem eine niedrigere Post-Wahrscheinlichkeit haben als eine Hypothese mit etwas geringerer Likelihood, aber deutlich höherer Apriori-Wahrscheinlichkeit. Die erste Option ist daher korrekt.

Warum die Distraktoren falsch sind:

  • Die zweite Option widerspricht der Gewichtungslogik der Bayesbox: Ist eine Hypothese apriori doppelt so plausibel wie eine andere (bei gleicher Likelihood), so ist auch ihre (standardisierte) Aposteriori-Wahrscheinlichkeit doppelt so groß – und eben nicht gleich groß.

  • Die dritte Option widerspricht einer wichtigen Eigenschaft: Sind alle Apriori-Wahrscheinlichkeiten gleich, dann ist die standardisierte Aposteriori-Wahrscheinlichkeit identisch mit der (normierten) Likelihood – die höchste Likelihood führt in diesem Sonderfall sehr wohl zwangsläufig zur höchsten Post-Wahrscheinlichkeit.

  • Die vierte Option widerspricht der multiplikativen Struktur der Bayesbox: Ist die Apriori-Wahrscheinlichkeit exakt Null, so ist auch der unstandardisierte Post-Wert (\(0\cdot L = 0\)) und damit auch die standardisierte Post-Wahrscheinlichkeit stets Null, unabhängig davon, wie hoch die Likelihood ausfällt.

  • Die fünfte Option ist nur im Sonderfall wahr, dass die Evidenz zufällig genau 1 beträgt; im Allgemeinen unterscheiden sich unstandardisierter und standardisierter Post-Wert um genau den Faktor Evidenz (per Definition der Standardisierung).

  • Falsch

  • Falsch

  • Wahr

  • Falsch

  • Falsch

Angenommen, in einer Bayesbox haben alle betrachteten Hypothesen dieselbe Apriori-Wahrscheinlichkeit (uniforme Priori, wie beim ursprünglichen Globusversuch). Welche Aussage zur standardisierten Aposteriori-Verteilung ist in diesem Fall korrekt?

Ist die Apriori-Wahrscheinlichkeit für alle Hypothesen gleich, so ist die Gewichtung der Likelihood für jede Hypothese identisch – die (unstandardisierte wie standardisierte) Aposteriori-Verteilung entspricht dann direkt der (normierten) Likelihood-Funktion. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

  • Die zweite Option ist falsch: Gerade die Likelihood – und damit die Aposteriori-Verteilung – hängt weiterhin unmittelbar von den beobachteten Daten ab; nur die Gewichtung durch die Priori ist in diesem Sonderfall für alle Hypothesen konstant, nicht die Abhängigkeit von den Daten insgesamt.

  • Die dritte Option verwechselt die Apriori-Verteilung (die hier laut Voraussetzung uniform ist) mit der Aposteriori-Verteilung: Letztere ist im Allgemeinen gerade nicht uniform, sondern spiegelt die (unterschiedlich hohen) Likelihoods der verschiedenen Hypothesen wider.

  • Die vierte Option ist falsch: Auch wenn die Priori keine unterschiedliche Gewichtung mehr vornimmt, muss man weiterhin durch die Evidenz (die Summe der Likelihoods) teilen, damit sich die resultierende Verteilung zu 1 aufsummiert – die Likelihood alleine ist keine auf 1 normierte Verteilung über die Hypothesen.

  • Die fünfte Option widerspricht dem Sinn der Standardisierung: Per Konstruktion (Division durch die Evidenz) summieren sich die standardisierten Post-Wahrscheinlichkeiten immer zu 1, unabhängig davon, ob die Priori uniform ist oder nicht.

  • Falsch

  • Falsch

  • Falsch

  • Falsch

  • Wahr

Für ein Experiment werden nur drei mögliche Hypothesen betrachtet: \(\pi\in\{0{,}3,\ 0{,}5,\ 0{,}7\}\), jeweils mit identischer Apriori-Wahrscheinlichkeit \(Pr(\pi)=1/3\). Bei \(n=5\) Würfen und \(W=4\) Treffern ergeben sich folgende Likelihoods: \(L(\pi=0{,}3)\approx 0{,}0284\), \(L(\pi=0{,}5)\approx 0{,}1563\), \(L(\pi=0{,}7)\approx 0{,}3602\). Wie groß ist die standardisierte Aposteriori-Wahrscheinlichkeit für die Hypothese \(\pi=0{,}7\)?

Zunächst berechnet man für jede Hypothese den unstandardisierten Post-Wert (Apriori mal Likelihood): \(\text{Post}_{\text{unstand}}(\pi) = \tfrac{1}{3}\cdot L(\pi)\), also \(0{,}00945\) für \(\pi=0{,}3\), \(0{,}05208\) für \(\pi=0{,}5\) und \(0{,}12005\) für \(\pi=0{,}7\). Die Evidenz ist die Summe dieser Werte: \(\text{Evidenz} \approx 0{,}1816\). Die standardisierte Post-Wahrscheinlichkeit für \(\pi=0{,}7\) ist dann \(\text{Post}(\pi=0{,}7) = \dfrac{0{,}12005}{0{,}1816} \approx 0{,}661\).

Warum die Distraktoren falsch sind:

  • Die zweite Option gibt einfach die (unstandardisierte) Likelihood zurück, ohne diese mit der Apriori-Wahrscheinlichkeit zu gewichten und ohne durch die Evidenz zu standardisieren – das ist keine gültige Aposteriori-Wahrscheinlichkeit.

  • Die dritte Option normiert zwar korrekt anhand der Summe der drei Likelihoods, multipliziert das Ergebnis aber fälschlich noch einmal mit \(1/3\) – da die Apriori-Wahrscheinlichkeit für alle drei Hypothesen aber bereits gleich ist (\(1/3\)), kürzt sie sich bei der Standardisierung heraus und darf nicht ein zweites Mal einbezogen werden.

  • Die vierte Option verwechselt die Apriori-Wahrscheinlichkeit einer einzelnen Hypothese (\(1/3\)) mit einer Rechnung, die überhaupt keinen Bezug zu den Likelihoods bzw. den beobachteten Daten hat.

  • Die fünfte Option verwendet im Zähler versehentlich die Likelihood der falschen Hypothese (\(\pi=0{,}3\) statt \(\pi=0{,}7\)) und berechnet damit \(\text{Post}(\pi=0{,}3)\) statt der gefragten Post-Wahrscheinlichkeit für \(\pi=0{,}7\).

  • Falsch

  • Falsch

  • Wahr

  • Falsch

  • Falsch

7.9


  1. https://statistik1.netlify.app/020-r↩︎

  2. wenn auch nicht als Erster↩︎

  3. https://commons.wikimedia.org/wiki/File:RavensteinBehaim.jpg↩︎

  4. https://de.wikipedia.org/wiki/Golem↩︎

  5. http://www.prague.net/golem↩︎

  6. oder den?↩︎

  7. zu Deutsch etwa: “Mutmaßlichkeit”↩︎

  8. Anstatt von Apriori-Verteilung liest man auch Priori-Verteilung oder Prior.↩︎

  9. Anstatt von Apriori liest man auch Prior oder Priori; anstatt Aposteriori auch Posterior↩︎

  10. Die sog. “iid-Annahme”, independently and identically distributed: Jeder Wurf des Globusballes ist eine Realisation der gleichen Zufallsvariablen. Jeder Wurf ist unabhängig von allen anderen: Das Ergebnis eines Wurfes hat keinen (stochastischen) Einfluss auf ein Ergebnis anderer Würfe. Die Wahrscheinlichkeitsverteilung ist bei jedem Wurf identisch.↩︎

  11. https://www.geogebra.org/scientific?lang=de↩︎

  12. Auch Gitter-Methode oder Grid-Methode genannt.↩︎

  13. Ein Parameterwert ist eine mögliche Ausprägung des Parameters.↩︎

  14. synonym: priori↩︎

  15. synonym: Die Likelihoodwerte werden mit den Apriori-Werten gewichtet.↩︎