Markov-Ketten

Zusammenfassung

Dieses Kapitel ist Markov-Ketten gewidmet. Wir führen wichtige Begriffe wie Irreduzibilität, Aperiodizität und Stationarität ein und zeigen, dass eine reversible, homogene Markov-Kette stationär ist. Als ein bekanntes Beispiel einer stationären Markov-Kette betrachten wir den PageRank-Algorithmus. Schließlich wird das Markov-Ketten-Monte-Carlo-Verfahren zur Simulation der stationären Verteilung eingeführt und analysiert.

Übungsaufgaben

Aufgabe 16.1

(Mischen von Karten) Betrachten Sie einen Stapel Spielkarten bestehend aus n Karten. Ihre Reihenfolge wird repräsentiert durch eine Permutation $\pi$ der Zahlen $\{1,2,\ldots , m\}$. Wenn man die Karten mischt, so verändert man ihre Reihenfolge, das heißt, man wendet eine weitere Permutation $\pi '$ auf die Permutation $\pi$ an und die Karten haben danach die Reihenfolge $\pi '\circ \pi$. Bezeichne $Z_m$ die Menge aller Permutationen von $\{1,2,\ldots , m\}$.

Starten Sie nun zu einem Zeitpunkt $t=0$ mit einer gewissen Kartenreihenfolge $X_0 = \pi _0\in Z_m$. Zum Zeitpunkt $t > 0$ wählen Sie zufällig eine Permutation $\pi _t\in Z_m$ mit Wahrscheinlichkeit $p_{\pi _t}$ und mischen die Karten mittels $\pi _t$, also $X_{t+1} = \pi _t\circ X_t$.

• a) Geben Sie die Übergangswahrscheinlichkeiten $p_{\pi ,\pi ^\prime }$ für $\pi ,\pi ^\prime \in Z_m$ an.

• b) Geben Sie zwei Beispiele für die Verteilung $\{p_\pi \}_{\pi \in Z_m}$ derart an, dass die Markov-Kette $\{X_t\}$ irreduzibel beziehungsweise reduzibel ist.

• c) Zeigen Sie, dass die Übergangsmatrix doppelt stochastisch ist, das heißt, dass sowohl die Zeilensummen als auch die Spaltensummen jeweils Eins ergeben, symbolisch

  $$ \sum _{\pi ^\prime \in Z_m} p_{\pi ,\pi ^\prime } = \sum _{\pi ^\prime \in Z_m} p_{\pi ^\prime ,\pi } = 1 \quad {\text {f}}{\ddot{\text {u}}}{\text {r alle}}\ \pi \in Z_m. $$

• d) Zeigen Sie, dass die Gleichverteilung auf $Z_m$ eine stationäre Verteilung für die Markov-Kette ist. Mit anderen Worten, die Wahrscheinlichkeitsverteilung ${\mu } = [\mu _\pi ]_{\pi \in Z_m}$ mit $\mu _\pi = 1/m!$ für alle $\pi \in Z_m$ ist stationär.

Aufgabe 16.2

(Computerausstattung) Der Sollstand an Computern in einem Großraumbüro sei $n\in \mathbb {N}^*$. Am Anfang der Woche t seien $X_t\in \{0,1,\ldots ,n\}$ Computer intakt. Während dieser Woche fallen davon $Y_t$ Computer aus. Montags wird die Differenz zum Soll nachbestellt, wobei die Computer erst am Sonntag geliefert werden. In der ersten Woche seien $X_0$ Computer vorhanden.

• a) Zeigen Sie die Rekursionsformel

  $$ X_{t+1} = n - Y_t,\quad t=0,1,2,\ldots . $$

• b) Die Zufallsvariablen $\{Y_t\}$ seien jeweils gleichverteilt, das heißt

  $$ \mathbb {P}(\{Y_t=k\}|\{X_t=\ell \}) = \frac{1}{\ell +1},\quad k\in \{0,1,\ldots ,\ell \}. $$

  Betrachten Sie die Zufallsvariablen $\{X_t\}$ als Markov-Kette mit Zustandsraum $Z\mathrel {\mathrel {\mathop :}=}\{0,1,\ldots ,n\}$. Bestimmen Sie die Übergangswahrscheinlichkeit

  $$ \mathbb {P}(\{X_{t+1}=k\}|\{X_t=\ell \}) $$

  und erstellen Sie die Übergangsmatrix.

• c) Bestimmen Sie die stationäre Verteilung $\boldsymbol{\pi }$.

• d) Berechnen Sie den Erwartungswert der Verteilung $\boldsymbol{\pi }$ im Fall $n=5$.

Aufgabe 16.3

(zufällige Irrfahrt) Vorgelegt sei folgender ungerichtete Graph:

Die Markov-Kette $\{X_t\}$ modelliere die zufällige Irrfahrt auf diesem Graphen. Dies bedeutet, falls wir zum Zeitpunkt $t\in \mathbb {N}$ in einem Knoten $x_i\in V$ sind, dann gehen wir gleichverteilt zu einem der Nachbarknoten.

• a) Bestimmen Sie die Übergangsmatrix ${{\boldsymbol{P}}}\in \mathbb {R}^{8\times 8}$.

• b) Zeigen Sie, dass die Verteilung

  $$ {\pi } = \frac{1}{d}\big [\deg (x_1),\deg (x_2),\ldots ,\deg (x_n)\big ]^\intercal $$

  stationär ist, wobei $d\mathrel {\mathrel {\mathop :}=}\sum _{i=1}^n \deg (x_1)$.