Markow-Prozess

Ein Markow-Prozess beschreibt eine Klasse stochastischer Prozesse. Sie sind nach Andrei Andrejewitsch Markow benannt. Für Markow-Prozesse ist die Wahrscheinlichkeit, einen Zustand anzunehmen einzig von dem Zustand abhängig, in dem sie sich davor befanden, aber nicht von der gesamten Vergangenheit des Prozesses. Markow-Prozesse haben somit ein „kurzes Gedächtnis“.

Im Fall einer endlichen Zustandsmenge basiert die mathematische Formulierung auf den Konzepten der diskreten Verteilung und der bedingten Wahrscheinlichkeit. Bei Prozessen mit kontinuierlicher Zeit sind weiterführende mathematische Konzepte wie Filtrierung und bedingte Erwartung erforderlich.

Definition

Gegeben sei ein stochastischer Prozess <math> X=(X_t)_{t \in T} </math>, wofür die Indexmenge <math> T </math> gilt, dass <math> T \subset [0,\infty) </math> sowie <math> 0 \in T </math> und sie abgeschlossen bezüglich Addition ist. Jedes <math> X_t </math> nehme Werte im Zustandsraum <math> (E, \mathcal B(E)) </math> an, demnach nimmt <math> X </math> Werte in <math> (E^{\times T}, \mathcal B (E)^{ \otimes T}) </math> an. Dabei ist <math> \mathcal B (E) </math> die Borelsche σ-Algebra.

Der Prozess heißt dann ein Markow-Prozess mit Verteilungen <math> (P_x)_{x \in E} </math> auf <math> (\Omega, \mathcal A) </math>, wenn gilt:

Für alle <math> x \in E </math> ist <math> X </math> ein stochastischer Prozess auf <math> (\Omega, \mathcal A, P_x) </math> mit <math> P_x(X_0=x)=1 </math>
Es existiert ein Markow-Kern <math> \kappa </math> von <math> (E, \mathcal B(E)) </math> nach <math> (E^{ \times T}, \mathcal B (E)^{\otimes T}) </math> mit <math> \kappa(x, B)= P_x(X \in B) </math> für alle <math> B \in \mathcal B (E)^{ \otimes T} </math>.
Es gilt die schwache Markow-Eigenschaft.

Stetige Zeit und diskreter Zustandsraum

Analog lässt sich die Markow-Kette auch für kontinuierliche Zeit und diskreten Zustandsraum bilden. Das heißt, dass sich zu bestimmten Zeitpunkten der Zustand sprunghaft ändert.

Sei <math>(X(t))_{t \ge 0}</math> ein stochastischer Prozess mit kontinuierlicher Zeit und diskretem Zustandsraum. Dann gilt bei einem homogenen Markow-Prozess

<math>\forall n \in\N,\ 0 < t_1 < \dotsb < t_n,\ t > 0,\ i_1, \ldots, i_n, j \in S:</math>

<math>\begin{align}

P(X(t_n + t) = j \mid X(t_n) = i_n, \ldots, X(t_1) = i_1)
&= P(X(t_n + t) = j \mid X(t_n) = i_n)\\
&= P(X(t) = j \mid X(0) = i_n)\\
&=: p_{i_n,j}(t)

\end{align}</math>

Auch hier lassen sich Übergangsmatrizen bilden: <math>P(t) := [ p_{i,j} (t) ]</math> für alle <math>t > 0</math> und <math>P(0) := I</math> (Hierbei steht <math>I</math> wie üblich für die Einheitsmatrix).

Es gilt die Chapman-Kolmogorow-Gleichung und <math>(P(t))_{t\geq0}</math> ist entsprechend eine Halbgruppe, die unter gewissen Voraussetzungen einen infinitesimalen Erzeuger, nämlich die Q-Matrix hat.

Anmerkungen

Inhomogene Markow-Prozesse lassen sich mithilfe der elementaren Markow-Eigenschaft definieren, homogene Markow-Prozesse mittels der schwachen Markow-Eigenschaft für Prozesse mit stetiger Zeit und mit Werten in beliebigen Räumen definieren. Meist beschränkt man sich hierbei aber aus Gründen der Handhabbarkeit auf polnische Räume. Eine Verschärfung der schwachen Markow-Eigenschaft ist die starke Markow-Eigenschaft.

Beispiel

Ein klassisches Beispiel für einen Markow-Prozess in stetiger Zeit und stetigem Zustandsraum ist der Wiener-Prozess, die mathematische Modellierung der brownschen Bewegung.

Beispiel für einen Markow-Prozess in stetiger Zeit und diskretem Zustandsraum ist der homogene Poisson-Prozess, der die Q-Matrix <math> p_{ij}=\lambda \mathbf{1}_{\{j=i+1\}} - \lambda \mathbf{1}_{\{j=i\}} </math> besitzt, oder allgemeiner jeder Geburts- und Todesprozess.

Anwendungen

In der Finanzmathematik werden auf dem Wiener-Prozess basierende Markow-Prozesse zur Modellierung von Aktienkurs- und Zinsentwicklungen verwandt.

Literatur

{{#invoke:Vorlage:Literatur|f}}
{{#invoke:Vorlage:Literatur|f}}
{{#invoke:Vorlage:Literatur|f}}