Markow-Kette
Eine
Markow-Kette (nach
Andrej Andrejewitsch Markow) ist ein diskreter
Stochastischer Prozess der der folgenden Bedingung genügt:
-
d. h. dass die Wahrscheinlichkeit für den Zustand zum Zeitpunkt
t+1 nur von dem Zustand zum Zeitpunkt
t abhängt. Dies bezeichnet man als Gedächnisslosigkeit oder auch Markov-Eigenschaft. (Es gibt allerdings auch Markow-Ketten
n-ter Ordnung, bei denen
n vorausgegangene Zeitschritte berücksichtigt werden).
Die Übergangswahrscheinlichkeiten für m verschiedene Zustände
-
werden in einer Übergangsmatrix (auch Transitionsmatrix) zusammengefasst:
-
Bei einer Markow-Kette erster Ordnung kann der Vektor der Zustandswahrscheinlichkeiten nach
t Zeitschritten einfach durch Multiplikation des Anfangszustandsvektor mit der potenzierten Übergangsmatrix berechnet werden:
-
Man nennt eine Markow-Kette "stationär", wenn die Übergangszustände für alle
i und
j unabhängig von
t sind. Diese stationären Zustände werden teilweise erst
asymptotisch erreicht.
Siehe auch: Endlicher Automat, HMM
Weblinks