Markov-Ketten: ein kurzer Überblick

1 Einführung in Kettenprozesse

„ Warum ist es interessant sich mit Markov-Ketten zu beschäftigen?“

Markov-Ketten dienen der Analyse oder/und Prognose der künftigen Entwicklungen z.B. auf den (Produkt)märkten. So können z.B. mit Hilfe von Modellen die Auswirkungen verschiedener Marketingmaßnahmen auf die Produktwahl der Konsumenten untersucht werden, um eine optimale Marketingstrategie zu entwickeln. Mittels der Markov-Ketten können Absatzprognosen, Anhaltspunkte zu der Dringlichkeit absatzpolitischer Maßnahmen, Angaben zur Beeinflussung der Markentreue von Konsumenten gemacht werden oder aber auch Warteschlangenzeiten beschrieben werden.

Es gibt zusammengesetzte Zufallsexperimente, deren Einzelversuche nicht voneinander abhängen. Andrej A. Markov (1856–1922), ein russischer Mathematiker, hat sich mit einem seiner Schüler als erster mit diesen stochastischen Kettenprozessen befasst. Die Markov-Prozesse gehören zu den Haupttypen stochastischer Prozesse.

Zur Begrifflichkeit: Ein stochastischer „ Prozess“ ist eine Folge von Zufallsvariablen.

Stochastische Prozesse beschreiben die zeitliche Entwicklung eines zufallsabhägigen Systems. Die Bezeichnung „ Kette “ wird verwendet, wenn die Zeit diskret ist (Wertebereich abzählbar).

2 Kurze Wiederholung: Unabhängige Ereignisse

Man spricht von der Unabhängigkeit zweier Ereignisse, wenn sich die Ereignisse gegenseitig nicht beeinflussen.

Abbildung in dieser Leseprobe nicht enthalten heißt bedingte Wahrscheinlichkeit von A unter der Bedingung B, analog Abbildung in dieser Leseprobe nicht enthalten Abbildung in dieser Leseprobe nicht enthalten (wg. Multiplikationssatz allgemein mit bedingten Wahrscheinlichkeiten)

Zwei Ereignisse heißen unabhängig, wenn gilt: Abbildung in dieser Leseprobe nicht enthalten „Multiplikationssatz bei Unabhängigkeit“

3 Definition und Merkmale von Markov-Ketten (diskrete Zeit)

Grundsätzlich muss immer klar angegeben werden, wie Zeit (diskret oder stetig) und der Zustandsraum (was für Werte kann Xn annehmen) (diskret oder stetig) ist.

Definition nach Stierhof 1994:

„Eine Markov Kette liegt vor, wenn bei einer Folge von Einzelversuchen die Wahrscheinlichkeit für das Eintreten eines Ereignisses (Zustandes) X_n im (n+1)-ten Versuch vom bekannten gegenwärtigen Zustand im vorhergehenden n-ten Versuch abhängt.“

Die Markov-Eigenschaft kann einfach umschrieben werden.

Betrachten wir eine Folge von Zufallsgrößen X1, X2, ..., Xn . Wir wollen nun Aussagen machen über die Verteilung von Xn+1 . Ein solcher Prozess hat die Markov-Eigenschaft, wenn für diese Verteilung die Kenntnis von X1, X2, ..., Xn gleichbedeutend ist mit der Kenntnis von Xn . die weiter zurückliegenden Werde X1, X2, ..., Xn-1 spielen also keine Rolle für Xn+1, wenn wir Xn kennen.

Wenn die Übergangswahrscheinlichkeit pij unabhängig ist von der Nummer n des Versuches, die Wahrscheinlichkeit also in jedem Zeitpunkt gleich ist, so heißt der Markovsche Kettenprozess homogen.

Wenn die Anzahl der möglichen Zustände des Kettenprozesses endlich ist, so heißt der Kettenprozess endlich.

Der Markov-Ketten sind also Modelle für Systeme, die sich ausgehend von einem bekannten gegenwärtigen Zustand im Zeitverlauf zufällig entwickeln - unabhängig von der Vergangenheit. Die zeitliche Homogenität will ausdrücken, dass das System zeitlich gleichbleibenden Einflüssen (Umweltbedingungen) unterliegt.

Für alle Abbildung in dieser Leseprobe nicht enthaltenund für alle io, ..., in+1 Abbildung in dieser Leseprobe nicht enthalten(Zustandsraum) mit

P(X0=i0,...,Xn=in)>0

ist

Abbildung in dieser Leseprobe nicht enthalten

Bsp. Ein Kunde hat die Möglichkeit in drei verschiedenen Geschäften ( i=3, Zustände des Systems) ein Handy zu kaufen: bei MediaMarkt (M), im T-Punkt (T), und in einem Internet-Shop (I). Die Zufallsvariable Xn gebe das Geschäft an, in dem sich der Kunde zum Zeitpunkt n nach einem attraktiven Angebot erkundigt:

- { Xn = i } ist das Ereignis, dass der Kunde zum Zeitpunkt n im Laden i einkauft,
- P(Xn+1= j I Xn =i ) bezeichnet die bedingte Wahrscheinlichkeit, dass der Kunde zum Zeitpunkt n+1 im Geschäft j einkauft, falls er zum Zeitpunkt n bei i eingekauft hat.
- Bei jAbbildung in dieser Leseprobe nicht enthalten1 würde ein Wechsel stattgefunden haben,
- bei j = i bliebe der Kunde seinem bisherigen Geschäft treu.
- Die Ereignisse sind zeitunabhängig, also für alle Zeitpunkte n gleich

4 Übergangsmatrizen und Wahrscheinlichkeitsvektoren

Sie geben bei einem Versuch die Übergangswahrscheinlichkeiten an von jedem beliebigen Zustand in jeden anderen an z.B. beim Wechsel eines Konsumenten von einer Marke zur anderen.

pij :=P (Xn+1= j I Xn =i ) heißt Übergangswahrscheinlichkeit. Sie hängt nur von den Zuständen i und j ab. Der Kunde wählt sein Geschäft also nicht aufgrund von bisherigen Erfahrungen, die er bisher mit den einzelnen Geschäften gemacht hat.

Gesucht ist nun die das Geschäft j interessierende Wahrscheinlichkeit P (Xn+1= j ), mit welcher der Kunde im nächsten Zeitabschnitt (z.B. nach Vertragsablauf) n+1 einkaufen wird.

4.1 Darstellungsmöglichkeiten von Übergangswahrscheinlichkeiten

4.1.1 Darstellung als Transitionsgraph:

Abbildung in dieser Leseprobe nicht enthalten

4.1.2 Einfache Darstellung im Baumdiagramm:

Abbildung in dieser Leseprobe nicht enthalten

Beispiel fortgesetzt für zwei Versuche:

Hier lässt sich z.B. feststellen, mit welcher Wahrscheinlichkeit ein Media Markt-Kunde bei zwei Versuchen wieder bei Media Markt einkauft. Drei Wege lassen sich durch die Baumdiagramm-Darstellung ablesen. Die Wahrscheinlichkeit berechnet sich wie folgt:

Abbildung in dieser Leseprobe nicht enthalten

SSie beträgt also 40%.

Bei größer werdender Anzahl der Zustände oder Übergänge in einem Kettenprozess werden diese Darstellungsweisen schnell unübersichtlich.

4.2 Anwendung der Übergangswahrscheinlichkeiten in Matrizenform

Zur Darstellung / Ermittlung komplexer Zustände dienen Übergangs- / Wanderungsmatrizen.

- Übergangsmatrix M

Abbildung in dieser Leseprobe nicht enthalten

- Hauptdiagonale: Markentreue, alle anderen Elemente: Markenwechsel

Die Zeilensummen in der Matrix müssen jeweils 1 ergeben, weil bei jedem Übergang einer der angegebenen Zustände eintreten muss (weil z.B. ein Kunde, der 2001 bei Media Markt einkaufte, auf jeden Fall im Jahr 2002 bei irgendeinem der genannten Geschäfte einkauft.)

Matrizen mit dieser Eigenschaft nennt man stochastische Matrizen.

Allgemein gilt für homogene Kettenprozesse die „ Gleichung von Chapman-Kolmogorow“: Man erhält die Übergangsmatrix Mn für einen n-stufigen Übergang, indem man die Übergangsmatrix M n-mal mit sich selbst multipliziert.

Mn = M Abbildung in dieser Leseprobe nicht enthalten M Abbildung in dieser Leseprobe nicht enthalten M Abbildung in dieser Leseprobe nicht enthalten M Abbildung in dieser Leseprobe nicht enthalten . M (n Faktoren)

So können Zustände bestimmt werden, die weiter als nur eine Periode in der Zukunft liegen.

Bisher haben wir angenommen, dass der Kettenprozess bereits läuft, d.h. ein Zustand ist bereits eingetreten und wird als Anfangszustand angegeben. In der Praxis liegen oft keine genauen Angaben zu Beginn einer Versuchsfolge vor. In diesem Fall werden Wahrscheinlichkeiten dafür angegeben, dass einer der möglichen Zustände als Anfangszustand vorliegt.

Bsp.: Die Wahrscheinlichkeiten seien für die Wahl des

- Media Marktes P(M)=0,3
- T-Punkt P(T)=0,5
- Internet-Shop P(I)=0,2

Die Werte lassen sich vereinfacht als Zeilenvektor p0 darstellen:

p0 =Abbildung in dieser Leseprobe nicht enthalten

Die Markenwahl der Periode n=1 wird ermittelt, indem der als Zeilenvektor vorliegende Ausgangszustand (Anlaufvektor) in n=0 mit der Übergangsmatrix multipliziert wird. Es ergibt sich:

Abbildung in dieser Leseprobe nicht enthalten

Wird im Kettenprozess ein weiterer Versuch (Periode 2) durchgeführt, kann man den Wahrscheinlichkeitsvektor nach 2 Versuchen wie folgt berechnen:

p2= p1 Abbildung in dieser Leseprobe nicht enthalten M = po Abbildung in dieser Leseprobe nicht enthalten M Abbildung in dieser Leseprobe nicht enthalten M= po Abbildung in dieser Leseprobe nicht enthalten M²

Langfristig ist anzunehmen, daß sich ein Gleichgewichtszustand herausbilden wird. Die Wahrscheinlichkeitsverteilung der möglichen Zustände des Kettenprozesses wird sich nicht mehr ändern. Diesen Zustand nennt man stationäre Gleichgewichtsverteilung:

Abbildung in dieser Leseprobe nicht enthaltenAbbildung in dieser Leseprobe nicht enthalten M = pAbbildung in dieser Leseprobe nicht enthalten

Der Wahrscheinlichkeitsvektor pAbbildung in dieser Leseprobe nicht enthalten heißt Fixvektor.

Da dieser erste Teil vor allem mathematisch geprägt war und auch größtenteils bei allen bekannt, möchte ich im nun folgenden Abschnitt eine weitere Anwendungsmöglichkeit der Markov-Ketten visualisieren. Hierbei will ich dann auch der Statistik gerecht werden.

[...]