Introduzione

Questo articolo è un’estensione dell’articolo Analisi Markoviana presentato qualche anno fa. Questo articolo, della serie Nuovo a… , vuole soffermarsi sulle analisi marcoviane discrete, meglio conosciute come catene di Markov.

Esempio di analisi markoviana discreta

Si consideri un soggetto che dopo le ore di lavoro si dedica alla cura del proprio corpo praticando le seguenti attività:

  • 10km di corsa
  • 2 km di nuoto
  • 30 km di pedalata
  • serata di riposo

Un esame accurato del suo comportamento mostra un certo andamento ripetitivo settimanale. Quando il soggetto pratica la corsa, il giorno successivo praticherà il riposo nel 50% dei casi. La probabilità che corra nuovamente 10km è estremamente bassa al punto da assegnarla al 1% e per i rimanenti 49% dei casi, sceglierà o di fare una pedalata (24.5%) o una nuotata (24.5%). Un discorso analogo ma con percentuali diverse interessa le altre attività.

Poiché il soggetto o agonista non ha una routine ben precisa ma inizia sempre la settimana con la corsa, a questo stato è stato assegnato una probabilità del 100%. Le rimanenti attività sono un qualcosa di indefinito perchè dipendono dalla condizione fisica e psicologica del soggetto. Tuttavia, avendo già assegnato il massimo della probabilità alla corsa, le rimanenti sono allo 0%.

Se la situazione avesse contemplato una completa randomicità delle attività settimanali, si sarebbe assegnato la stessa probabilità del 25% ad ogni attività.

Dal momento che stiamo considerando la transizione da un esercizio fisico al prossimo, la sequenza di attività è in linea con l’ipotesi markoviana secondo la quale la probabilità di transizione da uno stato all’altro dipende solamente dallo stato in cui il soggetto si trova, NON da come vi è arrivato. Una catena di Markov ha la memoria corta: ricorda solo in che stato il soggetto si trova e dove vuole procedere. Tradotto in pratica, il percorso preso per raggiungere uno stato particolare non impatta sulla probabilità di spostarsi ad un altro stato. L’unica cosa che può influenzare la probabilità di spostarsi da uno stato all’altro è solamente lo stato in cui si trova.

A questo punto possono sorgere le seguenti domande:

  • Se il soggetto inizia con la corsa, quanto è probabile che la seconda attività sia il nuoto?
  • Oppure, quanto è probabile che svolta prima la corsa, segua poi il nuoto e per terza la bicicletta?

Per rispondere a queste domande si necessita dei dati, ed in particolare, la matrice di probabilità di transizione che presenta le probabilità condizionata associata ai diversi stati e alle loro transizioni.

Matrice della probabilità di transizione

La matrice di transizione deriva direttamente dal diagramma e rappresenta i legami e le probabilità nei passaggi da uno stato al successivo. Essa mostra chiaramente come la probabilità di passare dalla corsa alla corsa il giorno successivo sia di 0.01 o 1%. Oppure come dal riposo al riposo la probabilità sia solamente del 5%. Il totale di ogni riga rappresenta il 100% di probabilità.

  • Se la prima attività è la corsa (P assegnata del 100%), quanto è probabile che la seconda attività sia il nuoto?

L’analisi markoviana può essere impostata con le matrici e risolto con un programma matematico. In questo esempio si è utilizzato il programma BlockSim mostrando gli State Point Results dove si può estrarre la probabilità allo step richiesto partendo dall’attività desiderata. La probabilità desiderata è impostata direttamente sul diagramma. IP:100%. Di conseguenza gli altri hanno probabilità associata dello 0%. Nell’esempio in questione, la probabilità che la seconda attività sia il nuoto è del 26.22%

Tale risultato è la somma di 4 probabilità condizionate. Più precisamente,

[P(corsa|corsa)*P(nuoto|corsa)] + [P(nuoto|corsa)*P(nuoto|nuoto)] + [P(riposo|corsa)*P(nuoto|riposo)] + [P(bici|corsa)*P(nuoto|bici)] =

P = [(0.01×0.245) + (0.245×0.05) + (0.5×0.25) + (0.245×0.5)] = 0.2622

Analogamente, la probabilità che il terzo stato sia la bici partendo sempre dalla corsa è del 27.6%

o più semplicemente

La matrice di transizione offre la risposta a tutte le sequenze di interesse. Per esempio, se l’agonista iniziasse con la corsa, con quale probabilità completerebbe la sequenza

Corsa=>Bici=>Nuoto=>Bici=>Riposto?

0.245×0.5×0.3×0.2=0.00735 o 0.735%

Una delle caratteristiche delle catene di Markov e di raggiungere uno stato stazionario dopo un certo numero di iterazioni. In altre parole, dopo un certo numero di iterazioni la probabilità di finire in uno stato è lo stesso indipendentemente da dove si ha iniziato. Questo lo si può vedere aumentando il numero di stati dove si vede che la probabilità di finire un determinato stato rimane pressoché costante.

Una domanda diversa potrebbe essere la probabilità di essere in ognuna delle quattro attività al quarto passaggio. In altre parole, se non inizio con una sequenza iniziale definita, quale sarà l’attività più probabile al 4 passaggio?

Per impostare questo problema si cambia la configurazione iniziale assegnando un 25% di probabilità ad ognuna delle attività. Si assegna cioè una distribuzione uniforme discreta così da avere la stessa probabilità di trovarsi in una delle attività come stato iniziale.

BlockSim QCP (Quick Calculation Pad) mostra che l’evento più probabile al 4 passaggio è la bicicletta con 29.15% seguito dal riposo al 28.35%. L’evento meno probabile è la corsa al 15.73%.

Conclusione

In questo esempio si è voluto presentare l’interfaccia di Markov Discrete presente nel programma BlockSim per l’analisi di sistemi o processi stocastici che codificano dipendenze e raggiungono nel tempo una condizione stazionaria.

L’esempio mostrato non è necessariamente di natura ingegneristica ma mette in luce la tipologia di problemi che possono essere modellati attraverso le catene di Markov. E’ importante sottolineare che come il comportamento del sistema/processo ad ogni stato sia privo di memoria.

In esempi successivi verrà mostrato il processo markoviano continuo dove prima che la transizione da uno stato al successivo abbia luogo, il tempo trascorso in ogni stato segue una distribuzione esponenziale. Questa importante ipotesi di sistema/processo che in ogni stato è privo di memoria, regge se, sia i guasti che le riparazioni sono modellati con funzioni esponenziali.

Per questa ragione, la metodologia Markov non può essere utilizzata per modellare comportamenti del sistema che esibiscono usura/degradazione.