Elementi di teoria della probabilità

Prima di iniziare a discutere dei modelli di Markov nascosti o Hidden Markov Models (HMM), richiameremo alcuni utili concetti relativi alla calcolo delle probabilità.

Se definiamo con $P(A)$ la probabilità che avvenga l'evento $A$ e con $U$ (universo) l'insieme di tutti i possibili eventi, si ha che la probabilità dell'evento $A$ (scritta $P(A)$) la possiamo definire come la misura dell'insieme $A$ diviso la misura dell'insieme universo $U$. Detto in altro modo la probabilità la definiamo come il numero di possibilità in cui l'evento $A$ sia verificato diviso per il numero complessivo di tutte le possibilità che consideriamo (il nostro insieme universo $U$). Nel caso di variabili continue consideremo l'integrazione sull'intervallo della funzione di densità di probabilità. Utilizzando la notazione insiemistica (Figura ) e considerando l'insieme complemento di $A$ come $\bar{A}=U-A$ possiamo verificare le seguenti equazioni

$$\begin{eqnarray*} \begin{array}{c} P(A)\cup P(\bar{A}) = P(U) \\ P(A \cup B) = P(A) + P(B) \\ P(A \cap B) = P(A,B) \end{array}\end{eqnarray*}$$

Abbiamo inoltre il caso in cui sia verificato l'evento $B$ e si volgia sapere quale sia adesso la probabilità di $A$ dato $B$ (che scriviamo come $P(A\vert B)$). In questo caso si ha che la $P(A\vert B)$ diviene equivalente a considerare il nuovo insieme di eventi possibili o nuovo universo $U'$ l'insieme $B$ stesso. In quanto tutti gli eventi che appartengono al complemento di $B$ non sono più di nostro interess, ossia ciò che $\in \bar{B}$ non potrà più accadere. Possiamo visualizzare la nostra affermazione osservando la Figura . In pratica siccome $P(A\vert B)=dimensione(A\cup B)/dimensione(B)$, avremo che

• se $A\cap B = A$ allora $P(A\vert B)=1$ (interamente contenuto in $B$)
• se $A\cap B = \emptyset$ allora $P(A\vert B)=0$ (disgiunto da $B$)
• se $A\cap B = C \neq A$ allora $P(A\vert B)=P(I)/P(B)=P(A,B)/P(B)$

Da questa ultima equazione possiamo derivarne un'altra nota come teorema di Bayes, ossia

$$\begin{eqnarray*} P(I)=P(A,B)=P(A\vert B)P(B) \\ P(I)=P(B,A)=P(B\vert A)P(A) \end{eqnarray*}$$

da cui

$$\begin{eqnarray*} P(A\vert B)=\frac{P(B\vert A)P(A)}{P(B)} \end{eqnarray*}$$

Di particolare interesse è il caso di eventi indipendenti. Quando abbiamo a che fare con eventi indipendenti, o assumiamo che siano tali per semplificarci la vita, otteniamo anche una semplificazione della probabilità congiunta di tale serie di eventi. In particolare se $A$ non dipende da $B$ allora abbiamo che $P(A\vert B)=P(A)$. Nel caso generale, se consideriamo la probabilità del verificarsi degli $n$ eventi congiunti $x_1,x_2,...x_n$ abbiamo

$$\begin{eqnarray*} P(x_1,x_2,..,x_n) = P(x_n\vert x_{n-1},...x_1)P(x_{n-1}\vert x_{n-2},..x_1)\cdot ... P(x_2\vert x_1)P(x_1) \end{eqnarray*}$$

Se però assumiamo (correttamente o meno) che gli eventi siano tra loro indipenedenti abbiamo la notevole semplificazione

$$P(x_1,x_2,..,x_n) = \prod_{i=1}^{n} P(x_i)$$ (11.1)

Possiamo poi immaginare di frammentare l'insieme $U$ in sottoinsiemi tali per cui la loro unione genera esattamente l'insieme $U$ stesso. In questo modo possiamo generare più partizioni diverse la cui unione dia origine sempre all'insieme $U$. Per esempio se l'insieme $U$ è dato dai sei possibili valori (1,2,3,4,5,6) posti sulle facce di un dado, allora due possibili partizioni sono: $U$={dispari}$\cup${pari} e $U$={1,3}$\cup${2,4}$\cup${5,6}. Data una partizione la cui unione generi l'insieme $U$ ( $U=\cup_{k}X_{k}$), possiamo scrivere la probabilità di $A$ come somma delle probabilità che si verifichi l'evento $A$ in concomitanza con ciascuno degli eventi la cui unione genera l'insieme $U$. Esprimendo il tutto in maniera più formale abbiamo

$$\begin{eqnarray*} \begin{array}{c} U=\cup_{k}X_{k} \Rightarrow \\ P(U)=\sum_{k}P(X_{k}) \end{array}\end{eqnarray*}$$

da cui siccome si ha che $A = A\cap U$ si ha che

$$\begin{eqnarray*} P(A) = P(A,U) = \sum_{k}P(A,X_{k})= \sum_{k}P(A\vert X_{k})P(X_{k}) \end{eqnarray*}$$

Questo ultimo passaggio ci porta alla nota formula di Bayes

$$\begin{eqnarray*} P(B\vert A)=\frac{P(A\vert B)P(B)}{P(A)}=\frac{P(A\vert B)P(B)}{\sum_{k}P(A\vert X_{k})P(X_{k})} \end{eqnarray*}$$

Figura: Esempio di diagramma

Figura: Quando un evento è certo l'universo si contrae all'insieme di probabilità definito dall'evento.