Entropia di una binomiale

Testo

Calcolare $H(X)$ per $X$ binomiale $B(3;\,1/2)$ (quattro valori $0,1,2,3$).

Soluzione

Le probabilità dei quattro valori sono $\binom{3}{k}/2^3$: $p_0 = \tfrac18,\quad p_1 = \tfrac38,\quad p_2 = \tfrac38,\quad p_3 = \tfrac18.$ Allora $H(X) = -2\cdot\tfrac18\log_2\tfrac18 - 2\cdot\tfrac38\log_2\tfrac38.$ Poiché $\log_2\tfrac18 = -3$ e $\log_2\tfrac38 = \log_2 3 - 3 \approx -1{,}415$: $H(X) = 2\cdot\tfrac18\cdot 3 + 2\cdot\tfrac38\cdot 1{,}415 = 0{,}75 + 1{,}061 \approx \boxed{1{,}811 \text{ bit}}.$ Meno dei $2$ bit di una distribuzione uniforme su $4$ valori: la binomiale concentra probabilità sui valori centrali, riducendo l’incertezza.

Collegamenti

Argomenti: Distribuzioni probabilita
Concetti: Distribuzione binomiale · Entropia
Competenze: Calcolare
Tipo di esercizio: Calcolo espressioni