Entropia di un dado

Con più di due esiti l’entropia cresce, ma dipende da quanto la distribuzione è “sbilanciata”: un dado equo è più imprevedibile di uno truccato.

Esempio — Dado a sei facce

$X$ uniforme su $\{1,\ldots,6\}$: $H = -6\cdot\frac{1}{6}\log_2\frac{1}{6} = \log_2 6 \approx 2{,}585 \text{ bit}.$ Servono in media circa $2{,}6$ domande sì / no ben scelte per indovinare l’esito.

Dado truccato con $P(6)=1/2$ e $P(1)=\cdots=P(5)=1/10$: $H = -\tfrac12\log_2\tfrac12 - 5\cdot\tfrac{1}{10}\log_2\tfrac{1}{10} = \tfrac12 + \tfrac12\log_2 10 \approx 2{,}16 \text{ bit}.$ Sapere che il $6$ è probabile riduce l’incertezza: meno bit per descrivere il risultato medio.

Il confronto illustra un principio generale: a parità di numero di esiti, la distribuzione uniforme è quella di entropia massima; ogni squilibrio nelle probabilità abbassa l’entropia.

Collegamenti

Argomenti: Distribuzioni probabilita
Concetti: Entropia
Competenze: Calcolare · Interpretare grafico