Proprietà dell'entropia

Tre proprietà racchiudono il comportamento dell’entropia: è sempre non negativa, ha un massimo ben preciso, e si somma per variabili indipendenti.

Proprietà — Proprietà fondamentali

• $H(X)\ge 0$, con $=0$ se e solo se $X$ è costante;
• $H(X)\le \log_2 n$, con $=$ se e solo se $X$ è uniforme (l’uniforme massimizza l’entropia, intuitivamente: la massima ignoranza);
• additività per indipendenza: $H(X,Y) = H(X) + H(Y)$ se $X,Y$ sono indipendenti.

La seconda proprietà è la versione rigorosa dell’osservazione sul dado: fra tutte le distribuzioni su $n$ esiti, quella uniforme è la più imprevedibile e la sua entropia $\log_2 n$ è il massimo possibile.

Collegamenti

Argomenti: Distribuzioni probabilita
Concetti: Entropia
Competenze: Dimostrare