資訊熵是什麼意思

資訊熵（Information entropy）是資訊理論中一個重要的概念，由克勞德·香農（Claude Shannon）在1948年提出，用來度量不確定性的數學函數。在資訊理論中，資訊熵被用來描述一個信源的不確定性，或者說是描述一個系統中包含的資訊量。

簡單來說，資訊熵可以用來衡量一個事件發生前的不確定性，或者說是預測一個事件發生的難度。一個事件的不確定性越大，它的資訊熵就越大。例如，擲一枚公正的硬幣來決定輸贏，因為有兩種可能結果（正面或反面），所以不確定性較高，資訊熵也較高。而擲一枚已經知道是反面的硬幣來決定輸贏，因為只有一種可能結果（反面），所以不確定性較低，資訊熵也較低。

在計算機科學和數學中，資訊熵通常用比特（bit）來度量，一個比特可以代表兩個等機率的狀態（例如0和1），兩個比特可以代表四個等機率的狀態（例如00, 01, 10, 11），以此類推。資訊熵的數值取決於事件的可能結果及其相應的機率。

資訊熵的公式如下：

H(X) = - ∑ p(x) log2 p(x)

其中，H(X) 是資訊熵，p(x) 是事件X發生機率，x 是所有可能結果中的一個。這個公式表明，一個事件的資訊熵是其所有可能結果的對數機率的負值之和。當機率越不平均時，資訊熵的值就越低；當機率越平均時，資訊熵的值就越高。