今天上課聽到老師講了一個讓我困惑許久的東西

聽完之後豁然開朗 所以想說分享一下

簡單的定義一下什麼是 Entropy

那這是他公式的定義:

老實說 就以上說明其實還是很難去想像 Entropy 到底是什麼東西.

所以藉由以下的一些想法來幫助我們了解 Entropy

首先先定義一個 surprise:

那什麼是 surprise 呢? 舉個例子來說明

今天如果氣象預報說有90%機率下雨,

結果出了門剛好遇到下雨, 那這時我們就不會太意外.

那如果今天氣象預報說1%機率下雨,

結果出了門剛好遇到下雨, 那這時我們就會非常意外.

所以把機率的倒數當做我們感到意外的數值是很合理的.

那取log使那個值更貼近我們真實的感覺.

所以我們可以把 Entropy 視為預期的意外值 如下圖:

整體的感覺有點像是在算期望值的那種感覺. 這樣應該比較好理解.

那中文則把Entropy翻譯成亂度, 那通常給他的解釋為

資料分布的越平均, 亂度越大. -> 代表資料越亂

資料分布的越不平均, 亂度越小. -> 代表資料不亂

以上觀點看起來挺矛盾的, 那就我個人的理解

以分類的角度來說明, 今天當你資料很平均的時候,

表示你的資料很難被分類, 所以Entropy 較高.

同理, 當你資料較不平均時, 代表你好分類, Entropy 較低.

補充:

The entropy is non-negative. It is zero when the random variable is “certain” to be predicted.

以上是我個人的觀點 希望對大家會有幫助!