資訊理論 是什麼？

Information Theory — 資訊理論 的完整解釋

資訊理論研究資訊的量化、儲存與傳輸，核心概念包含熵、互資訊、通道容量等，為資料壓縮、通訊編碼等領域奠定基礎。

容易混淆

機率論 機率論在算事件會不會發生，資訊理論在算知道這件事要花多少資訊成本。

語意分析 語意分析看內容意思，資訊理論只管資訊量和傳輸效率，不管內容是不是有道理。

記住這句就好

不管內容，只算資訊量和傳輸成本。

實際案例

檔案壓縮 重複字元多的文字檔可以壓得很小，因為低熵資料本來就比較容易用少量位元表示。

通訊編碼 手機訊號在雜訊很大的環境下仍要傳得準，通道容量和編碼方式就是資訊理論的核心工具。

算法與應用

熵、互資訊、通道容量是三個核心詞。熵量化不確定性，互資訊看兩個變數共享多少資訊，通道容量則是通訊系統能穩定傳多少資訊。很多機器學習損失函數，其實都能在這套框架裡找到位置。

情境判斷

Q1（直覺題）： 如果你現在遇到一個 檔案壓縮 的場景，這個概念會是第一個想到的工具嗎？ → 看情況，但如果任務目標和這個概念的用途一致，就很可能是。核心還是先確認你要解決的是分類、分群、壓縮、檢索，還是最佳化。

Q2（判斷題）： 如果你把它和 語意分析 一起用，結果反而變不穩，通常該怎麼想？ → 看情況。先檢查資料分布、特徵定義和模型假設是否相容，很多時候不是概念本身有問題，而是使用條件不對，像距離尺度沒對齊、標註規則不一致，或輸入格式不合。

常見問題

資訊理論 最容易跟 機率論 混淆嗎？

機率論在算事件會不會發生，資訊理論在算知道這件事要花多少資訊成本。

什麼情況會用到 資訊理論？

你可以把它想成在量化訊息的濃度，越難猜、越不確定的資料，資訊量就越高。 實務上只要你要處理和這個概念相符的任務，就會用到它。

初學者最常錯在哪裡？

語意分析看內容意思，資訊理論只管資訊量和傳輸效率，不管內容是不是有道理。