---
title: "資訊理論（Information Theory）"
slug: information-theory
language: zh-TW
source: https://aiterms.tw/terms/information-theory
updated_at: 2026-04-29
tags: [AI基礎, 數學基礎, 統計方法, 機器學習, 資料處理, 資訊安全]
ipas_term: false
---

# 資訊理論（Information Theory）

> **你有沒有想過，一段資料到底「值多少資訊」，可以不可以被更省地傳出去？**
>
> 你可以把它想成在量化訊息的濃度，越難猜、越不確定的資料，資訊量就越高。
>
> 資訊理論研究資訊的量化、儲存與傳輸，核心概念包含熵、互資訊、通道容量等，為資料壓縮、通訊編碼等領域奠定基礎。

### 容易混淆
> **機率論**
> 機率論在算事件會不會發生，資訊理論在算知道這件事要花多少資訊成本。
>
> **語意分析**
> 語意分析看內容意思，資訊理論只管資訊量和傳輸效率，不管內容是不是有道理。

### 記住這句就好
> 不管內容，只算資訊量和傳輸成本。

### 實際案例
> **檔案壓縮**
> 重複字元多的文字檔可以壓得很小，因為低熵資料本來就比較容易用少量位元表示。
>
> **通訊編碼**
> 手機訊號在雜訊很大的環境下仍要傳得準，通道容量和編碼方式就是資訊理論的核心工具。

### 算法與應用
> 熵、互資訊、通道容量是三個核心詞。熵量化不確定性，互資訊看兩個變數共享多少資訊，通道容量則是通訊系統能穩定傳多少資訊。很多機器學習損失函數，其實都能在這套框架裡找到位置。

### 情境判斷
> **Q1（直覺題）：** 如果你現在遇到一個 檔案壓縮 的場景，這個概念會是第一個想到的工具嗎？
> → 看情況，但如果任務目標和這個概念的用途一致，就很可能是。核心還是先確認你要解決的是分類、分群、壓縮、檢索，還是最佳化。
>
> **Q2（判斷題）：** 如果你把它和 語意分析 一起用，結果反而變不穩，通常該怎麼想？
> → 看情況。先檢查資料分布、特徵定義和模型假設是否相容，很多時候不是概念本身有問題，而是使用條件不對，像距離尺度沒對齊、標註規則不一致，或輸入格式不合。

### 常見問題
> **Q：資訊理論 最容易跟 機率論 混淆嗎？**
> 機率論在算事件會不會發生，資訊理論在算知道這件事要花多少資訊成本。
>
> **Q：什麼情況會用到 資訊理論？**
> 你可以把它想成在量化訊息的濃度，越難猜、越不確定的資料，資訊量就越高。 實務上只要你要處理和這個概念相符的任務，就會用到它。
>
> **Q：初學者最常錯在哪裡？**
> 語意分析看內容意思，資訊理論只管資訊量和傳輸效率，不管內容是不是有道理。

### 相關術語
> - **熵**：讀完這個後，接著看它，可以把 資訊理論 放回更完整的系統脈絡裡。
> - **KL散度**：讀完這個後，接著看它，可以把 資訊理論 放回更完整的系統脈絡裡。
> - **交叉熵損失**：讀完這個後，接著看它，可以把 資訊理論 放回更完整的系統脈絡裡。
> - **機率分佈**：讀完這個後，接著看它，可以把 資訊理論 放回更完整的系統脈絡裡。

---

來源：https://aiterms.tw/terms/information-theory
快查頁：https://aiterms.tw/terms/information-theory
最後更新：2026/04/29
深度解說：https://aiterms.tw/learning/what-is-information-theory