你有沒有想過，強化學習不是只算分數，也能直接改行動策略？
你可以把 策略梯度 想成 先把目標拆步驟，再決定怎麼走。
複雜任務不會一次做完，直接調策略，讓長期獎勵變大 這件事就特別重要。
你可以把它想成一個把抽象概念拉回日常判斷的提示，先知道它解決什麼問題，再看技術細節。
容易混淆
策略梯度 vs Q-learning
Q-learning 像學習每個「狀態-行動」組合的價值，是間接學習；策略梯度像直接學習一套「行動準則」，告訴你在什麼情況下該做什麼，更直觀。
最關鍵的區別：一個安排做什麼，一個決定怎麼安排。
策略梯度 vs 排程
planning 是決定做哪些步驟，排程是決定每一步何時做
最關鍵的區別：一個管順序，一個管時間點。
記住這句就好
直接調策略，讓長期獎勵變大
實際案例
案例 1：遊戲 agent 根據獎勵調整出招方向
這種情況下，策略梯度 會幫你把原本手工或靠直覺的步驟變得更穩。
案例 2：機器手臂根據回饋修正控制策略
另一個常見場景也能看出 策略梯度 的價值，因為它處理的是同一種核心問題。
算法與應用
核心意思就是：直接調策略，讓長期獎勵變大。
在 AI 代理、機器人和強化學習裡都很重要
好的 planning 要考慮成本、限制和失敗後怎麼回復
情境判斷
Q1（直覺題）： 遊戲 agent 根據獎勵調整出招方向 這種情況，會先想到 策略梯度 嗎？
→ 會，因為它正好在處理這件事的核心問題，只是還要看資料乾不乾淨、流程穩不穩。
Q2（判斷題）： 步驟都固定時，還需要 planning 嗎？
→ 看情況，若流程很固定，簡單腳本就夠；若有變數，planning 才有價值
常見問題
什麼是策略梯度？它如何用於更新策略？
策略梯度是指示策略參數應該如何調整才能最大化預期累積獎勵的梯度。 策略梯度算法通過計算策略梯度，然後使用梯度上升或其他優化算法來更新策略參數，從而改進策略。
Actor-Critic方法與傳統策略梯度方法有什麼不同？
Actor-Critic方法結合了策略梯度和價值函數方法。 它使用一個actor來學習策略，並使用一個critic來評估策略的價值。 Critic提供的價值評估可以幫助Actor更有效地學習策略，並減少方差。
PPO和TRPO之間的主要區別是什麼？
PPO和TRPO都是策略梯度算法，它們都使用一種技術來限制策略更新的幅度，以提高訓練的穩定性。 TRPO使用一種稱為“信任區域”的技術，而PPO使用一種稱為“裁剪”的技術。 PPO通常比TRPO更容易實現，並且在許多情況下表現更好。