你訓練大模型時，單機跑不動怎麼辦？ 你可以把 分散式訓練 想成把訓練拆給多台機器一起做的工作方式。 它其實就是讓資料或模型分攤到不同節點，換取更快的訓練速度和更大的容量。 分散式訓練利用多個計算節點，將模型訓練任務分割並行處理，加速大型模型訓練，提升效率。當單機記憶體不夠或訓練時間太長時，這通常就是正解。
容易混淆
vs 單機訓練 單機訓練像一個人獨自完成所有工作，速度慢且有極限；分散式訓練則像一個團隊，每個人負責一部分，雖然需要協調，但整體效率和處理能力遠超單機，尤其適合處理大型任務。
資料並行 vs 模型平行化 資料並行 比較像同一類問題裡的近鄰參考，模型平行化 則更像把資料或結構往更深一層整理，兩者的用法不一樣。
最關鍵的區別： 先看它是在做「理解、生成、分組、保護」哪一件事，再看細節。
記住這句就好
把訓練切給多台機器一起做
實際案例
案例一：分散式訓練 訓練超大模型 單張 GPU 裝不下參數時，資料和模型會被切到多台機器上，大家一起算梯度。
案例二：分散式訓練 跑大資料集 當樣本量非常大，分散式訓練能把時間壓下來，但同步和通訊成本也會跟著升高。
深入了解
分散式訓練常見的切法是資料並行和模型並行 前者是每台機器學不同資料，後者是每台機器放模型的一部分 真正的難點除了速度，還有同步、通訊和故障容忍
分散式訓練 真正重要的，不是名詞本身，而是它幫你解決的是哪一類問題。
情境判斷
Q1（直覺題）： 單機塞不下或跑太慢的大模型，最常怎麼辦？ → 把訓練拆到多台機器上，讓大家一起跑。
Q2（判斷題）： 只要機器數量變多，訓練就一定線性變快嗎？ → 看情況，因為同步通訊、資料切分和硬體瓶頸都可能拖慢速度，不是單純堆機器就解決。
常見問題
分散式訓練的優點是什麼？
分散式訓練的主要優點是可以加速大型模型和海量資料的訓練，解決單機訓練的記憶體瓶頸和時間瓶頸。它允許使用更多的計算資源，並行處理訓練任務，從而縮短訓練時間，並提高模型訓練的效率。
資料並行和模型並行有什麼區別？
資料並行將訓練資料分割成多個子集，每個計算節點使用相同的模型副本訓練不同的資料子集。模型並行將模型分割成多個部分，每個計算節點負責訓練模型的一部分。資料並行適用於資料量大，模型可以容納在單機記憶體中的情況，而模型並行適用於模型非常大，單機無法容納的情況。
如何選擇合適的分散式訓練框架？
選擇分散式訓練框架需要考慮多個因素，包括模型的複雜度、資料集的大小、硬體環境、開發經驗等。TensorFlow和PyTorch是流行的深度學習框架，提供了豐富的分散式訓練API。Horovod和DeepSpeed是專門為分散式訓練設計的框架，提供了額外的優化技術。