神經架構搜尋 是什麼?
Neural Architecture Search — 神經架構搜尋 的完整解釋
神經架構搜尋(NAS)是一種自動化設計神經網路架構的技術,旨在尋找在特定任務上表現最佳的模型結構,無需人工手動設計。
容易混淆
神經架構搜尋 vs 超參數調校 神經架構搜尋:找網路結構 超參數調校:找學習率、批次大小等設定 最關鍵的區別:先看它是在比什麼,再看它怎麼做。
神經架構搜尋 vs 手工設計 神經架構搜尋:用搜尋機制自動嘗試 手工設計:靠工程師經驗與直覺 最關鍵的區別:先看它是在比什麼,再看它怎麼做。
記住這句就好
不是只調數值,是連骨架都一起找。
實際案例
影像模型 自動找出更省參數、準確率也夠高的卷積結構。
手機端部署 在算力有限的情況下,搜尋更小更快的模型架構。
算法與應用
NAS 的關鍵是搜尋空間設計,空間太大會算不動,太小又找不到好結構。 常見方法有強化學習、進化演算法、貝氏最佳化、和梯度式方法。 它的代價通常很高,所以才需要更有效率的搜尋策略。
情境判斷
Q1(直覺題):你只想調學習率,不想換模型結構,該做什麼? → 超參數調校,不是神經架構搜尋。
Q2(判斷題):如果搜尋空間太大,結果一直算不完,問題通常在哪? → 搜尋成本太高,空間設計需要縮小或分層。
相關術語
常見問題
NAS 一定比人工設計好嗎?
不一定,搜尋成本和資料條件都會影響結果。
它很耗算力嗎?
通常很耗,這也是它最大的門檻。
它和 AutoML 有什麼關係?
NAS 是 AutoML 裡專門負責架構設計的一塊。