DaveC
@davecode
說
Fri, Jul 8, 2022 1:35 AM
3
1
中二青年付杰的逆袭故事:从二本生到 ICLR 杰出论文奖,我用了20年 | 雷峰网
ref
在一些機器學習的文章中,研究者會根據訓練初始階段Training Curve(訓練曲線)的模式來判斷一個模型是否值得繼續投入資源訓練。
通常來說,一個機器學習模型在開始階段的損失下降明顯、精度上昇明顯,最後的結果也往往是優異的;而如果初始階段的訓練損失下降地很緩慢,那麼後期結果大概率也不會好轉。
當然,也有極少數的例外:一個模型在初始階段訓練不好,但在後期損失會上升,模型的精度也會不斷上升。但出於節約資源的考慮,研究者往往會選擇在初始階段就把表現不好的模型「殺死」,然後重新開始。
DaveC
@davecode
說
Fri, Jul 8, 2022 1:36 AM
同樣的「大局思維」遷移到社會整體,體現便是:如果存在「上帝之眼」,TA 俯瞰整個社會系統中有潛力推動人工智能發展的種子選手,在可分配資源有限的情況下,類似付傑這樣的二本生,在高考結束的那一瞬間,就已經被系統提前淘汰了。
載入新的回覆
在一些機器學習的文章中,研究者會根據訓練初始階段Training Curve(訓練曲線)的模式來判斷一個模型是否值得繼續投入資源訓練。
通常來說,一個機器學習模型在開始階段的損失下降明顯、精度上昇明顯,最後的結果也往往是優異的;而如果初始階段的訓練損失下降地很緩慢,那麼後期結果大概率也不會好轉。
當然,也有極少數的例外:一個模型在初始階段訓練不好,但在後期損失會上升,模型的精度也會不斷上升。但出於節約資源的考慮,研究者往往會選擇在初始階段就把表現不好的模型「殺死」,然後重新開始。