喬治鼠
@Jorgemouse
Thu, Mar 16, 2023 3:23 AM
1
Recap真好用(影片有字幕的話)
【生成式AI】Finetuning vs. Prompting：對於大型語言模型的不同期待所衍生的兩類使...
【生成式AI】Finetuning vs. Prompting：對於大型語言模型的不同期待所衍生的兩類使...
喬治鼠
@Jorgemouse
Thu, Mar 16, 2023 3:24 AM
第三則沒做字幕，要自己看
【生成式AI】Finetuning vs. Prompting：對於大型語言模型的不同期待所衍生的兩類使...
喬治鼠
@Jorgemouse
Thu, Mar 16, 2023 3:24 AM
我從2/3學到了一件事，就是In-context learning的研究顯示，通用語言模型本來就知道很多東西，例如要它做情感分析的時候，就算給的範例都是錯的(語句生氣卻說這是開心)，調整出來的AI居然還是可以正確做情感分析，表示它需要的是開發者告訴他「現在的任務是情感分析」而不需要告訴它答案。
喬治鼠
@Jorgemouse
Thu, Mar 16, 2023 3:24 AM
這點我之前沒有想過，通用語言模型還真的滿超乎想像的......
喬治鼠
@Jorgemouse
Thu, Mar 16, 2023 3:31 AM
Thu, Mar 16, 2023 3:34 AM
「灰色虛線代表隨機結果，也就是隨便猜一下是50%。假設我們在做情緒分析，原本正面的文章全部改成負面的，負面的文章全部改成正面的。如果今天在這個例子中，機器得到的正確率居然還不到50%，是不是說明它不僅沒有隨機猜測，還從錯誤的信息中學習到了，本來是正的句子，它知道你想讓我把所有肯定的句子都標記為否定的。雖然這很奇怪，可能跟它之前做pre-train的時候學的不一樣，但是沒關係。你給了它這樣的例子，它就會效仿。我給你學一下，所以肯定的句子會被標記為否定的，否定的句子會被標記為肯定的，所以你可以看到當這些非常大的模型是100%被錯誤標記，它們的正確率低於50%，這意味著它們可以從錯誤的數據中學習。」
喬治鼠
@Jorgemouse
Thu, Mar 16, 2023 6:58 AM
Thu, Mar 16, 2023 6:58 AM
3/3 教授說明Chain of Thought的方式，我覺得已經越來越接近教一個真人學生的過程了...... 我認真覺得AI在五年內會把傳統家教補習班摧毀，學校老師則會受到巨大的教學衝擊，很多習慣傳統教學的老師在這波都會被淘汰掉
載入新的回覆
「灰色虛線代表隨機結果，也就是隨便猜一下是50%。假設我們在做情緒分析，原本正面的文章全部改成負面的，負面的文章全部改成正面的。如果今天在這個例子中，機器得到的正確率居然還不到50%，是不是說明它不僅沒有隨機猜測，還從錯誤的信息中學習到了，本來是正的句子，它知道你想讓我把所有肯定的句子都標記為否定的。雖然這很奇怪，可能跟它之前做pre-train的時候學的不一樣，但是沒關係。你給了它這樣的例子，它就會效仿。我給你學一下，所以肯定的句子會被標記為否定的，否定的句子會被標記為肯定的，所以你可以看到當這些非常大的模型是100%被錯誤標記，它們的正確率低於50%，這意味著它們可以從錯誤的數據中學習。」