DaveC
@davecode
Mon, Apr 29, 2024 12:27 AM
30
3
世界上最聰明的人眼裡的 AI
ref
有一個思想實驗叫做『迴紋針問題』,就是一個人對 AI 下了一個指令說『請盡可能的生產多一點的迴紋針』,結果地球就毀滅了。
因為 AI 盡其所能將地球資源榨乾來做迴紋針了,這個思想實驗透過極端案例體現了對齊人類與 AI 價值觀的重要性。
就像是現在 LLM 公司不斷在做的,如何防止使用者越獄,使用者如何不斷破解越獄。這同樣是一套複雜系統,無法窮盡規則,所以對齊(Alignment)才會這麼重要。
要把人類高層次思維的語言轉換成可執行的計算語言,可能本身就是一套複雜系統。可預見的是,在計算不可約的情況下,很多時候我們可以設定好一條路徑。
書摘
DaveC
@davecode
Mon, Apr 29, 2024 12:27 AM
+
Stephen Wolfram: A New Kind of Science | Online—Tabl...
載入新的回覆
有一個思想實驗叫做『迴紋針問題』,就是一個人對 AI 下了一個指令說『請盡可能的生產多一點的迴紋針』,結果地球就毀滅了。
因為 AI 盡其所能將地球資源榨乾來做迴紋針了,這個思想實驗透過極端案例體現了對齊人類與 AI 價值觀的重要性。
就像是現在 LLM 公司不斷在做的,如何防止使用者越獄,使用者如何不斷破解越獄。這同樣是一套複雜系統,無法窮盡規則,所以對齊(Alignment)才會這麼重要。
要把人類高層次思維的語言轉換成可執行的計算語言,可能本身就是一套複雜系統。可預見的是,在計算不可約的情況下,很多時候我們可以設定好一條路徑。
書摘