Deva
@davelin
Fri, Jun 14, 2024 2:13 AM
16
7
Ref Emmy追劇時間
其實目前這個世界的情況，是有各種很厲害、或者可以經過訓練而變得很厲害的AI模型，但是沒有晶片去運算，因而發展緩慢，例如OpenAI的Sora，一分鐘的影片要做一個小時，因此沒有開放公眾使用，一開放就會系統大崩潰。
這就是為什麼台積電和NVDA的股價囂張成這樣的原因，也是為什麼先前Sam Altman說要集資七兆美元去做晶片的原因，他認為要這麼多晶片才能有一個理想的AI環境。
Deva
@davelin
Fri, Jun 14, 2024 2:14 AM
台積電現在一年的資本支出是三百億美元左右，七兆美元的話那就是233年的錢一次花掉，這就是Sam Altman認為的規模。
所以今天不管出了什麼樣厲害的新運算法，可以節省十倍算力，233年除以十還是要很多年，到你老了才有。（當然這種算法的演進也有可能是不斷加速改善的。）
而且這只會加速AI時代的到來，商業化的速度只會大幅加快，我們現在還是在AI環境的原始人狀態而已。
Deva
@davelin
Fri, Jun 14, 2024 2:17 AM
@davecode - 實驗表明，該研究提出的 MatMul-free 模型達到了與最先進的 Trans...
這個論文只是一個起點。 AI 進步再快仍然無法第二天醒來，就全部推翻。 要推翻要把之前的人努力的基礎，是很大的突破。
永遠的真田幸村
@ivanusto
Fri, Jun 14, 2024 2:17 AM
需要很多算力
♠ 犬 ♠
@arigata
Fri, Jun 14, 2024 2:21 AM
奇異點的產生需要大量算力
載入新的回覆
其實目前這個世界的情況，是有各種很厲害、或者可以經過訓練而變得很厲害的AI模型，但是沒有晶片去運算，因而發展緩慢，例如OpenAI的Sora，一分鐘的影片要做一個小時，因此沒有開放公眾使用，一開放就會系統大崩潰。
這就是為什麼台積電和NVDA的股價囂張成這樣的原因，也是為什麼先前Sam Altman說要集資七兆美元去做晶片的原因，他認為要這麼多晶片才能有一個理想的AI環境。
所以今天不管出了什麼樣厲害的新運算法，可以節省十倍算力，233年除以十還是要很多年，到你老了才有。（當然這種算法的演進也有可能是不斷加速改善的。）
而且這只會加速AI時代的到來，商業化的速度只會大幅加快，我們現在還是在AI環境的原始人狀態而已。
這個論文只是一個起點。 AI 進步再快仍然無法第二天醒來，就全部推翻。 要推翻要把之前的人努力的基礎，是很大的突破。