AI時代的核心 一文讀懂算力是什麼？ - 工商時報

NVIDIA A100 具備了 312 TFLOPS(Tera Floating point Operations Per Second)的深度學習運算效能。總而言之，算力可以說是 AI晶片性能最核心的指標 ...

以Open AI的GPT-3模型來說，訓練參數高達1,750億個，GPT-3模型便是演算法，參數便是數據，實現該模型的AI伺服器便是衡量算力的指標，所以空有演算法或是數據，沒有算力，是無法達到AI快速計算的要求。

要實現高算力，目前的解決方式是利用 GPU晶片，主要是因為演算法涉及複雜的矩陣、向量等乘法及加法計算。

算力、數據、演算法是驅動生成式AI的三大關鍵。亞馬遜旗下雲端公司AWS的資深產業解決方案架構師蔣宗恩指出，此三大關鍵每一項都需大量資金，尤其以硬體投資佔支出大多數，且模型需大量數據訓練，對算力的要求呈指數級提升；李宏毅也說，隨著AI技術發展，所需算力只會多、不會少，是AI產業發展關鍵。

GPU和CPU扮演不同功能，CPU的架構比較複雜，功能也比較泛用，相反GPU採用平行運算，架構比較單純、核心數量較多，因此更適合處理專精的工作。簡單來說CPU如同「通才」，可處理各種運算、GPU則是「專才」，能夠有效執行複雜數學運算。

GPU最初是為了在電腦螢幕中，顯示遊戲、動畫中的圖象而建立，因為玩遊戲、看動畫需要電腦處理資料，以顯示數千個象素，但每個象素都有自己的色彩、光線強度和移動，如此一來便造成CPU運算上的效能問題，因此硬體製造商便將多媒體任務分割出來，交由GPU執行；現在GPU更被運用在機器學習和人工智慧上。

CPU就像一間餐廳大廚，今天若要將數百個漢堡排翻面，一個大廚雖也能親自做到，但必須耗費大量時間，也無法確保能在最佳時間將每個漢堡排翻面；但如果將此任務交給廚房擁有十隻手的初級助理，也就是GPU，就可以在10秒內將100個漢堡翻面。

加密貨幣崛起，以及沉浸式電競，或媒體觀賞需求，讓GPU需求大增，同時GPU還能夠處理包括電腦視覺、機器學習，以及深度學習等工作；因此，在人們對影音體驗要求越來越高，以及人工智慧愈加蓬勃的未來，可以預期GPU只會越來越受重視。

在做GPU晶片時，不是只有GPU硬體架構本身，還包含軟體開發環境，也就是黃仁勳所說的「CUDA」，這是由NVIDIA所推出的一種整合技術，透過此技術，使用者可利用NVIDIA的GPU 進行圖像處理之外的運算。

台灣可以半導體晶片的國際優勢作為利基，並在 醫療健康、製造、自駕車等應用上，進一步思考與國際大廠互補合作的機會。

自駕車 !!

GPT-3擁有1,750億參數，光訓練成本就要花掉約1,200萬美元，價格昂貴。

高通 推展AI解決方案Hexagon Processor Snapdragon運算平台，在效能上能勝過傳統CPU（中央處理器）、GPU（繪圖處理器）效能的3到5倍。AI已經呈現混合式的型態，在雲端資料中心，邊緣雲端，以及終端邊緣AI都要能運行

這款引擎能讓使用者在沒有網路的情況下，於裝置上使用生成式AI，也能在雲端資料中心、邊緣雲端以及終端AI裝置上運行。