伊軍領袖
@titain
Sun, Dec 10, 2023 12:58 AM
Sun, Dec 10, 2023 12:58 AM
什麼鬼，模型沒辦法全部載入VRAM就分了一部分給CPU算，然後跑得比純CPU還慢=_=

輕度使用者需要的是4060TI 128G.......
Raven
@warmouthfish
Sun, Dec 10, 2023 12:59 AM
但現在就是高階卡才有大容量VRAM…
📛ちゃちゃN🔰
@mprincess
Sun, Dec 10, 2023 1:01 AM
這就是大記憶體的卡被搶翻的原因
伊軍領袖
@titain
Sun, Dec 10, 2023 1:02 AM
一切的問題都是老黃的錯
📛ちゃちゃN🔰
@mprincess
Sun, Dec 10, 2023 1:07 AM
用cpu算吧
伊軍領袖
@titain
Sun, Dec 10, 2023 2:17 AM
Elesia: 那個SSD不是給顯卡用的，只是跟顯卡共用插槽，只有主機本身讀得到
rîch1ïû
@richliu
Sun, Dec 10, 2023 2:18 AM
📛ちゃちゃN🔰 : 算到天荒地老....

我已經拿 80 cores 去算了，80B 的 LLaMA2 一秒出一個 token ....
rîch1ïû
@richliu
Sun, Dec 10, 2023 2:19 AM
這還是推理，如果是建模那不知道要搞到什麼時候去了
伊軍領袖
@titain
Sun, Dec 10, 2023 2:21 AM
我是用16core算，13B的LLaMA一秒3個token...:~~
rîch1ïû
@richliu
Sun, Dec 10, 2023 2:26 AM
伊軍領袖 : 其實 LLaMA 不一定愈多 cores 愈快，好像有個限制....
📛ちゃちゃN🔰
@mprincess
Sun, Dec 10, 2023 2:34 AM
沒辦法。高階運算卡的價格太扯
載入新的回覆