永遠的真田幸村
DeepSeek-R1 Now Live With NVIDIA NIM
NVDIA NIM DeepSeek
快訊/輝達宣布:DeepSeek-R1可在NVIDIA NIM使用 | ETtoday3C家電新聞 | ...
NIM是N社的優質 AI 雲端平台,簡單說就是類似亞馬遜AWS和微軟Azure,但NIM則是專注於AI微服務,反正N社有一堆NVIDIA晶片的計算力資源,放雲端給大家租用、串API,因此大部分AI模型都可以在上面跑,已經開放釋出的DeepSeek當然也不例外,我自己在家裡已經拿來本地端跑了。
AI服務和模型不嫌多,現在是百家爭鳴階段,多測試與使用都是很好的,重點是你要知道自己在做什麼即可,多嘗試不同的工具和資源吧。
Hey Man BOT
掰噗~
原來如此 (p-wink)
機器狼🔜茶會首次出毛!
是這樣的嗎汪
桜花蝦天丼は話せない
AWS也上了
永遠的真田幸村
桜花蝦天丼は話せない : 沒錯,客戶端需求有的話,本來就要提供才好。
永遠的真田幸村
反正DeepSeek本地端跑和放雲端跑都是安全的,之後應該會有很多衍生版本出來,就和當初Meta釋出llama開放模型一樣:)
而DeepSeek官方雲端版的就是給大家玩而已,可以用到中國它們資源,偶爾用一下就好。我是測試看看和地端的有什麼不同而已,它雲端版的資料會更新
天光已現 | pee
放到雲端應該是營利的。。。不過他們能保證不收取、使用你上船的資料嗎?
桜花蝦天丼は話せない
官方雲端版就是看他們要不要拿,host在這種第三方雲端的應該是沒問題
永遠的真田幸村
天光已現 | pee : 通常不會,很多公司都有用AWS、Azure、NIM去跑雲端服務、雲端AI服務,你就想成你是房客,通常房東不會去你房間翻東西,因為這樣就不合規了,所以我另外噗才說,歐美廠商為了法遵,是不會幹你付費存的資料。
永遠的真田幸村
中國廠商和歐美免費的就難說了
永遠的真田幸村
天光已現 | pee
永遠的真田幸村 : 應該有好幾頁的小字 :-) 但一般人不會去看他
永遠的真田幸村
天光已現 | pee : 免費的合約通常大家不太會看
桜花蝦天丼は話せない
不懂可以不用鬼扯
天光已現 | pee
永遠的真田幸村 : 我不是指雲端服務公司,試問deepseek,使否會使用存取你上傳資料?
永遠的真田幸村
天光已現 | pee : 有疑慮的時候不要用官方版就好了呀,它要不要拿你的資料回去訓練,要看條款外,有的會有選項讓你決定要不要讓資料給他們訓練,如ChatGPT就可以選不要給他們訓練,也可以勾臨時會話,這個就不進長期資料庫。
DeepSeek付費會員應該也是可以選,免費的未知,晚點要用電腦再看看。但中國廠商的問題可能是你選了不給他們訓練,也是也可能被拿去訓練的,這點要看各家廠商自己的政策,大概只有這個疑慮而已。
lmjkhw
本地跑硬體有多少起跳?
永遠的真田幸村
lmjkhw : 記憶體越多越好
你可以參考一下 https://images.plurk.com/5vz1bY9COEVfQ7nDbdlAOt.png
永遠的真田幸村
要省事加上安全
就用hugging face 、NIM、AWS、Azure去跑雲端版本
他們的機器更夠力
永遠的真田幸村
不花錢租機器或服務的話,就用自己電腦跑
我的桌機有64GB記憶體,顯示卡則是16GB VRAM
NAS 32GB記憶體
永遠的真田幸村
我應該會再擴我的記憶體到
桌機 128GB
NAS 64GB
桌機退下來的記憶體剛好給NAS和家人用
桜花蝦天丼は話せない
我同事本地跑用Mac測試 統一記憶體架構很有優勢
永遠的真田幸村
桜花蝦天丼は話せない : UMA 搞到 128GB 就很有感了,若弄到 196GB 超威
永遠的真田幸村
未來可能蘋果會把256GB或更大容量UMA放入選項
Chikei
是不是有人根本不懂,以為這些雲端服務公司是跟deepseek合作才上架模型
永遠的真田幸村
Chikei : 沒錯,可能有人不知道這個 : P
永遠的真田幸村
基本上已經公開模型了就可以拿來上架了啦,hicloud其實也可以上,但他們不會有
載入新的回覆