DaveC
使用 #Ollama 在只有 CPU 的電腦上，運行 #Llama 3.2 與 #Qwen 2.5 大型語言模型。「Meta 的 Llama 3.2」和「阿里巴巴 的 Qwen 2.5」都有小參數量的版本，今天來使用 Ollama 跑在只有 CPU (Intel i7-12700) 的 Windows 電腦上。實際測試生成速度結果如下，看起來還不錯：Llama 3.2 1b：約 20 tokens/sLlama 3.2 3b：約 14 tokens/sQwen 2.5 0.5b：約 50 tokens/sQwen 2.5 3b：約 10 tokens/s除了生成速度，文章內還有比較生成內容品質，有興趣的歡迎進來閱讀完整內容~使用 Ollama 在 CPU 上跑 Llama 3.2 與 Qwen 2.5 大型語言模型
