LM Studio 0.2.31 更新了内核,开始支持 Intel 和 AMD 的 GPU 加速。
下载地址:【官网】【钛盘】
废话不多说,赶紧来测试!
硬件规格:
CPU: 13650hx
RAM: 64GB
GPU: 4060
模型:
Llama 3.1 70B Q2K
问题
你是什么模型。
性能测试:
GPU 4060 + CPU
CPU 集成显卡
实际上 CPU 也参与了推理
最终结果:
纯 CPU 推理
总结
这下知道 Intel 的集成显卡有多弱了😂。
在 4060 的加持下,输出速度居然还不如纯 CPU 推理,让人有一些意外。
期待大家的测试结果。