DeepSeek无显卡当地安排70B，能跑吗？
各人好，我是波导闭幕者。
在我写这篇文章的这多少天，号称32B能媲美DeekSeek-R1满血671B的QwQ模子曾经放出来了，我还不实现完全的测试。明天先把前未几折腾的llama-70B当地安排收拾出来与各人分享。由于之前有小搭档留言，说70B也是能跑的，慢点是慢点，本人当地折腾个乐呵。我想一想也有情理，然而详细什么样才叫“能”跑，界说可能纷歧样。最基本的，能载入运转，不崩，能准确出成果，再慢也叫能跑。那我们就以这个界说为基本，来看看当地无显卡安排DeepSeek能否可行吧？
70B-Q4_K_M的模子巨细为42.52GB，基础上得64G内存才有戏，出于谨严起见，这里我仍是放到96G的机子上跑。而Q6模子有57.88G，Q8模子有74.98G，依据本人机子酌情抉择。CPU线程池拉满，评价处置巨细拉到1024，标题为“请帮我写一篇年初总结，配角是顺序员，天天任务24小时，每周任务6天”。实测CPU占用50-70%阁下，双通道内存仍存在瓶颈但并未到达量变水平，内存占用54GB阁下。4分43秒出成果，1.64 tok/sec，1233 tokens，6.79s to first token，还算能够接收。
但依据小搭档反应，70B在持续对话时会卡住。这里我测试了一下，请求持续在原文基本上修正。原文有“一天12杯黑咖啡”，“梦到Terminal里的报错日记”，“公司attendance体系”，“用JSX来思考这个天下”如许分歧理，或许无须要英文的应用。我跟它说，“一188体育平台天喝12杯咖啡会逝世人的，没须要的英文请改成中文”。此时，小搭档所反应的疑似卡住的景象开端呈现，固然表现4分24秒出成果，然而1.61 tok/sec，1183 tokens，1050.18s to first token。留神这个first token，换算一下，它先思考了17.5分钟，才开端正式任务。总的等候时光曾经超越20分钟。
但你说它能跑吗？确切能跑，成果也很不错。不须要的英语单词都换成了中文术语，“BUG，Deadline”等能够保存的都保存了，“JSX来思考天下”改成了“JavaScript来思考天下”。其余局部不叫它改的，也都不乱改188体育外围。只是顺序也好AI也好，思考方法跟人类仍是有差别，才会须要把之前的内容都回锅一遍吧。这里我叫它把顺序员改成原画师，正式盘算成果之前又卡住良久。
跟着负载的减轻，出成果的速率持续变慢。5分19出成果，1.58 tok/sec，1239 tokens，1162.05s to first token最新版欧洲杯开户平台，还不晓得之前的Processing Prompt有不算出来。成果却是中规中矩，文章架构多少乎没换，只是把一些描写跟字眼，从顺序员相干，换成了画师相干。
在我写这篇文章的这多少天，号称32B能媲美DeekSeek-R1满血671B的QwQ模子曾经放出来了，我还不实现完全的测试。明天先把前未几折腾的llama-70B当地安排收拾出来与各人分享。由于之前有小搭档留言，说70B也是能跑的，慢点是慢点，本人当地折腾个乐呵。我想一想也有情理，然而详细什么样才叫“能”跑，界说可能纷歧样。最基本的，能载入运转，不崩，能准确出成果，再慢也叫能跑。那我们就以这个界说为基本，来看看当地无显卡安排DeepSeek能否可行吧？70B-Q4_K_M的模子巨细为42.52GB，基础上得64G内存才有戏，出于谨严起见，这里我仍是放到96G的机子上跑。而Q6模子有57.88G，Q8模子有74.98G，依据本人机子酌情抉择。CPU线程池拉满，评价处置巨细拉到1024，标题为“请帮我写一篇年初总结，配角是顺序员，天天任务24小时，每周任务6天”。实测CPU占用50-70%阁下，双通道内存仍存在瓶颈但并未到达量变水平，内存占用54GB阁下。4分43秒出成果，1.64 tok/sec，1233 tokens，6.79s to first token，还算能够接收。但依据小搭档反应，70B在持续对话时会卡住。这里我测试了一下，请求持续在原文基本上修正。原文有“一天12杯黑咖啡”，“梦到Terminal里的报错日记”，“公司attendance体系”，“用JSX来思考这个天下”如许分歧理，或许无须要英文的应用。我跟它说，“一188体育平台天喝12杯咖啡会逝世人的，没须要的英文请改成中文”。此时，小搭档所反应的疑似卡住的景象开端呈现，固然表现4分24秒出成果，然而1.61 tok/sec，1183 tokens，1050.18s to first token。留神这个first token，换算一下，它先思考了17.5分钟，才开端正式任务。总的等候时光曾经超越20分钟。但你说它能跑吗？确切能跑，成果也很不错。不须要的英语单词都换成了中文术语，“BUG，Deadline”等能够保存的都保存了，“JSX来思考天下”改成了“JavaScript来思考天下”。其余局部不叫它改的，也都不乱改188体育外围。只是顺序也好AI也好，思考方法跟人类仍是有差别，才会须要把之前的内容都回锅一遍吧。这里我叫它把顺序员改成原画师，正式盘算成果之前又卡住良久。跟着负载的减轻，出成果的速率持续变慢。5分19出成果，1.58 tok/sec，1239 tokens，1162.05s to first token最新版欧洲杯开户平台，还不晓得之前的Processing Prompt有不算出来。成果却是中规中矩，文章架构多少乎没换，只是把一些描写跟字眼，从顺序员相干，换成了画师相干。 