RTX 8000跑Qwen,Linux速度是Windows两倍

周末手贱，把吃灰的Windows 10 SSD装回我那台家用服务器，想看看老项目，结果被推理速度惊到了。同一台机器，64G内存加RTX 8000显卡，Linux下Qwen 3 30B能跑105 tokens/秒，换到Windows只剩48，直接腰斩。

测试数据摆在这，差距大到离谱

这位用户在Reddit LocalLLaMA板块发帖，用的就是自己那台老机器。之前一直跑Linux，最近想回顾旧项目才切回Windows。他更新了Ollama到最新版，跑同样的模型，结果速度慢得让他怀疑人生。原文里他贴了具体数据，用的是两个Qwen模型，上下文长度都是6k。

QWEN Code Next, q4, ctx length: 6k
Windows: 18 t/s
Linux: 31 t/s (+72%)

QWEN 3 30B A3B, Q4, ctx 6k
Windows: 48 t/s
Linux: 105 t/s (+118%)

他自己都说，知道Linux会快一点，但没想到能快这么多，直接翻倍。尤其是Qwen 3 30B这个模型，105对比48，这已经不是小差距了，是质的区别。他在帖子里问，有没有人也遇到过这么大的性能差距，是不是自己漏了什么设置。

这事对你跑模型有什么启发

说白了，如果你还在用Windows跑本地大模型，尤其是用消费级显卡或者老专业卡，可能有一半的算力都被系统吃掉了。这个案例用的是RTX 8000，虽然是专业卡，但架构是Turing，不算最新。如果换成消费级的40系或者更新的卡，驱动和系统调度的差异可能会更大。所以，如果你追求极致的推理速度，或者想榨干手里硬件的每一分性能，切换到Linux可能是性价比最高的升级方案，比换显卡便宜多了。

当然，不是所有人都愿意折腾Linux。但至少，在评估一个模型的“可用性”或者对比不同硬件时，必须把操作系统这个变量考虑进去。别人在Linux上跑出来的漂亮数据，你在Windows上可能永远达不到。下次再看到什么“XX显卡跑XX模型飞快”的帖子，先问一句：“用的什么系统？”

留言聊聊
你主力跑模型是用Windows还是Linux？有没有实测过两者在相同硬件上的速度差异？

来源：Reddit LocalLLaMA｜原文：Friendly reminder inference is WAY faster on Linux