大模型本地部署效果不及官方版本的现象，近期有了更深入的技术归因。Level1Techs论坛用户thr3e开展了一系列系统性实验，揭示了推理软件栈中数值精度差异对模型输出的显著影响，为开发者提供了可参考的排查方向。

实验采用Qwen3.6-27B模型与RTX PRO 6000 Blackwell显卡，通过捕获超过10万token的全量logit数据，对比不同推理配置下的输出一致性。研究发现，切换vLLM的注意力后端（如FlashAttention 2、Flash Inference和Triton Attention）即可触发Top-1 token翻转，即模型在相同输入下选出不同的下一个token。这种差异在上下文增长后逐渐显现，且分布不均，可能导致工具调用中的参数错误，例如将接口地址从GigabitEthernet0/0/1.201误改为GigabitEthernet0/1/4。

进一步测试聚焦于KV缓存量化精度。将KV缓存从BF16降至INT8或INT4时，Top-1翻转率随上下文长度增加而攀升，其中INT4配置在长上下文中导致工具调用彻底失败且无法恢复，而INT8虽出现错误但可自行纠正。这表明，为节省显存而采用低精度KV缓存的本地用户，在长对话或复杂Agent工作流中面临更高风险。

权重量化方案的对比同样揭示了显著差异。在保持KV缓存为BF16的条件下，测试了包括Qwen官方BF16/FP8、社区INT8（W8A16）、英伟达NVFP4及AWQ INT4在内的五种方案。结果显示，社区版INT8（W8A16）在Top-1一致性上表现最佳，甚至优于官方FP8和NVFP4，原因可能在于其保留了BF16激活精度并排除了特定层。而NVFP4在长上下文中表现最差，工具调用时甚至出现命令行语法错误。

此外，张量并行配置也影响输出一致性，TP1单卡正常而TP2双卡失败，TP4四卡又恢复，这归因于NCCL跨卡归约的数值差异。thr3e指出，vLLM nightly镜像包含734个依赖包，每个都可能引入未记录的数值行为，导致本地环境与官方基准产生偏差。他计划发布测试工具和数据集，以便其他用户复现并上报结果，共同完善对这一问题的理解。