英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍

IT之家 10 月 18 日消息,调研机构 SemiAnalysis 今日发文称,英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user(每用户每秒每…

[原文链接]

Previous:

Next:

Leave a Reply

Your email address will not be published. Required fields are marked *