4 张 V100 跑满一整天
前两篇写了怎么用 4 张 V100 跑 Qwen3.8-Flash-Next，这篇记一下它被真实业务用满一整天是什么样子。 跑的什么 配置没变：4 张 V100 PCIe 32GB，每张卡限制在 200W，AWQ int4 量化，开了 MTP4，上下文最长 512K，最多 4 路并发，另外拿 64GB 内存做 KV 缓存。 业务是我自己的一条 Agent 流 …
TAG
Qwen
带有这个原始标签的恢复文章。
给 Qwen3.8-Flash-Next 配内存 KV 缓存
上一篇讲了怎么用 4 张 V100 跑 Qwen3.8-Flash-Next。这台机器主要给我的 Agent 用，会话动不动就是几十万 token。显存里能放约 110 万 token 的 KV 缓存，可会话一多，或者某个会话闲置一阵，它的缓存就会被挤出显存，下次再问只能从头重算。几十万 token 从头算，要好几分钟。 所以又加了一层主机内存缓存：显存放不 …
用 4 张 V100 跑 Qwen3.8-Flash-Next
家里的 Local AI 服务器是一台 Supermicro 双路 AMD EPYC 7K62：96 核、512GB ECC 内存。这篇用到其中 4 张 V100 PCIe 32GB，卡间没有 NVLink；推理服务跑在分配了 48 vCPU、160GiB 内存的 LXC 容器里。最近它常驻运行 Qwen3.8-Flash-Next 的 Uncensored …