每两分钟卡 7 秒，原来怪宿主机
用 4 张 V100 跑 Qwen3.8-Flash-Next 有一阵了，一直有个怪毛病：服务时不时整个停住几秒，所有请求一起不动，然后又自己恢复。查了一整天，最后发现问题根本不在推理服务里，改一行配置就好了。 现象 停顿大约每两分钟一次，每次约 7 秒。内存 KV 缓存从 64GB 改成 32GB 以后，缩短到约 3.5 秒。 只在处理新提示词 …
TAG
LLM
带有这个原始标签的恢复文章。
4 张 V100 跑满一整天
前两篇写了怎么用 4 张 V100 跑 Qwen3.8-Flash-Next，这篇记一下它被真实业务用满一整天是什么样子。 跑的什么 配置没变：4 张 V100 PCIe 32GB，每张卡限制在 200W，AWQ int4 量化，开了 MTP4，上下文最长 512K，最多 4 路并发，另外拿 64GB 内存做 KV 缓存。 业务是我自己的一条 Agent 流 …
给 Qwen3.8-Flash-Next 配内存 KV 缓存
上一篇讲了怎么用 4 张 V100 跑 Qwen3.8-Flash-Next。这台机器主要给我的 Agent 用，会话动不动就是几十万 token。显存里能放约 110 万 token 的 KV 缓存，可会话一多，或者某个会话闲置一阵，它的缓存就会被挤出显存，下次再问只能从头重算。几十万 token 从头算，要好几分钟。 所以又加了一层主机内存缓存：显存放不 …
用 4 张 V100 跑 Qwen3.8-Flash-Next
家里的 Local AI 服务器是一台 Supermicro 双路 AMD EPYC 7K62：96 核、512GB ECC 内存。这篇用到其中 4 张 V100 PCIe 32GB，卡间没有 NVLink；推理服务跑在分配了 48 vCPU、160GiB 内存的 LXC 容器里。最近它常驻运行 Qwen3.8-Flash-Next 的 Uncensored …