← 工具雷达
devtool

Kvcachescope – Why Nvidia-smi is blind to vLLM KV cache leaks

对 vLLM KV 缓存泄漏的检测倒是能帮忙,但功能太窄且维护不佳,别指望它成生产利器。

4.8综合
实用性5
上手速度5
完成度5
不可替代6
生命力3

5 维独立打分,综合分为加权平均。分数只对同一套标准内部可比。

适合谁

需要调试 vLLM 推理、想了解 KV 缓存占用的研究员或 ML Ops

不适合谁

对可靠性和长期支持有要求的生产环境

项目自述

github.com

替代品

nvidia-smivLLM built‑in profilingtorch.cuda.memory_summary
访问官网1 · 评测时 Stars评测于 2026-08-15

同类工具