devtool
Kvcachescope – Why Nvidia-smi is blind to vLLM KV cache leaks
对 vLLM KV 缓存泄漏的检测倒是能帮忙,但功能太窄且维护不佳,别指望它成生产利器。
4.8综合
实用性5
上手速度5
完成度5
不可替代6
生命力3
5 维独立打分,综合分为加权平均。分数只对同一套标准内部可比。
适合谁
需要调试 vLLM 推理、想了解 KV 缓存占用的研究员或 ML Ops
不适合谁
对可靠性和长期支持有要求的生产环境
项目自述
github.com
替代品
nvidia-smivLLM built‑in profilingtorch.cuda.memory_summary