model
Bonsai {1, 1.58}-bit GPU
实验性低比特量化模型，目前仅适合技术探索
4.8综合
实用性4
上手速度5
完成度5
不可替代7
生命力3
5 维独立打分，综合分为加权平均。分数只对同一套标准内部可比。
适合谁
量化技术研究人员或想尝试极端压缩LLM的开发者
不适合谁
生产环境或需要稳定推理的用户
项目自述
Run {1, 1.58}-bit Bonsai LLMs on GPUs
替代品
GPTQAWQbitsandbytes
实验性低比特量化模型，目前仅适合技术探索
5 维独立打分，综合分为加权平均。分数只对同一套标准内部可比。
量化技术研究人员或想尝试极端压缩LLM的开发者
生产环境或需要稳定推理的用户
Run {1, 1.58}-bit Bonsai LLMs on GPUs