model
Bonsai 1-bit GPU
实验性的1-bit量化模型，目前仅适合研究用途
4.6综合
实用性4
上手速度5
完成度5
不可替代6
生命力3
5 维独立打分，综合分为加权平均。分数只对同一套标准内部可比。
适合谁
LLM量化研究人员或想尝试前沿技术的开发者
不适合谁
生产环境或需要稳定推理的用户
项目自述
Run 1-bit Bonsai LLMs on GPUs
替代品
GPTQAWQbitsandbytes
实验性的1-bit量化模型，目前仅适合研究用途
5 维独立打分，综合分为加权平均。分数只对同一套标准内部可比。
LLM量化研究人员或想尝试前沿技术的开发者
生产环境或需要稳定推理的用户
Run 1-bit Bonsai LLMs on GPUs