实测数据 11-18 20:45 RTX 3090 跑 32B Q4:vLLM 实测 38 tokens/s 完整环境、量化、上下文与测试方法,含显存峰值。 本地部署24GOllama8-32B RISKY 老图钉
实测数据 11-18 20:45 RTX 3090 跑 32B Q4:vLLM 实测 38 tokens/s 完整环境、量化、上下文与测试方法,含显存峰值。 本地部署24GOllama8-32B RISKY 老图钉 · 1 回复