WJ 玩机社区WANJI COMMUNITY

RTX 3090 跑 32B Q4:vLLM 实测 38 tokens/s

老图钉 L2 2026-11-18 20:45 127 阅读 1 回复 本地部署24GOllama8-32B
RISKY
请使用合法获取的模型与数据集,遵守模型许可证与当地法律。平台不提供权重下载,不协助绕过计费与鉴权。
发布时适用 v1 版规

结构化信息

预算档位 24G
许可证 Apache-2.0
成色来源 8-32B
模型名称 32B-Instruct

模型与环境

  • 模型:32B 指令模型,Q4 量化
  • 显卡:RTX 3090 24G × 1
  • 运行时:vLLM 0.6.x
  • 上下文:8K

实测

指标 数值
TTFT 420ms
生成速度 38 tokens/s
显存峰值 22.4G

复现

启动参数与测试提示词见下,warmup 后取三次中位数。

限制

长上下文会显著增加显存占用,24G 卡建议不超过 16K。

讨论 1 条

站长 11-19 00:45 #1

能否补一下批大小?并发场景下吞吐会差不少。

登录 后参与讨论。