经验区间
| 显存 | 7B Q4 | 32B Q4 | 70B Q4 |
|---|---|---|---|
| 8G | 可跑 | 不可 | 不可 |
| 16G | 宽裕 | 勉强 | 不可 |
| 24G | 宽裕 | 可跑 | 不可 |
| 48G | 宽裕 | 宽裕 | 勉强 |
说明
实际占用受上下文长度、批大小、KV Cache 影响。表格只是估算,以实测为准。
采集要求
发布实测时请附:卡型、量化、上下文、运行时版本、TTFT 与 tokens/s。
| 显存 | 7B Q4 | 32B Q4 | 70B Q4 |
|---|---|---|---|
| 8G | 可跑 | 不可 | 不可 |
| 16G | 宽裕 | 勉强 | 不可 |
| 24G | 宽裕 | 可跑 | 不可 |
| 48G | 宽裕 | 宽裕 | 勉强 |
实际占用受上下文长度、批大小、KV Cache 影响。表格只是估算,以实测为准。
发布实测时请附:卡型、量化、上下文、运行时版本、TTFT 与 tokens/s。