预估显存占用20.8 GB
含权重、激活与缓存开销
显存评估器
快速估算模型推理与训练场景下的显存需求。
输入参数
评估结果
推荐 GPURTX 4090 / 5090 24G
或更高显存的 GPU
量化建议INT4
可将显存占用进一步压缩
部署提示单卡可部署
当前配置可流畅运行推理
使用说明
1
选择模型参数规模
根据模型总参数量选择合适规模。
2
设置运行参数
选择精度类型、序列长度和 Batch Size。
3
查看评估结果
获取显存占用预估与优化建议。
快速估算模型推理与训练场景下的显存需求。
含权重、激活与缓存开销
或更高显存的 GPU
可将显存占用进一步压缩
当前配置可流畅运行推理
根据模型总参数量选择合适规模。
选择精度类型、序列长度和 Batch Size。
获取显存占用预估与优化建议。