首页/在线工具/GPU 选型

GPU 选型

根据模型规模、量化方式与部署约束推荐合适的 GPU 配置。

模型-GPU 匹配推荐

根据模型、量化方式、上下文与并发条件，给出更适合的 GPU 选型建议，并判断是否可单卡部署。

模型DeepSeek-R1DeepSeek-R1-0528DeepSeek-R1-0528-Qwen3-8BDeepSeek-R1-Distill-Llama-70BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-32BDeepSeek-V3DeepSeek-V3-0324DeepSeek-V3.1DeepSeek-V3.2DeepSeek-V3.2-ExpDeepSeek-V3.2-SpecialeDeepSeek-V4-FlashDeepSeek-V4-ProLlama-3.1-8B-InstructMiniMax-M1-80k-hfMiniMax-M2MiniMax-M2.1MiniMax-M2.5MiniMax-M2.7MiniMax-Text-01MiniMax-Text-01-hfSynLogic-32BSynLogic-7BSynLogic-Mix-3-32BKimi-K2-InstructKimi-K2-Instruct-0905Kimi-K2-ThinkingKimi-Linear-48B-A3B-InstructMoonlight-16B-A3BMoonlight-16B-A3B-InstructMiniCPM-SALAQwen2.5-7B-InstructQwen3-0.6BQwen3-1.7BQwen3-14BQwen3-235B-A22BQwen3-235B-A22B-Instruct-2507Qwen3-235B-A22B-Thinking-2507Qwen3-30B-A3BQwen3-30B-A3B-Instruct-2507Qwen3-30B-A3B-Thinking-2507Qwen3-32BQwen3-4BQwen3-4B-Instruct-2507Qwen3-4B-Thinking-2507Qwen3-8BQwen3-Coder-30B-A3B-InstructQwen3-Coder-480B-A35B-InstructQwen3-Coder-NextQwen3-Next-80B-A3B-InstructQwen3-Next-80B-A3B-ThinkingWebWorld-14BWebWorld-32BWebWorld-8BStep-3.5-FlashMiMo-7B-RL-0530MiMo-V2-FlashMiMo-V2.5-ProGLM-4-32B-0414GLM-4-9B-0414GLM-4.5GLM-4.5-AirGLM-4.6GLM-4.7GLM-4.7-FlashGLM-5GLM-5.1GLM-Z1-32B-0414GLM-Z1-9B-0414GLM-Z1-Rumination-32B-0414量化方式INT4INT8FP8FP16BF16上下文长度最大输出长度批大小并发安全余量显卡类别全部消费级工作站数据中心

启用 attention / KV 优化系数（更接近主流推理框架）

建议总显存2009.02 GiB

单卡所需显存2009.02 GiB

模型参数量684.53B

优先推荐

按照量化支持、所需卡数、部署定位和推荐优先级排序。

NVIDIA H200 141GB

数据中心

生产级 · 141 GB

15 卡

预计至少需要 15 张同规格显卡进行张量并行部署。

NVIDIA A100 80GB

数据中心

生产级 · 80 GB

26 卡

预计至少需要 26 张同规格显卡进行张量并行部署。

NVIDIA H100 80GB

数据中心

生产级 · 80 GB

26 卡

预计至少需要 26 张同规格显卡进行张量并行部署。

NVIDIA A40 48GB

数据中心

生产级 · 48 GB

42 卡

预计至少需要 42 张同规格显卡进行张量并行部署。

NVIDIA L40 48GB

数据中心

生产级 · 48 GB

42 卡

预计至少需要 42 张同规格显卡进行张量并行部署。

NVIDIA L40S 48GB

数据中心

生产级 · 48 GB

42 卡

预计至少需要 42 张同规格显卡进行张量并行部署。

GPU	显存	量化支持	最少卡数	单卡部署	部署说明
NVIDIA H200 141GB数据中心 · 生产级	141 GB	FP16	15 卡	需多卡	建议使用 15 卡张量并行，并结合上下文与并发继续压测。
NVIDIA A100 80GB数据中心 · 生产级	80 GB	FP16	26 卡	需多卡	建议使用 26 卡张量并行，并结合上下文与并发继续压测。
NVIDIA H100 80GB数据中心 · 生产级	80 GB	FP16	26 卡	需多卡	建议使用 26 卡张量并行，并结合上下文与并发继续压测。
NVIDIA A40 48GB数据中心 · 生产级	48 GB	FP16	42 卡	需多卡	建议使用 42 卡张量并行，并结合上下文与并发继续压测。
NVIDIA L40 48GB数据中心 · 生产级	48 GB	FP16	42 卡	需多卡	建议使用 42 卡张量并行，并结合上下文与并发继续压测。
NVIDIA L40S 48GB数据中心 · 生产级	48 GB	FP16	42 卡	需多卡	建议使用 42 卡张量并行，并结合上下文与并发继续压测。
NVIDIA RTX A6000 48GB工作站 · 部门级	48 GB	FP16	42 卡	需多卡	建议使用 42 卡张量并行，并结合上下文与并发继续压测。
NVIDIA RTX 6000 Ada 48GB工作站 · 部门级	48 GB	FP16	42 卡	需多卡	建议使用 42 卡张量并行，并结合上下文与并发继续压测。
NVIDIA A100 40GB数据中心 · 生产级	40 GB	FP16	51 卡	需多卡	建议使用 51 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 5090 32GB消费级 · 实验验证	32 GB	FP16	63 卡	需多卡	建议使用 63 卡张量并行，并结合上下文与并发继续压测。
NVIDIA A10 24GB数据中心 · 生产级	24 GB	FP16	84 卡	需多卡	建议使用 84 卡张量并行，并结合上下文与并发继续压测。
NVIDIA A30 24GB数据中心 · 生产级	24 GB	FP16	84 卡	需多卡	建议使用 84 卡张量并行，并结合上下文与并发继续压测。
NVIDIA L4 24GB数据中心 · 生产级	24 GB	FP16	84 卡	需多卡	建议使用 84 卡张量并行，并结合上下文与并发继续压测。
NVIDIA TITAN RTX 24GB消费级 · 实验验证	24 GB	FP16	84 卡	需多卡	建议使用 84 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 3090 24GB消费级 · 实验验证	24 GB	FP16	84 卡	需多卡	建议使用 84 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 4090 24GB消费级 · 实验验证	24 GB	FP16	84 卡	需多卡	建议使用 84 卡张量并行，并结合上下文与并发继续压测。
NVIDIA T4 16GB数据中心 · 生产级	16 GB	FP16	126 卡	需多卡	建议使用 126 卡张量并行，并结合上下文与并发继续压测。
NVIDIA A2 16GB数据中心 · 生产级	16 GB	FP16	126 卡	需多卡	建议使用 126 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 5060 Ti 16GB消费级 · 实验验证	16 GB	FP16	126 卡	需多卡	建议使用 126 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 5070 Ti 16GB消费级 · 实验验证	16 GB	FP16	126 卡	需多卡	建议使用 126 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 5080 16GB消费级 · 实验验证	16 GB	FP16	126 卡	需多卡	建议使用 126 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 4060 Ti 16GB消费级 · 实验验证	16 GB	FP16	126 卡	需多卡	建议使用 126 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 4080 16GB消费级 · 实验验证	16 GB	FP16	126 卡	需多卡	建议使用 126 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 5070 12GB消费级 · 实验验证	12 GB	FP16	168 卡	需多卡	建议使用 168 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 3060 12GB消费级 · 实验验证	12 GB	FP16	168 卡	需多卡	建议使用 168 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 2080 Ti 11GB消费级 · 实验验证	11 GB	FP16	183 卡	需多卡	建议使用 183 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 2060 SUPER 8GB消费级 · 实验验证	8 GB	FP16	252 卡	需多卡	建议使用 252 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 2070 8GB消费级 · 实验验证	8 GB	FP16	252 卡	需多卡	建议使用 252 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 2070 SUPER 8GB消费级 · 实验验证	8 GB	FP16	252 卡	需多卡	建议使用 252 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 2080 8GB消费级 · 实验验证	8 GB	FP16	252 卡	需多卡	建议使用 252 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 2080 SUPER 8GB消费级 · 实验验证	8 GB	FP16	252 卡	需多卡	建议使用 252 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 5050 8GB消费级 · 实验验证	8 GB	FP16	252 卡	需多卡	建议使用 252 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 5060 8GB消费级 · 实验验证	8 GB	FP16	252 卡	需多卡	建议使用 252 卡张量并行，并结合上下文与并发继续压测。
GeForce RTX 2060 6GB消费级 · 实验验证	6 GB	FP16	335 卡	需多卡	建议使用 335 卡张量并行，并结合上下文与并发继续压测。