Qwen 3.5 397B-A17B · GPU 对比
Qwen 3.5 397B-A17B — H200 vs MI355X
H200（NVIDIA Hopper）与 MI355X（AMD CDNA 4）在 Qwen 3.5 397B-A17B 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
在 Qwen 3.5 397B-A17B 上以 65 tok/s/user 交互性运行时，H200 吞吐量为 505 tok/s/GPU，每百万 token 成本 $0.78；MI355X 吞吐量为 2102 tok/s/GPU，成本 $0.20。MI355X 每 token 成本低 297%；MI355X 每 GPU 吞吐量高出 316%。
H200 在 Qwen 3.5 397B-A17B 上以 105 tok/s/user 运行时达到 353 tok/s/GPU（每百万 token $1.10）；MI355X 达到 1172 tok/s/GPU（$0.34）。MI355X 每 token 成本低 220%；MI355X 每 GPU 吞吐量高出 232%。
Qwen 3.5 397B-A17B 在 144 tok/s/user 交互性下的吞吐量：H200 为 284 tok/s/GPU，MI355X 为 804。每百万 token 成本分别为 $1.37 和 $0.52。MI355X 每 token 成本低 166%；MI355X 每 GPU 吞吐量高出 183%。 （数据反映此 URL 的默认 1k/1k · fp8 选择——如果您在控件中更改序列、精度或模型，下方表格和图表会自动更新。）
Interpolated from real benchmark data. Edit target interactivity values below to compare at different operating points.
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/gpu) | H200:505.3MI355X:2101.9 | H200:353.3MI355X:1172.1 | H200:284.4MI355X:804.0 |
| Cost ($/M tok) | H200:$0.775MI355X:$0.195 | H200:$1.096MI355X:$0.342 | H200:$1.374MI355X:$0.516 |
| tok/s/MW | H200:368816MI355X:1005683 | H200:257863MI355X:560797 | H200:207582MI355X:384695 |
| Concurrency | H200:~31MI355X:~66 | H200:~14MI355X:~23 | H200:~8MI355X:~11 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。
厂商:
聚合模式:
投机解码: