InferenceX
EN

文章

关于智能体推理、AgentX 结果、芯片性能与 ML 基础设施的文章。

不熟悉相关概念？ 浏览 AI 推理术语表。

全部agenticagentsagentxamdannouncementasicb200b300benchmarkdeepseekdisaggdynamofp4fp8gb200gb300glm5gpuh100h200huaweiinferencekimilatencymi355xminimaxnvfp4nvidianvl72openaiqwenrocmrubinsglangthroughputtilerttrtllmvllmwide-ep
·3 分钟阅读

DeepSeek V4 Pro 的 AgentX 结果：B200 对比 B300 与 KV cache 工作集

多出 50% 的 HBM 能挤出额外吞吐量，逐点遥测数据说明了它究竟从何而来

agentxagenticbenchmarkinferencedeepseekb200b300h200nvidia
·3 分钟阅读

DeepSeek V4 Pro 的 AgentX 结果：GB200 与 GB300 的机架级分离式部署

两者都依赖 PD 分离，GB300 额外使用 DEP32 宽专家并行解码，而差距体现在首 token 延迟而非 token 速率上

agentxagenticbenchmarkinferencedeepseekgb200gb300nvl72disaggwide-epnvidia
·3 分钟阅读

DeepSeek V4 Pro 的 AgentX 结果：MI355X 对比 B200，以及 8 月 21 日的反转

在端到端延迟的每美元性能上，AMD 一度追平 B200 vLLM，随后上游 vLLM 的优化改变了格局

agentxagenticbenchmarkinferencedeepseekmi355xb200amdnvidia
·21 分钟阅读

Vera Rubin NVL72 对比 GB200 NVL72？推理 TCO 与架构分析

Rubin 基于 LUT 的 Tensor Core、Feynman、机架级架构、每兆瓦性能、每美元性能、软件改进、Rubin 公开软件栈、PyTorch、vLLM、OpenAI Triton

benchmarkgpuinferencenvidiarubingb200gb300deepseektrtllmdynamo
·31 分钟阅读

DeepSeekV4 1.6T 第0天至第43天性能演进 — Huawei、GB300 NVL72、MI355X、B200

第0天推理性能、InferenceX、26天内性能提升100倍、每百万 token 成本、Huawei 950DT 推理 Trace 分析

benchmarkgpuinferencedeepseeknvidiaamdhuaweigb300b300b200mi355xh200sglangvllmtrtllm
·11 分钟阅读

GB300 NVL72 vs GB200 NVL72 推理性能与性价比对比 — DeepSeek-V4-Pro 1.6T：吞吐量最高提升 2.83 倍

DSv4-Pro FP4 8K/1K，Dynamo+vLLM，两套机架均采用分离式部署。GB300 多出 50% 的 HBM（每 GPU 288 GB vs 192 GB）解锁了 GB200 无法容纳的更宽预填充+解码配方——尽管单 GPU TCO 溢价 20%，曲线中段性价比仍提升 2.31 倍。

benchmarkgpuinferencedeepseeknvidiagb300gb200nvl72vllmdynamowide-epdisagg
·14 分钟阅读

MI355X 上 DeepSeek-V4-Pro 搭配 SGLang：26 天内每 GPU 吞吐量提升 110.5 倍

amd/deepseek_v4 分支合入了 TileLang 注意力索引器、Triton 稀疏 MLA、融合 RoPE/Hadamard、FlyDSL MoE 以及 FP4 权重，历经 31 个性能优化 PR——将首次点亮时 20 tok/s/GPU、2.4 tok/s/user 的水平提升至 8K/1K 负载下 2,256 tok/s/GPU、9.4 tok/s/user，吞吐量与交互性同步攀升

benchmarkgpuinferencedeepseekamdmi355xsglangrocmfp4
·9 分钟阅读

GB200 NVL72 对比 B200 运行 DeepSeek R1 670B：在 125 tok/s/user 下每 GPU 吞吐量最高达 4.4 倍

DeepSeek R1 FP4 1k/1k。NVL72 的 72-GPU NVLink 扩展域允许解码使用最高 EP=32 的宽专家并行，而 B200 的 8-GPU NVLink 岛通过 RoCEv2 上限为 EP=8

benchmarkgpuinferencedeepseeknvidiagb200b200nvl72trtllmdynamowide-epdisagg
·5 分钟阅读

SGLang 0.5.6 在 B200 DeepSeek R1 FP4 上的表现：低并发下最高提升 1.8 倍

针对 DeepSeek V3 的分段 CUDA graph、统一事件循环和 JIT 内核将 8k/1k 吞吐量从 508 提升至 907 tok/s/GPU，使用相同的 16 GPU B200 资源池

benchmarkinferencegpunvidiab200deepseeksglangfp4