·2 分钟阅读
Qwen3.5 397B 的 AgentX 结果:B300 FP4 的每美元性能是 H100 的 12 倍
在长上下文 agentic 工作负载上,四年硬件迭代加上 4 位格式能换来什么
agentxagenticbenchmarkinferenceqwenb300h100h200fp4fp8sglangnvidia
关于智能体推理、AgentX 结果、芯片性能与 ML 基础设施的文章。
不熟悉相关概念? 浏览 AI 推理术语表。
在长上下文 agentic 工作负载上,四年硬件迭代加上 4 位格式能换来什么
GatedDeltaNet、262k 原生上下文,以及同一引擎上 AMD 完全缺席的竞争
从 v0.5.8(2 月)→ v0.5.10rc0(4 月)→ v0.5.12(5 月),三次 AITER 内核合入 MI355X 加上从 TP=8 到 TP=2/TP=4 的重新调优,将 Qwen3.5 8k/1k 峰值从 1.3k 推高至 6.4k tok/s/GPU,并将曲线延伸至 75 tok/s/user