真实智能体工作负载下的推理性能对比

比较不同硬件平台在长上下文、多轮智能体工作负载下的推理性能，覆盖 OpenAI Jalapeño、MI355X、GB300 NVL72、GB200 NVL72、B200、H200、H100 和 RTX Pro，即将支持 TPUv7/v8、Rubin NVL72 与 MI455X UALoE72。

InferenceX 提供持续更新的开源智能体推理基准测试，已获得吉瓦级 token 工厂运营方的信赖。

仪表板上的每个数据点都来自一次公开的 GitHub Actions 运行。测试配置保存在仓库中，并在对应的真实硬件上执行；完整日志和产物均可公开查看。点击图表中的任意数据点，即可打开生成该结果的运行记录。整个过程可复现、可审计，并完全开源。

平均每周新增 1,000 多个基准测试数据点。新模型、芯片、框架和配置上线后，都可以在这里查看。

公开运行记录

每次基准测试都通过 GitHub Actions 执行，运行期间即可查看完整日志。

公开测试配置

每个模型、框架、精度和并行配置都以 shell 脚本形式保存在公开仓库中。

每周数据库快照

完整的基准测试数据库每周都会作为公开的 GitHub Release 发布，方便任何人核查历史数据。