AgentX 教程

通过详细遥测数据解析智能体负载

AgentX 上的一个数据点，背后是数千个请求，跨越不断增长的对话、subagent、warmup 阶段、cache 状态，以及动态变化的在途负载。本文介绍如何把这个点展开来看。

下方每张卡片都会打开对应 AgentX 配置背后的遥测数据。选择一个模型与推理服务栈，详情页会逐请求呈现该次运行的图表。

张单点遥测图表: 11
种单点视图: 3
个回放阶段: 2
条曲线（每个 model、SKU 与引擎组合）: 1

阅读遥测数据教程

已存储遥测数据的 AgentX 运行

覆盖 12 个模型的 140 种推理服务配置，共 5,164 个带有逐请求遥测数据的基准测试数据点。每张卡片打开该配置的代表性数据点，详情页的导航器可在其各并发档位之间切换。

DeepSeek V4.1 Flash 552B

19 种配置 · 1,160 个数据点

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

44 个数据点 · 并发 1–7480 · 2026-11-06

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

13 个数据点 · 并发 1–10888 · 2026-10-20

GB300 NVL72 · SGLang

NVIDIA · Blackwell

79 个数据点 · 并发 1–160 · 2026-11-03

GB300 NVL72 · vLLM

NVIDIA · Blackwell

84 个数据点 · 并发 1–192 · 2026-10-27

GB200 NVL72 · SGLang

NVIDIA · Blackwell

62 个数据点 · 并发 1–256 · 2026-10-28

GB200 NVL72 · vLLM

NVIDIA · Blackwell

57 个数据点 · 并发 1–256 · 2026-11-05

B300 · SGLang

NVIDIA · Blackwell

46 个数据点 · 并发 1–256 · 2026-10-29

B300 · vLLM

NVIDIA · Blackwell

65 个数据点 · 并发 1–192 · 2026-10-20

B200 · SGLang

NVIDIA · Blackwell

61 个数据点 · 并发 1–256 · 2026-10-27

B200 · vLLM

NVIDIA · Blackwell

109 个数据点 · 并发 1–576 · 2026-11-05

MI355X · ATOM¹

AMD · CDNA 4

65 个数据点 · 并发 1–128 · 2026-11-03

MI355X · SGLang

AMD · CDNA 4

56 个数据点 · 并发 1–64 · 2026-10-22

MI355X · vLLM

AMD · CDNA 4

154 个数据点 · 并发 1–128 · 2026-11-07

H200 · SGLang

NVIDIA · Hopper

57 个数据点 · 并发 1–128 · 2026-10-28

H200 · vLLM

NVIDIA · Hopper

72 个数据点 · 并发 1–128 · 2026-11-07

MI325X · vLLM

AMD · CDNA 3

42 个数据点 · 并发 1–32 · 2026-10-26

H100 · SGLang

NVIDIA · Hopper

14 个数据点 · 并发 1–20 · 2026-09-24

H100 · vLLM

NVIDIA · Hopper

50 个数据点 · 并发 1–28 · 2026-10-27

MI300X · vLLM

AMD · CDNA 3

30 个数据点 · 并发 1–32 · 2026-10-27

Qwen 3.5 397B-A17B

19 种配置 · 823 个数据点

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

19 个数据点 · 并发 1–704 · 2026-09-09

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

17 个数据点 · 并发 1–1000 · 2026-10-09

GB300 NVL72 · Dynamo TRTLLM

NVIDIA · Blackwell

9 个数据点 · 并发 38–704 · 2026-10-17

GB200 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

66 个数据点 · 并发 1–72 · 2026-11-07

B300 · Dynamo SGLang

NVIDIA · Blackwell

5 个数据点 · 并发 4–64 · 2026-10-14

B300 · Dynamo SGLang

NVIDIA · Blackwell

27 个数据点 · 并发 4–56 · 2026-11-06

B300 · SGLang

NVIDIA · Blackwell

28 个数据点 · 并发 1–72 · 2026-08-03

B300 · SGLang

NVIDIA · Blackwell

34 个数据点 · 并发 1–72 · 2026-08-07

B200 · Dynamo SGLang

NVIDIA · Blackwell

12 个数据点 · 并发 8–64 · 2026-10-21

B200 · SGLang

NVIDIA · Blackwell

64 个数据点 · 并发 1–72 · 2026-11-06

B200 · SGLang

NVIDIA · Blackwell

131 个数据点 · 并发 1–76 · 2026-10-23

MI355X · ATOM¹

AMD · CDNA 4

11 个数据点 · 并发 1–80 · 2026-10-23

MI355X · SGLang

AMD · CDNA 4

130 个数据点 · 并发 1–64 · 2026-09-29

MI355X · SGLang

AMD · CDNA 4

33 个数据点 · 并发 1–80 · 2026-10-01

H200 · SGLang

NVIDIA · Hopper

102 个数据点 · 并发 2–48 · 2026-10-28

MI325X · SGLang

AMD · CDNA 3

96 个数据点 · 并发 1–80 · 2026-10-23

H100 · SGLang

NVIDIA · Hopper

18 个数据点 · 并发 1–16 · 2026-09-16

MI300X · SGLang

AMD · CDNA 3

10 个数据点 · 并发 4–32 · 2026-08-12

TPU7x · vLLM

Google · Ironwood

11 个数据点 · 并发 4–32 · 2026-10-13

DeepSeekv4 Pro 0813 1.6T

17 种配置 · 780 个数据点

Vera Rubin NVL72 · Dynamo TRTLLM

NVIDIA · Vera Rubin

7 个数据点 · 并发 6–2934 · 2026-10-05

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

49 个数据点 · 并发 1–2400 · 2026-10-23

GB300 NVL72 · Dynamo TRTLLM

NVIDIA · Blackwell

12 个数据点 · 并发 4–2626 · 2026-09-03

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

23 个数据点 · 并发 1–1152 · 2026-10-14

GB200 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

16 个数据点 · 并发 1–1280 · 2026-10-12

GB200 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

50 个数据点 · 并发 1–576 · 2026-10-14

B300 · Dynamo SGLang

NVIDIA · Blackwell

7 个数据点 · 并发 1–384 · 2026-10-26

B300 · SGLang

NVIDIA · Blackwell

80 个数据点 · 并发 1–576 · 2026-09-29

B300 · vLLM

NVIDIA · Blackwell

59 个数据点 · 并发 1–576 · 2026-09-28

B200 · Dynamo SGLang

NVIDIA · Blackwell

6 个数据点 · 并发 1–256 · 2026-09-22

B200 · SGLang

NVIDIA · Blackwell

89 个数据点 · 并发 1–160 · 2026-09-16

B200 · vLLM

NVIDIA · Blackwell

85 个数据点 · 并发 1–196 · 2026-10-29

MI355X · ATOM¹

AMD · CDNA 4

59 个数据点 · 并发 1–384 · 2026-10-15

MI355X · MoRI SGLang

AMD · CDNA 4

57 个数据点 · 并发 1–512 · 2026-10-28

MI355X · SGLang

AMD · CDNA 4

92 个数据点 · 并发 1–384 · 2026-10-29

MI355X · vLLM

AMD · CDNA 4

74 个数据点 · 并发 1–192 · 2026-10-29

H200 · Dynamo SGLang

NVIDIA · Hopper

15 个数据点 · 并发 1–16 · 2026-09-16

MiniMax M3 428B

14 种配置 · 553 个数据点

Vera Rubin NVL72 · Dynamo TRTLLM

NVIDIA · Vera Rubin

6 个数据点 · 并发 16–56 · 2026-10-23

Vera Rubin NVL72 · Dynamo vLLM

NVIDIA · Vera Rubin

10 个数据点 · 并发 1–56 · 2026-10-19

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

6 个数据点 · 并发 1–120 · 2026-08-21

GB200 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

37 个数据点 · 并发 1–48 · 2026-10-27

B300 · TRTLLM

NVIDIA · Blackwell

33 个数据点 · 并发 1–30 · 2026-09-01

B300 · vLLM

NVIDIA · Blackwell

55 个数据点 · 并发 1–75 · 2026-10-26

B200 · TRTLLM

NVIDIA · Blackwell

33 个数据点 · 并发 1–45 · 2026-09-01

B200 · vLLM

NVIDIA · Blackwell

51 个数据点 · 并发 1–40 · 2026-10-23

MI355X · ATOM¹

AMD · CDNA 4

71 个数据点 · 并发 1–48 · 2026-10-08

MI355X · vLLM

AMD · CDNA 4

71 个数据点 · 并发 1–40 · 2026-10-27

H200 · vLLM

NVIDIA · Hopper

61 个数据点 · 并发 1–14 · 2026-10-23

MI325X · vLLM

AMD · CDNA 3

27 个数据点 · 并发 1–18 · 2026-10-22

H100 · vLLM

NVIDIA · Hopper

44 个数据点 · 并发 1–14 · 2026-09-27

MI300X · vLLM

AMD · CDNA 3

48 个数据点 · 并发 2–16 · 2026-10-25

GLM 5.3 744B

15 种配置 · 461 个数据点

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

29 个数据点 · 并发 1–264 · 2026-10-20

GB300 NVL72 · Dynamo TRTLLM

NVIDIA · Blackwell

6 个数据点 · 并发 1–260 · 2026-10-12

GB200 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

51 个数据点 · 并发 1–336 · 2026-11-05

B300 · Dynamo SGLang

NVIDIA · Blackwell

7 个数据点 · 并发 1–48 · 2026-10-14

B300 · SGLang

NVIDIA · Blackwell

32 个数据点 · 并发 1–48 · 2026-10-12

B300 · SGLang

NVIDIA · Blackwell

21 个数据点 · 并发 1–28 · 2026-11-03

B200 · Dynamo SGLang

NVIDIA · Blackwell

30 个数据点 · 并发 1–64 · 2026-11-03

B200 · SGLang

NVIDIA · Blackwell

25 个数据点 · 并发 1–16 · 2026-10-27

B200 · SGLang

NVIDIA · Blackwell

18 个数据点 · 并发 1–24 · 2026-10-22

MI355X · ATOM¹

AMD · CDNA 4

44 个数据点 · 并发 1–48 · 2026-10-27

MI355X · SGLang

AMD · CDNA 4

121 个数据点 · 并发 1–48 · 2026-11-02

MI355X · SGLang

AMD · CDNA 4

14 个数据点 · 并发 1–16 · 2026-09-19

H200 · Dynamo SGLang

NVIDIA · Hopper

14 个数据点 · 并发 2–16 · 2026-09-18

MI325X · SGLang

AMD · CDNA 3

42 个数据点 · 并发 1–8 · 2026-11-06

TPU7x · vLLM

Google · Ironwood

7 个数据点 · 并发 1–48 · 2026-11-02

Kimi K3 2.8T

9 种配置 · 422 个数据点

Vera Rubin NVL72 · Dynamo vLLM

NVIDIA · Vera Rubin

6 个数据点 · 并发 1–256 · 2026-10-23

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

81 个数据点 · 并发 1–336 · 2026-10-27

GB200 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

67 个数据点 · 并发 1–384 · 2026-10-21

B300 · vLLM

NVIDIA · Blackwell

20 个数据点 · 并发 1–70 · 2026-08-16

B200 · Dynamo vLLM

NVIDIA · Blackwell

51 个数据点 · 并发 1–96 · 2026-10-26

MI355X · ATOM¹

AMD · CDNA 4

44 个数据点 · 并发 1–72 · 2026-10-15

MI355X · MoRI vLLM

AMD · CDNA 4

6 个数据点 · 并发 12–56 · 2026-10-14

MI355X · vLLM

AMD · CDNA 4

102 个数据点 · 并发 1–70 · 2026-10-27

H200 · vLLM

NVIDIA · Hopper

45 个数据点 · 并发 1–32 · 2026-09-13

MiniMax M3.1 Flash 428B

15 种配置 · 381 个数据点

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

29 个数据点 · 并发 1–480 · 2026-11-03

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

26 个数据点 · 并发 1–400 · 2026-11-01

GB300 NVL72 · SGLang

NVIDIA · Blackwell

52 个数据点 · 并发 1–128 · 2026-10-31

GB300 NVL72 · vLLM

NVIDIA · Blackwell

19 个数据点 · 并发 1–128 · 2026-11-03

GB200 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

23 个数据点 · 并发 1–360 · 2026-11-01

GB200 NVL72 · SGLang

NVIDIA · Blackwell

33 个数据点 · 并发 1–128 · 2026-10-29

GB200 NVL72 · vLLM

NVIDIA · Blackwell

7 个数据点 · 并发 1–128 · 2026-10-23

B300 · SGLang

NVIDIA · Blackwell

61 个数据点 · 并发 1–256 · 2026-11-03

B300 · vLLM

NVIDIA · Blackwell

21 个数据点 · 并发 1–256 · 2026-10-27

B200 · SGLang

NVIDIA · Blackwell

33 个数据点 · 并发 1–128 · 2026-10-28

B200 · vLLM

NVIDIA · Blackwell

25 个数据点 · 并发 1–128 · 2026-10-25

MI355X · SGLang

AMD · CDNA 4

16 个数据点 · 并发 1–64 · 2026-11-02

MI355X · vLLM

AMD · CDNA 4

21 个数据点 · 并发 1–64 · 2026-11-06

H200 · vLLM

NVIDIA · Hopper

8 个数据点 · 并发 1–24 · 2026-10-23

H100 · vLLM

NVIDIA · Hopper

7 个数据点 · 并发 1–12 · 2026-10-23

Muse Spark Open 816B

10 种配置 · 319 个数据点

Vera Rubin NVL72 · Dynamo TRTLLM

NVIDIA · Vera Rubin

8 个数据点 · 并发 1–100 · 2026-11-03

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

9 个数据点 · 并发 3–40 · 2026-10-22

GB300 NVL72 · SGLang

NVIDIA · Blackwell

55 个数据点 · 并发 1–48 · 2026-11-04

GB300 NVL72 · TRTLLM

NVIDIA · Blackwell

7 个数据点 · 并发 1–48 · 2026-10-27

GB200 NVL72 · SGLang

NVIDIA · Blackwell

64 个数据点 · 并发 1–40 · 2026-11-06

B300 · SGLang

NVIDIA · Blackwell

56 个数据点 · 并发 1–128 · 2026-11-04

B200 · SGLang

NVIDIA · Blackwell

50 个数据点 · 并发 1–64 · 2026-11-06

MI355X · SGLang

AMD · CDNA 4

48 个数据点 · 并发 1–64 · 2026-10-30

H200 · SGLang

NVIDIA · Hopper

16 个数据点 · 并发 1–64 · 2026-10-19

TPU7x · SGLang

Google · Ironwood

6 个数据点 · 并发 1–22 · 2026-11-02

Qwen 3.8 Flash Next 176B-A6B

8 种配置 · 126 个数据点

Vera Rubin NVL72 · Dynamo SGLang

NVIDIA · Vera Rubin

28 个数据点 · 并发 1–336 · 2026-11-05

GB300 NVL72 · SGLang

NVIDIA · Blackwell

30 个数据点 · 并发 1–80 · 2026-11-05

GB300 NVL72 · TokenSpeed

NVIDIA · Blackwell

8 个数据点 · 并发 1–64 · 2026-11-05

B300 · SGLang

NVIDIA · Blackwell

18 个数据点 · 并发 1–80 · 2026-11-03

B200 · SGLang

NVIDIA · Blackwell

4 个数据点 · 并发 1–16 · 2026-09-15

MI355X · SGLang

AMD · CDNA 4

21 个数据点 · 并发 1–80 · 2026-11-06

H200 · SGLang

NVIDIA · Hopper

12 个数据点 · 并发 1–16 · 2026-10-19

H100 · SGLang

NVIDIA · Hopper

5 个数据点 · 并发 1–16 · 2026-08-27

Kimi K3.1 Pro 2.8T

10 种配置 · 107 个数据点

GB300 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

9 个数据点 · 并发 1–300 · 2026-11-05

GB300 NVL72 · Dynamo vLLM

NVIDIA · Blackwell

10 个数据点 · 并发 1–384 · 2026-11-06

GB200 NVL72 · Dynamo SGLang

NVIDIA · Blackwell

10 个数据点 · 并发 1–56 · 2026-11-05

GB200 NVL72 · vLLM

NVIDIA · Blackwell

10 个数据点 · 并发 1–56 · 2026-11-06

B300 · SGLang

NVIDIA · Blackwell

11 个数据点 · 并发 1–70 · 2026-11-05

B300 · vLLM

NVIDIA · Blackwell

22 个数据点 · 并发 1–70 · 2026-11-06

B200 · Dynamo SGLang

NVIDIA · Blackwell

11 个数据点 · 并发 1–96 · 2026-11-05

B200 · vLLM

NVIDIA · Blackwell

11 个数据点 · 并发 1–96 · 2026-11-06

MI355X · SGLang

AMD · CDNA 4

6 个数据点 · 并发 1–48 · 2026-11-05

MI355X · vLLM

AMD · CDNA 4

7 个数据点 · 并发 1–48 · 2026-11-06

GLM 5.3 744B

3 种配置 · 30 个数据点

Vera Rubin NVL72 · Dynamo TRTLLM

NVIDIA · Vera Rubin

17 个数据点 · 并发 1–920 · 2026-10-30

B300 · SGLang

NVIDIA · Blackwell

10 个数据点 · 并发 1–28 · 2026-10-22

MI355X · TileRT

AMD · CDNA 4

3 个数据点 · 并发 1–1 · 2026-10-07

GLM 5/5.1

1 种配置 · 2 个数据点

B200 · TileRT

NVIDIA · Blackwell

2 个数据点 · 并发 1–1 · 2026-08-27