多 token 预测
也称为 multi-token prediction、多 token 预测头
先用大白话
MTP 让模型一次猜测多个后续 token 并一起验证，从而减少缓慢的逐 token 步骤。
技术定义
多 token 预测（MTP）使用与主模型共同训练的辅助预测头，提出多个未来 token 供投机验证。
工程细节
MTP 不需要单独的 draft model；候选来自目标模型自身的表示，因此通常更贴合目标模型，也更易部署。不过，checkpoint 必须包含兼容的 MTP 模块，推理引擎也必须支持对应的验证路径。
为什么重要
MTP 可以利用原本闲置的计算资源，减少受显存带宽限制的 decode 步骤。draft token 接受率较高、且验证能够利用可用算力时，收益最大；batch 较大时，额外计算带来的收益可能下降。
如何在 InferenceX 中解读
InferenceX 将 MTP 作为测试配置中的一个维度。评估基准测试中的提升能否在生产环境复现时，需要同时考虑接受率或接受长度、工作负载分布、数值质量检查和匹配交互性。
参考资料
在真实基准中理解这一概念
InferenceX v2：NVIDIA Blackwell 对决 AMD 与 Hopper — 前身为 InferenceMAX
GB300 NVL72、MI355X、B200、H100、分离式推理、宽专家并行、大规模混合专家、SGLang、vLLM、TRTLLM
DeepSeekV4 1.6T 第0天至第43天性能演进 — Huawei、GB300 NVL72、MI355X、B200
第0天推理性能、InferenceX、26天内性能提升100倍、每百万 token 成本、Huawei 950DT 推理 Trace 分析
B200 NVFP4 对比 H200 FP8 运行 GLM-5：SGLang MTP 下性价比提升高达 3.65 倍
两款 GPU 均运行 SGLang EAGLE MTP；Blackwell 世代在峰值处带来约 1.2 倍的性价比提升，NVIDIA GLM-5-NVFP4 检查点搭配 FlashInfer TRT-LLM 稀疏 MLA 在 8K/1K 场景下再叠加约 2.4–3.0 倍优势
AMD MI355X GLM-5 推理：SGLang FP8 单节点每百万 token 成本比 B200 最高低 40%
GLM-5 发布 14 周后，AMD 在 MI355X 上同时实现了 SGLang FP8 的 MTP 和非 MTP 方案 — 通过 TileLang 实现的融合 MLA + FP8 KV 缓存在大部分性能 Pareto 前沿上将单节点 FP8 成本曲线翻转为 AMD 占优