TrueOpen
TRUEOPEN / 实验报告

Worker vs. Verifier Latency Benchmark Report

TrueOpen.ai team · 原文未标注发布日期

估计验证开销前,分别测量生成与 teacher-forced prefill。

问题、结果与适用边界

Worker 逐 token 生成答案。Verifier 获得固定的输入输出 token 后,可以通过 prefill 评估这条路径。报告比较这两种路径的耗时,研究何时重放比重新生成更便宜。

报告覆盖单张 RTX 4090 上的 Qwen3-8B,以及单张 H100 NVL 上的 Qwen3-32B。两者均使用 vLLM 0.29.0、BF16/bfloat16、张量并行度 1。基准扫描 48 种输入输出长度组合,引用结果时必须同时注明模型、硬件和序列长度。

生成包含顺序解码,固定 token 重放则是不同形态的工作负载。因此测得的比率依赖配置,不能宣传成所有模型、批次或供应商都适用的固定验证折扣。

单请求耗时不能证明端到端服务延迟,也不等于完整协议成本。排队、网络、多个验证节点和证据处理需要分别测量。报告包包含已发布结果;复现前应查看仓库中的基准脚本及可用运行数据。

确定工作负载 → 测量生成耗时 → 测量固定路径重放 → 在相同设置下比较1确定工作负载→2测量生成耗时→3测量固定路径重放→4在相同设置下比较单请求计时不是生产端到端延迟。
TrueOpen 方法解读图,用于说明流程,不是新增实验测量结果。

已发布证据

下载报告与结果包

ZIP 包包含报告文件及已发布结果表,不是完整原始日志数据集。可用运行材料及复现说明见代码仓库。

引用格式

@techreport{trueopen_worker_verifier_latency,
  title = {Worker vs. Verifier Latency Benchmark Report},
  author = {{TrueOpen.ai team}},
  institution = {TrueOpen},
  url = {https://www.trueopen.ai/research/worker-verifier-latency/},
  note = {Publication date not stated in the source}
}

原始材料未标注发布日期,未根据下载文件名或仓库时间推断。作者确认日期前,书目信息仍不完整。

单请求计时不是生产端到端延迟。 这不是独立安全审计。