问题、结果与适用边界
Worker 逐 token 生成答案。Verifier 获得固定的输入输出 token 后,可以通过 prefill 评估这条路径。报告比较这两种路径的耗时,研究何时重放比重新生成更便宜。
报告覆盖单张 RTX 4090 上的 Qwen3-8B,以及单张 H100 NVL 上的 Qwen3-32B。两者均使用 vLLM 0.29.0、BF16/bfloat16、张量并行度 1。基准扫描 48 种输入输出长度组合,引用结果时必须同时注明模型、硬件和序列长度。
生成包含顺序解码,固定 token 重放则是不同形态的工作负载。因此测得的比率依赖配置,不能宣传成所有模型、批次或供应商都适用的固定验证折扣。
单请求耗时不能证明端到端服务延迟,也不等于完整协议成本。排队、网络、多个验证节点和证据处理需要分别测量。报告包包含已发布结果;复现前应查看仓库中的基准脚本及可用运行数据。
已发布证据
ZIP 包包含报告文件及已发布结果表,不是完整原始日志数据集。可用运行材料及复现说明见代码仓库。
引用格式
@techreport{trueopen_worker_verifier_latency,
title = {Worker vs. Verifier Latency Benchmark Report},
author = {{TrueOpen.ai team}},
institution = {TrueOpen},
url = {https://www.trueopen.ai/research/worker-verifier-latency/},
note = {Publication date not stated in the source}
}原始材料未标注发布日期,未根据下载文件名或仓库时间推断。作者确认日期前,书目信息仍不完整。
单请求计时不是生产端到端延迟。 这不是独立安全审计。