RESEARCHER EVALUATION AND KNOWN LIMITS
Researcher 验收与已知边界
分别报告检索、引用程序校验、真实模型测试与人工内容复核。
研究工具与资料使用说明
01当前验收状态
02测什么
40 道中英文问题覆盖 LVE、磁力起点、量子有效近似、开放问题、登记状态、虚构式号、历史版本和提示注入。检索验收检查预期来源或错误;引用程序校验检查真实 ID、快照、来源版本与原句。五种模式使用不同任务约束。
03不把程序校验当作内容判断
同一句原文可能被错误使用。因此每次真实回答仍需人工检查:原句是否支持主张,是否遗漏前提或近似阶数,是否偷换比较框架,是否把候选或开放结果升级,以及中英文是否表达同一含义。这里不公布未经测量的准确率。
04真实调用的验收方式
部署者配置独立 Worker、服务端密钥、研究访问令牌和预算后,使用交付代码中的 live evaluation 脚本运行同一题集。报告保存模型标识、知识快照、真实回答、失败回退和引用校验;人工内容评分另外填写。测试用传输 fixture 仅验证接口分支,不计入模型能力。
05已知失败与边界
关键词检索可能漏掉同义表达或跨页长推导;历史快照只支持实际保留和部署的版本。超过上下文预算时仅发送完整选中段落,未选中内容有提示。缺失模型、访问失败、限额、超时、引用不合格或模型拒答均回退为资料检索,不伪造回答。程序无法保证消除所有提示注入和论证错误;新推演必须人工复核。
文稿分类与版本
- 内容用途
- 研究工具与资料使用说明
- 来源层级
- 公开网站资料
- Canonical ASD
- 否 · 公开网站资料
- 文稿版本
- 1.0.0
Canonical 说明本页是否属于正式理论基线;它不记录作者对编辑稿的批准,也不表示数学推导或实验检验已经完成。
以下记录列出本页所用来源;来源分类本身不说明完整书稿或论证是否已经公开。
- ASD published site corpus / Researcher v1.0 release
CONTINUE RESEARCH