让模型只看到当时知道的事

从时间冻结、证据依赖到结果检验,理解 Investor’s Last Exam 怎样评测金融研究智能体。

如果今天问模型某家公司去年的业绩,它可能找到一份十分漂亮的答案:引用齐全,数字准确,逻辑也通顺。但把时钟拨回财报发布之前,它还能作出同样的判断吗?预测能力的评测,首先要回答这个问题。

2026 年 10 月 27 日的 ProphetLab 采访,把 Investor’s Last Exam(ILE)称为即将发布的金融评测;相关论文在次日已经公开。下面沿着论文和官方协议,拆开它最有意思的设计:怎样把智能体放回过去,怎样检查一条研究推理,以及怎样读懂最终分数。[1][2]

1 预测的难点,也在答案出现之前

普通知识问答关心“是否回答正确”。预测还要关心“回答时知道什么”。设任务要求在某次财报发布之前预测收入,而搜索结果已经包含发布后的新闻,那么准确答案可能来自检索;这没有检验我们原本关心的预测过程。

有两种自然的评测路线。实时预测先收答案,再等待现实揭晓;FutureX 属于这一路线。历史回放则选择已经发生的事件,把智能体可访问的信息恢复到过去某一刻。它能较快检验较多历史任务,但必须把“事件已经发生”和“智能体可以看到结果”分开。ILE 采用后一路线。[3][2]

静态图实时预测先提交后等待结果;历史回放隔离旧证据与后来结果。
图 1 · 两条时间路线。箭头表示信息或评测流程,不表示模型能力的高低;历史回放中的评测者可以知道后来结果,作答智能体不能经工具取得它。

这里有一个容易忽略的边界:冻结检索环境,只约束模型这一次使用工具能看到什么。它不能自动删除模型参数中可能记住的历史结果。因此,“工具证据没有越过时间线”比“模型绝不可能知道未来”更准确;后者需要额外的污染检查。论文也明确讨论了这个限制。[2,§5]

2 冻结的应该是文档版本

一篇网页可以有很早的发布日期,却在后来被编辑,补入新的收入数字。财报的“报告期”也不是它的公开时间:写着第一季度,不代表三月底就能取得。只在搜索词里加一个日期,或者按页面标题中的年份筛选,无法处理这些情况。

ILE 给文档的不同版本保存可用时间,并保留旧版本。任务时间为 tc,授权允许访问的最晚时间为 tauth,实际边界取两者中更早的一个。一个已获授权的版本 v 能否进入证据集,取决于它的可用时间 a(v) 是否严格早于边界。[2,附录 B.2]

C=min(tc,tauth),v 可用⟺a(v)<C

如果某条记录只知道发布日期、不知道几点公开,就保守地等到那一天结束后再允许访问。同一个文档有多个可用版本时,默认检索取边界之前最新的合格版本,避免把旧版与修订版拼成一个从未存在过的信息状态。

把证据放回它公开的时间

虚构资料,统一使用 UTC。拖动时间,观察同一文档的新旧版本;开启授权限制后,任务时间再往后移也不会扩大访问范围。

经营简报 · 初版6 月 1 日 10:00 公开 · 收入预估 100
默认版本
经营简报 · 修订版6 月 3 日 10:00 公开 · 收入预估 120
尚不可用
客户公告 · 只知道日期6 月 2 日公开 · 等当天结束后才放行
可用
实际业绩公告6 月 5 日 18:00 公开 · 收入结果 115
尚不可用

有效边界为 6 月 3 日 00:00。默认使用经营简报初版;后来修订的 120 不能进入当前判断。

图 2 · 文档版本的时间门。文档、数值和日期均为教学构造;正式评测中同一道题的截止时间由任务固定,不能为了找到答案向后移动。初版被修订版替代后仍是可访问的历史版本。

注意滑杆经过 6 月 3 日 10:00 时,修订版还不满足严格早于边界的条件;再向后移才会出现。这一点很小,却决定了“同一时间发布”究竟算不算事先知道。

3 时间门必须覆盖整个工具链

只过滤搜索结果还不够。模型可能点击一个链接,读到页面的当前版本;也可能下载一个不断更新的表格,或者从缓存中取得后来生成的摘要。只要其中一条路径越过时间线,前面的过滤就失去意义。

ILE 的做法是让搜索、阅读、下载、缓存返回和结构化表格导出共用版本级约束。导出的数据再交给关闭网络访问的本地计算环境处理。评测者保有的参考分析、评分规则和后来结果走另一条路径,用来判卷,不提供给作答智能体。[4]

静态图带版本的资料先经过统一时间门,再进入检索阅读和断网计算;后来的结果只进入独立评测。
图 3 · 工具证据共用一个边界。图把实现归纳为信息流:绿色路径用于作答,后来结果仅流向评测;具体访问还需要满足数据授权。

从设计上看,这把“请不要看未来”的文字要求,变成了环境可以执行的访问规则。它也让审计有了具体对象:某个判断究竟来自哪一版资料,那一版在当时是否已经可用。这比只看最终报告写得是否可信更容易核查。

4 找到数字,还要接对推理

资料干净之后,还剩下一类错误:每个数字都抄对了,结论却不成立。例如,公司的账上现金、未来现金流和贷款额度可以分别查到,但“有一笔贷款额度”不等于“现在可以提款”。授信条件可能是推理中决定性的那一环。

ILE 将研究问题展开为证据、假设、计算和判断之间的依赖关系,而不只核对报告末尾的一句话。下面用一个更小的自拟例子看这种区别:公司有 20 单位现金,预计产生 10 单位净现金流,需要偿付 60 单位债务;另有 50 单位授信,只有满足约定条件才能动用。所有金额采用同一个抽象单位。

A=20+F+501满足提款条件,G=60−A

这里 F 是未来净现金流的假设,A 是在这个简化模型中可用于偿债的资金,G 是资金缺口。正值表示还缺钱,负值表示偿债后还有结余。改变条件或现金流假设,应该让计算与结论一起改变。

一项条件,改变整个判断
取消后,50 单位额度不能算入可用资金。
现有现金20
未来净现金流10
可提款授信50
可用资金80
资金
80
债务
60

可用资金 80,偿还 60 后结余 20;这个判断依赖授信可提款,以及 10 单位净现金流能够实现。

图 4 · 一条可追溯的条件链。自拟算例,不是 ILE 的原题或实测结果;它省略了现金流时点、受限现金等现实因素,只演示条件如何传导到计算与结论。

默认状态下,20+10+50=80,偿债后结余 20。取消提款条件后,20+10=30,反而还缺 30。数字并没有变,变的是哪些数字能够合法地进入这一步计算。进一步把现金流滑到 0,即使可以提款,结余也会从 20 降到 10。

这说明好的研究答案不仅给一个结论,还应让读者看见结论依赖什么。证据说的是“额度为 50”,条件说的是“当前可提款”,假设说的是“未来能产生 10”,计算才把它们连接成“是否够偿债”。这几层混在一起时,流畅的语言反而可能掩盖断点。

5 研究分数、预测结果和收益是三件事

ILE 包含 86 项任务,覆盖公司研究和市场任务。单个任务的分数来自加权评分要求,而总体分数是这些任务分数的等权平均。所以总体得分 68.1,不能读作“68.1% 的预测正确”。它同时受到证据、计算、推理及任务要求的影响。[4]

Soverall=186∑i=186Si

比较细项也要看分母。分类分数只平均属于该分类的任务;结果分数则在有后来结果评分项的适用任务中,先按相关分值归一化,再聚合。把这些数放在一起,可以分析能力结构,但不能把它们当作同一批预测的几种正确率。

静态图研究评分看任务要求,结果评分看事后实现值,交易模拟看具体投资规则下的回报。
图 5 · 三种读数,三个问题。各自的分母、评价对象和成立条件不同,不能把左侧分数直接换算为右侧收益。

论文中的一个读数很能说明问题:GPT-6 Astra 的总体分数为 68.1,而已实现预测结果的 Combined 分数为 37.7。这两个数本身不能相减来衡量“预测下降了多少”,因为它们的任务和评分项不同;它们提示我们进一步检查,支持分析与结果判断是否都做好了。[2,表 3、13]

投资模拟又多了一层决策规则。论文另选 20 个机会,涉及 11 家公司和 13 次披露,每个机会分配初始资金的二十分之一,以相对当时分析师预期的预测信号决定多空,并规定入场、离场与费用。这组机会不是直接把 8 道市场任务各算一笔交易。模拟结果对应这套回看规则和有限样本,既不是年化收益,也不是模型在真实账户持续交易的记录。[2,投资模拟及附录]

因此,阅读排行榜时可以顺着三个问题走:研究过程是否可靠;未来量值有没有预测对;把预测变成一套明确行动规则之后,结果又如何。每向后走一步,都增加了新的条件,不能省略中间环节。

6 写出答案,还要完成交付

智能体在聊天窗口里写了一份报告,和它成功提交了一份可接受的报告,是两回事。ILE 因而区分答案质量口径与严格提交口径:前者可以评价最后可取得的答案;后者要求通过 submit_answer 成功提交,遗漏或被拒绝的提交按零分计。[4]

用一个自拟的两题例子看差别:第一题答案质量 80,成功提交;第二题答案质量 60,却没有完成规定提交。按可取得答案评分,平均是 70;按严格提交评分,平均变成 40。后者的下降不全是金融推理变差,也可能是操作流程没有走完。

Sanswer=80+602=70,Sstrict=80+02=40

把时间边界、研究推理、结果检验与操作完成度分开之后,评测才有诊断作用。模型可能读到了不该看到的版本,可能漏掉一个提款条件,也可能推理正确却没有交付;这三种错误需要完全不同的修复。

ILE 给出的价值,是让这些环节更容易被分别检查。论文的分数仍然依赖任务选择、评分规则和评判模型,不能推出普遍的投资能力排名;公开仓库目前也不等于全部私有语料与执行环境已经开放。理解它的方法,比把某个名次当作最终答案更有用。[2,§5、附录 I.3][5]

参考来源

  1. 天天开柒 · ProphetLab 采访,2026-10-27。选题入口;采访中的宣传、募资与个人收益叙述未用于证明评测效果。
  2. Jiang et al. · Investor’s Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future?,2026-10-28,v1。版本化证据、研究任务、结果与限制的主要来源。
  3. FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction;官方项目。用于区分实时预测与历史回放。
  4. ILE 官方评测协议。任务平均、结果指标与两种提交口径。
  5. ILE 官方仓库与结果说明。公开内容范围核对至 2026-10-31。