让模型只看到当时知道的事
从时间冻结、证据依赖到结果检验,理解 Investor’s Last Exam 怎样评测金融研究智能体。
如果今天问模型某家公司去年的业绩,它可能找到一份十分漂亮的答案:引用齐全,数字准确,逻辑也通顺。但把时钟拨回财报发布之前,它还能作出同样的判断吗?预测能力的评测,首先要回答这个问题。
2026 年 10 月 27 日的 ProphetLab 采访,把 Investor’s Last Exam(ILE)称为即将发布的金融评测;相关论文在次日已经公开。下面沿着论文和官方协议,拆开它最有意思的设计:怎样把智能体放回过去,怎样检查一条研究推理,以及怎样读懂最终分数。[1][2]
1 预测的难点,也在答案出现之前
普通知识问答关心“是否回答正确”。预测还要关心“回答时知道什么”。设任务要求在某次财报发布之前预测收入,而搜索结果已经包含发布后的新闻,那么准确答案可能来自检索;这没有检验我们原本关心的预测过程。
有两种自然的评测路线。实时预测先收答案,再等待现实揭晓;FutureX 属于这一路线。历史回放则选择已经发生的事件,把智能体可访问的信息恢复到过去某一刻。它能较快检验较多历史任务,但必须把“事件已经发生”和“智能体可以看到结果”分开。ILE 采用后一路线。[3][2]
静态图
这里有一个容易忽略的边界:冻结检索环境,只约束模型这一次使用工具能看到什么。它不能自动删除模型参数中可能记住的历史结果。因此,“工具证据没有越过时间线”比“模型绝不可能知道未来”更准确;后者需要额外的污染检查。论文也明确讨论了这个限制。[2,§5]
2 冻结的应该是文档版本
一篇网页可以有很早的发布日期,却在后来被编辑,补入新的收入数字。财报的“报告期”也不是它的公开时间:写着第一季度,不代表三月底就能取得。只在搜索词里加一个日期,或者按页面标题中的年份筛选,无法处理这些情况。
ILE 给文档的不同版本保存可用时间,并保留旧版本。任务时间为 ,授权允许访问的最晚时间为 ,实际边界取两者中更早的一个。一个已获授权的版本 能否进入证据集,取决于它的可用时间 是否严格早于边界。[2,附录 B.2]
如果某条记录只知道发布日期、不知道几点公开,就保守地等到那一天结束后再允许访问。同一个文档有多个可用版本时,默认检索取边界之前最新的合格版本,避免把旧版与修订版拼成一个从未存在过的信息状态。
虚构资料,统一使用 UTC。拖动时间,观察同一文档的新旧版本;开启授权限制后,任务时间再往后移也不会扩大访问范围。
有效边界为 6 月 3 日 00:00。默认使用经营简报初版;后来修订的 120 不能进入当前判断。
注意滑杆经过 6 月 3 日 10:00 时,修订版还不满足严格早于边界的条件;再向后移才会出现。这一点很小,却决定了“同一时间发布”究竟算不算事先知道。
3 时间门必须覆盖整个工具链
只过滤搜索结果还不够。模型可能点击一个链接,读到页面的当前版本;也可能下载一个不断更新的表格,或者从缓存中取得后来生成的摘要。只要其中一条路径越过时间线,前面的过滤就失去意义。
ILE 的做法是让搜索、阅读、下载、缓存返回和结构化表格导出共用版本级约束。导出的数据再交给关闭网络访问的本地计算环境处理。评测者保有的参考分析、评分规则和后来结果走另一条路径,用来判卷,不提供给作答智能体。[4]
静态图
从设计上看,这把“请不要看未来”的文字要求,变成了环境可以执行的访问规则。它也让审计有了具体对象:某个判断究竟来自哪一版资料,那一版在当时是否已经可用。这比只看最终报告写得是否可信更容易核查。
4 找到数字,还要接对推理
资料干净之后,还剩下一类错误:每个数字都抄对了,结论却不成立。例如,公司的账上现金、未来现金流和贷款额度可以分别查到,但“有一笔贷款额度”不等于“现在可以提款”。授信条件可能是推理中决定性的那一环。
ILE 将研究问题展开为证据、假设、计算和判断之间的依赖关系,而不只核对报告末尾的一句话。下面用一个更小的自拟例子看这种区别:公司有 20 单位现金,预计产生 10 单位净现金流,需要偿付 60 单位债务;另有 50 单位授信,只有满足约定条件才能动用。所有金额采用同一个抽象单位。
这里 是未来净现金流的假设, 是在这个简化模型中可用于偿债的资金, 是资金缺口。正值表示还缺钱,负值表示偿债后还有结余。改变条件或现金流假设,应该让计算与结论一起改变。
可用资金 80,偿还 60 后结余 20;这个判断依赖授信可提款,以及 10 单位净现金流能够实现。
默认状态下,,偿债后结余 20。取消提款条件后,,反而还缺 30。数字并没有变,变的是哪些数字能够合法地进入这一步计算。进一步把现金流滑到 0,即使可以提款,结余也会从 20 降到 10。
这说明好的研究答案不仅给一个结论,还应让读者看见结论依赖什么。证据说的是“额度为 50”,条件说的是“当前可提款”,假设说的是“未来能产生 10”,计算才把它们连接成“是否够偿债”。这几层混在一起时,流畅的语言反而可能掩盖断点。
5 研究分数、预测结果和收益是三件事
ILE 包含 86 项任务,覆盖公司研究和市场任务。单个任务的分数来自加权评分要求,而总体分数是这些任务分数的等权平均。所以总体得分 68.1,不能读作“68.1% 的预测正确”。它同时受到证据、计算、推理及任务要求的影响。[4]
比较细项也要看分母。分类分数只平均属于该分类的任务;结果分数则在有后来结果评分项的适用任务中,先按相关分值归一化,再聚合。把这些数放在一起,可以分析能力结构,但不能把它们当作同一批预测的几种正确率。
静态图
论文中的一个读数很能说明问题:GPT-6 Astra 的总体分数为 68.1,而已实现预测结果的 Combined 分数为 37.7。这两个数本身不能相减来衡量“预测下降了多少”,因为它们的任务和评分项不同;它们提示我们进一步检查,支持分析与结果判断是否都做好了。[2,表 3、13]
投资模拟又多了一层决策规则。论文另选 20 个机会,涉及 11 家公司和 13 次披露,每个机会分配初始资金的二十分之一,以相对当时分析师预期的预测信号决定多空,并规定入场、离场与费用。这组机会不是直接把 8 道市场任务各算一笔交易。模拟结果对应这套回看规则和有限样本,既不是年化收益,也不是模型在真实账户持续交易的记录。[2,投资模拟及附录]
因此,阅读排行榜时可以顺着三个问题走:研究过程是否可靠;未来量值有没有预测对;把预测变成一套明确行动规则之后,结果又如何。每向后走一步,都增加了新的条件,不能省略中间环节。
6 写出答案,还要完成交付
智能体在聊天窗口里写了一份报告,和它成功提交了一份可接受的报告,是两回事。ILE 因而区分答案质量口径与严格提交口径:前者可以评价最后可取得的答案;后者要求通过 submit_answer 成功提交,遗漏或被拒绝的提交按零分计。[4]
用一个自拟的两题例子看差别:第一题答案质量 80,成功提交;第二题答案质量 60,却没有完成规定提交。按可取得答案评分,平均是 70;按严格提交评分,平均变成 40。后者的下降不全是金融推理变差,也可能是操作流程没有走完。
把时间边界、研究推理、结果检验与操作完成度分开之后,评测才有诊断作用。模型可能读到了不该看到的版本,可能漏掉一个提款条件,也可能推理正确却没有交付;这三种错误需要完全不同的修复。
ILE 给出的价值,是让这些环节更容易被分别检查。论文的分数仍然依赖任务选择、评分规则和评判模型,不能推出普遍的投资能力排名;公开仓库目前也不等于全部私有语料与执行环境已经开放。理解它的方法,比把某个名次当作最终答案更有用。[2,§5、附录 I.3][5]
参考来源
- 天天开柒 · ProphetLab 采访,2026-10-27。选题入口;采访中的宣传、募资与个人收益叙述未用于证明评测效果。
- Jiang et al. · Investor’s Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future?,2026-10-28,v1。版本化证据、研究任务、结果与限制的主要来源。
- FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction;官方项目。用于区分实时预测与历史回放。
- ILE 官方评测协议。任务平均、结果指标与两种提交口径。
- ILE 官方仓库与结果说明。公开内容范围核对至 2026-10-31。