从设计到产物：训练规则评审模型From designs to artifacts: training rubric judges設計から成果物へ：ルール評価モデルの訓練

一份设计通过评审，落地的系统仍可能遗漏字段、接错工作流或放宽访问范围。我们把评审放在两个位置：先检查 Query + Spec，用 Judge–Fix 修好设计；再让 Code Agent 按 Spec 搭建产物，将实际产物解析成 Markdown，重新对照原始 Query 验收。A design can pass review while the built system still omits a field, wires a workflow incorrectly, or grants too much access. We review at two points: first Query + Spec, using Judge–Fix to repair the design; then Code Agent builds from the Spec, the actual artifact is parsed into Markdown, and the result is checked against the original Query.設計が審査を通過しても、実装ではフィールドの欠落、ワークフローの誤接続、アクセス範囲の過大設定が起こり得る。評価点を2つ置く。まず Query + Spec を Judge–Fix で審査・修正する。次に Code Agent が Spec から構築し、実際の成果物を Markdown に変換して、元の Query に照らして検収する。

Judge Infra Model 包含这两类专用评审模型：Spec-RJM 学习设计评审，Artifact-RJM 学习产物评审。它们共享规则分层与结构化裁决的思路，但输入、规则和训练标签分别构建。产物侧还保留既有 E2E Judge，作为独立流程对照。Judge Infra Model covers two specialist judges: Spec-RJM for designs and Artifact-RJM for built artifacts. They share hierarchical rubrics and structured judgments, while inputs, rules, and training labels are constructed separately. The existing E2E Judge remains a separate comparison pipeline on the artifact side.Judge Infra Model は、設計を評価する Spec-RJM と、実際の成果物を評価する Artifact-RJM を含む。ルールの階層化と構造化判定という考え方を共有し、入力・ルール・学習ラベルはそれぞれ構築する。成果物側では、既存の E2E Judge も独立した比較パイプラインとして残す。

静态图Static figure静止図

图注与口径Figure notes図注と評価条件

Spec 是生成指导，不进入本轮产物 Judge 的需求输入。产物评审只依据可观察配置；运行结果需要运行证据。The Spec guides generation; it is not an additional requirement input to this artifact Judge. Artifact review uses observable configuration; execution claims need runtime evidence.Spec は生成の指針であり、本実験の成果物 Judge の要求入力には加えない。成果物評価は観測可能な設定に基づき、実行結果には実行証拠が必要となる。

静态图Static figure静止図

静态图Static figure静止図

2026年7—10月，Spec-RJM 从历史数据和业务规则开始，依次尝试监督微调（SFT）、强化学习（RL）、概率蒸馏（OPD）及理由监督（CoT）。后期比较使用按原始需求隔离的7,127条训练样本、792条测试样本。实验逐渐明确了几个选择：完整规则仍有必要；多问题RL在四组实验中有三组提高了错误类型F1；加入教师显式理由的三组对照中，仅学习裁决的方案表现更好。From July to October 2026, Spec-RJM progressed from historical data and business rules through supervised fine-tuning (SFT), reinforcement learning (RL), on-policy distillation (OPD), and rationale supervision (CoT). Later comparisons used 7,127 training units and 792 test units grouped by original request. Full rules remained useful; multi-issue RL improved error-mode F1 in three of four experiments; and verdict-only training outperformed explicit teacher rationales in the three-arm comparison.2026年7〜10月、Spec-RJM では過去データと業務ルールを整備し、教師あり微調整（SFT）、強化学習（RL）、確率蒸留（OPD）、理由の監督（CoT）を比較した。後半は元の要求ごとに分離した学習7,127単位・テスト792単位を使用。詳細なルールは有用で、複数問題の RL は4組中3組でエラーモード F1 を改善し、教師の明示的理由を比較した3条件では判定のみの学習が優れた。

这些结果还没有解决评审的全部问题。专用模型仍容易漏报，同类问题发生在多个对象上时尤其如此。实际产物评审则暴露出较多误报。研究后半段因此开始关注判断依据：怎样检查一个结论用了哪些事实，哪些前提尚未确认，以及前提改变后需要重审什么。Specialized models still miss issues, especially when the same error occurs on several objects. Reviews of built applications exposed more false positives. The later work therefore focuses on judgment grounds: which facts support a conclusion, which premises remain unconfirmed, and what needs reassessment when a premise changes.専用モデルには依然として見逃しがあり、特に同種の誤りが複数の対象で起こると弱い。構築済み成果物の審査では誤報も多く見つかった。後半は、結論が使った事実、未確認の前提、前提変更後の再審査対象という判断根拠に注目した。

静态图Static figure静止図

1　模型要学会怎样评审1 · What a model must learn to review1　モデルが学ぶべき評価

两类评审都以用户需求为准。Spec Judge 检查方案是否说清楚、能否实现；产物 Judge 要找到已经创建的对象与实际配置，核对字段类型、引用、筛选范围及动作依赖。更高的验收要求体现在实现证据：设计中写了“提醒负责人”，不能替代工作流里的接收人配置；静态配置本身也不能证明消息已经送达。Both judges use the user request as the standard. The Spec Judge checks whether the design is explicit and feasible. The artifact Judge must find created objects and actual configuration, checking field types, references, filter scopes, and action dependencies. The stronger acceptance requirement is implementation evidence: writing “notify the owner” in a design cannot substitute for a configured recipient, and static configuration alone does not prove delivery.どちらもユーザーの要求を基準とする。Spec Judge は設計が明確で実現可能かを確認し、成果物 Judge は作成済みのオブジェクトと実設定を探し、フィールド型、参照、絞り込み範囲、アクションの依存関係を確認する。検収で追加されるのは実装の証拠だ。設計に「担当者へ通知」と書かれていても受信者設定の代わりにはならず、静的設定だけでは通知の到達も証明できない。

多维表格的设计包括表结构、视图、仪表盘、工作流和权限。例如，“订单逾期后提醒负责人”需要到期时间、逾期判断、提醒对象和触发流程配合。只写了“发送提醒”，并不能说明方案已经满足需求。Bitable designs include tables, views, dashboards, workflows, and permissions. A request to notify an owner when an order is overdue needs a due date, an overdue condition, a recipient, and a trigger to work together. Merely writing “send a notification” does not establish that the requirement is satisfied.多次元テーブルの設計には表構造、ビュー、ダッシュボード、ワークフロー、権限がある。「注文が期限超過したら担当者へ通知する」には期限、超過判定、通知先、トリガーの連携が必要で、「通知する」とだけ書いても要求を満たしたとはいえない。

我们把这些检查整理成逐条业务规则，称为rubric。每条规则写清适用条件、违规情形和例外。模型读入用户需求、一版待评设计、一个业务域的完整规则，输出是否通过、具体问题、错误类型、严重程度及判断依据。We organized these checks into explicit rules—a rubric. Each rule specifies applicability, violations, and exceptions. Given the requirements, one design version, and a domain's full rules, the model returns a verdict, specific issues, error types, severity, and supporting grounds.検査項目を逐条のルーブリックに整理し、適用条件、違反、例外を明記した。モデルは要求、評価する設計の一つの版、ある業務領域の完全なルールを読み、合否、具体的問題、エラータイプ、重大度、判断根拠を出力する。

一条评审样本是“一条需求 × 一版设计 × 一个业务域”。One review example is one requirement × one design version × one domain.一つの審査サンプルは「一つの要求 × 一つの設計版 × 一つの業務領域」である。 同一需求可能产生多个设计版本，也会拆成多个业务域样本。训练和测试按原始需求整组切分，避免同一需求的不同版本出现在两侧。 A requirement may produce several design versions and multiple domain examples. Training and test sets are split by original requirement so its versions cannot appear on both sides. 同じ要求から複数の設計版や領域別サンプルが生じる。訓練とテストは原始要求単位で分け、同じ要求の異なる版が両側に入らないようにする。

主要指标是错误类型F1，综合考察误报和漏报。计分按业务域、问题大类、规则及错误类型匹配标签，在每条样本内去重。同一种错误出现在三个对象上，报告其中一处就可能获得这个标签的全部分数。因此，我们同时检查问题数量、完整匹配和具体证据。The main metric is error-type F1, balancing false positives and misses. Labels match on domain, issue category, rule, and error type and are deduplicated within each example. If the same error appears on three objects, reporting one can earn full credit for that label. We therefore also inspect issue counts, exact matches, and specific evidence.主指標はエラータイプF1で、誤報と見逃しを合わせて測る。領域、問題大分類、ルール、エラータイプでラベルを照合し、サンプル内では重複排除する。同じ誤りが三つの対象にあっても、一つ報告すればそのラベルの満点を得る可能性があるため、件数、完全一致、具体的根拠も調べる。

后期792条测试使用Sol、DeepSeek生成的两套参考。这里的F1衡量参考一致性，语义争议仍需要复核；其中50条曾用于提示词开发。较早两组多问题RL及后三组OPD使用另一套1,056条共同测试和该批冻结参考，两套测试分别比较。F1按可评分输出计算，异常输出另计，严格一致按全部测试样本计算。The later 792-example test has two references, generated by Sol and DeepSeek. F1 measures agreement with those references; semantic disputes still need review, and 50 examples had been used for prompt development. Two earlier multi-issue RL runs and three later OPD runs use a separate common test of 1,056 examples with its frozen reference. We compare these test sets separately. F1 uses scorable outputs, exceptions are counted separately, and strict agreement uses all test examples.後半の792件テストにはSolとDeepSeekによる二つの参照がある。F1は参照との一致を測り、意味上の争点には再審査が必要で、うち50件はプロンプト開発で使用済みである。初期の多問題RL二群と後半のOPD三群は、別の共通1,056件テストと固定参照を使い、二つのテストは別々に比較する。F1は採点可能な出力を対象とし、異常出力は別計上、厳密一致は全テストを分母とする。

四种训练方法提供了不同的学习信号。SFT学习完整答案；RL对模型自己生成的答案计分；OPD让固定教师沿学生的生成过程提供词元概率；CoT比较不同形式的理由目标。提供指导的模型称为教师，接受训练的模型称为学生。The four methods provide different learning signals. SFT learns complete answers. RL scores answers generated by the model. OPD uses a fixed teacher to provide token probabilities along the student's generation. CoT compares different rationale targets. The guiding model is the teacher; the trained model is the student.四手法の学習信号は異なる。SFTは完全な回答を学び、RLは自分で生成した回答を採点する。OPDは固定教師が学生の生成過程に沿ってトークン確率を与え、CoTは理由ターゲットの形式を比較する。指導するモデルを教師、訓練されるモデルを学生と呼ぶ。

静态图Static figure静止図

2　从数据和规则开始2 · Start with data and rules2　データとルールから始める

静态图Static figure静止図

图注与口径Figure notes図注と評価条件

路线按各实验配置取数和初始化；SFT → RL 有继承关系，OPD 与理由监督不接在 RL 之后。Each route uses its registered data and initialization. SFT → RL is a lineage; OPD and rationale supervision do not follow RL as later stages.各方式は実験で定めたデータと初期化を使用。SFT → RL は継承関係だが、OPD と理由監督は RL の後続段階ではない。

训练数据首先遇到的是版本错配。一条需求经过修复会留下多版设计，旧评审指出的问题可能已经在新版里消失。如果把新版设计配上旧标签，模型就会被教成“这里还有错”。因此，每份标签都要绑定它实际评过的设计版本和业务域；修复后的版本重新评审。The first data problem was version mismatch. Repair produces several designs for one request, and an issue in an old review may already be fixed in the new design. Pairing that design with the old label teaches the model to report a problem that is no longer there. Each label therefore has to stay attached to the exact design version and domain it reviewed; repaired versions are reviewed again.学習データで最初に直面したのは、バージョンの取り違えでした。一つの要求に対して修復後の設計が複数残り、古い評価の指摘は新版ですでに解決していることがあります。新版に旧ラベルを付けると、存在しない問題を報告するよう教えてしまいます。そのため、ラベルは実際に評価した設計バージョンと領域に結び付け、修復後の版は改めて評価します。

早期数据实验尝试增加正常设计、扩大独立需求覆盖、调整多问题输出及重采样。在共同200条测试上，扩大需求覆盖的一组细规则F1为63.67%，早期单层规则训练为53.82%。增加正常设计后，模型开始能够放行正常样本，但问题召回下降；四组的多问题全命中率都为0。训练规模和输出形式同时变化，这一阶段主要发现了数据需要补足的方向。Early data experiments added valid designs, expanded independent requirement coverage, changed multi-issue outputs, and resampled. On a common 200-example test, broader requirement coverage reached 63.67% fine-rule F1 versus 53.82% for early single-level-rule training. Adding valid designs helped the model pass valid examples but reduced issue recall; all four groups had zero all-issues recall on multi-issue cases. Training size and output format changed together, so this stage mainly identified data gaps.初期には正常設計の追加、独立要求の拡充、多問題出力の変更、再標本化を試した。共通200件テストで要求を広げた群の細粒度ルールF1は63.67%、初期の単層ルール訓練は53.82%だった。正常設計を加えると正常例を通せるようになったが問題再現率は下がり、四群とも多問題の全件検出率は0だった。規模と出力形式が同時に変わっており、この段階では主に不足データの方向を把握した。

规则本身也影响模型判断。我们一方面补充适用前提、例外和问题归属，另一方面要求先列出对象，再逐项扫描，发现一处问题后继续检查。Rules themselves shape judgments. We added applicability conditions, exceptions, and issue ownership, and asked the model to enumerate objects, scan each one, and continue after finding an issue.ルール自体も判断に影響する。適用前提、例外、問題の帰属を補い、対象を列挙して順に走査し、一つ見つけても確認を続けるよう求めた。

规则写清楚，判断和重复稳定性都能改善。不过，增加字段并不总有收益：在另一轮相同规则的比较中，要求额外填写对象、需求证据和设计证据，F1从90.32%变为89.43%。这些字段有助于人工复核，本次没有提高细标签得分。Clearer rules improved judgments and repeatability. More output fields did not always help: with the same rules, requiring objects, requirement evidence, and design evidence changed F1 from 90.32% to 89.43%. These fields aid human review but did not improve fine-label scores in that comparison.明確なルールは判断と反復安定性を改善した。ただし出力項目を増やせばよいわけではない。同じルールで対象、要求根拠、設計根拠を追加要求すると、F1は90.32%から89.43%になった。人手の再審査には有用でも、この比較の細粒度ラベル得点は上がらなかった。

标签生产也经历了调整。多轮评审投票会保留共同遗漏，直接让复核模型改答案又可能删掉成立的问题。后来的流程先合并候选，再核对证据、前提和例外，最后补查遗漏；未解决的分歧单独保留。Label production also changed. Voting can preserve shared omissions, while letting a review model rewrite answers directly can delete valid issues. The later workflow merges candidates, checks evidence, premises and exceptions, then searches for omissions. Unresolved disagreements remain separate.ラベル生成も変えた。投票は共通の見逃しを残し、再審査モデルによる直接書き換えは成立する問題を消す場合がある。後の処理は候補を統合し、根拠、前提、例外を照合し、最後に漏れを探す。未解決の不一致は別に保持する。

静态图Static figure静止図

补数据时，我们优先寻找训练里缺少的错误类型。历史问题用于定位候选，Sol 重新标注时只看需求、设计和当前完整规则，不看旧标签。经过补样和复审，错误类型覆盖从 190 种扩大到 249 种，得到 7,919 个领域评审样本。Data expansion focused on error types missing from training. Historical issues helped locate candidates, but Sol relabeled them from the request, design, and current full rules without seeing old labels. Additional sampling and review expanded coverage from 190 to 249 error types, yielding 7,919 domain-review samples.データ追加では、学習に不足している誤りの種類を優先しました。過去の指摘は候補探しに使いますが、Solの再ラベル付けには旧ラベルを渡さず、要求・設計・現行の完全な規則だけを入力しました。追加収集と再評価により、誤りの種類は190から249に増え、7,919件の領域評価サンプルを得ました。

按原始需求整组切分，7,127 条用于训练，792 条用于测试；同一需求的不同设计不会跨到两侧。训练同时保留正常、单问题和多问题设计，让模型既学会找错，也学会放行。测试覆盖 249 种训练错误中的 116 种，因此后面的总体 F1 还不能回答其余类型学得怎样。Splitting by original request gives 7,127 training samples and 792 test samples, keeping different designs for the same request on one side. Training includes clean, single-issue, and multi-issue designs so the model learns both to flag problems and to accept valid work. The test covers 116 of the 249 error types in training; its overall F1 does not establish performance on the remaining types.元の要求単位で分割し、学習7,127件、テスト792件としました。同じ要求の別設計が両側に分かれることはありません。正常・単一問題・複数問題の設計を残し、指摘すべき場合と通過させる場合の両方を学習します。テストが含むのは学習側249種のうち116種であり、後述の総合F1だけでは残る種類の習得度は分かりません。

3　SFT建立了基线，主要短板是漏报3 · SFT establishes a baseline, but misses issues3　SFTの基準と見逃し

静态图Static figure静止図

图注与口径Figure notes図注と評価条件

SFT-v48 与其继续训练的 RL-v48（step 80），复用已保存预测。参考只用于离线计分，不在学生输入中。SFT-v48 and its continued RL-v48 (step 80), using saved predictions. The reference is used only for offline scoring, never as student input.SFT-v48 とその継続学習版 RL-v48（step 80）の保存済み予測を使用。参照はオフライン採点にのみ使い、学生の入力には含めない。

图中 F1 为这个单元的去重标签集合计算；整套模型的 Test792 结果仍在正文按参考分别报告。The displayed F1 is computed from this unit’s unique label set; full Test792 model results remain reported separately by reference in the article.図の F1 はこの単位の重複除去ラベル集合から計算。モデル全体の Test792 結果は本文で参照別に報告する。

SFT的训练输入包含完整规则、需求和设计，目标是完整JSON评审答案：每类检查给出状态，每条问题包含规则、错误类型、严重程度及一句话依据。后面的CoT实验是在这个基础上额外加入整段判断理由。SFT inputs contain full rules, requirements, and a design. Targets are complete JSON reviews: a status for each check category, and a rule, error type, severity, and one-sentence justification for each issue. Later CoT experiments add a longer rationale to this baseline.SFTの入力は完全ルール、要求、設計で、目標は完全なJSON審査回答である。検査分類ごとの状態と、問題ごとのルール、エラータイプ、重大度、一文の根拠を含む。後のCoT実験はこれに長い判断理由を追加する。

最后一轮比较三个起点：Seed2 Lite基础模型；先做中间训练、再学旧版评审的模型；做过中间训练、直接学本轮评审的模型。中间训练指本次评审微调之前的额外训练经历。三组最终都使用同一批7,127条Sol标签及完整规则。The final SFT round compared three starting points: base Seed2 Lite; a model with intermediate training followed by older review training; and an intermediately trained model learning the current review task directly. Intermediate training means additional training before this review fine-tuning. All three ultimately used the same 7,127 Sol labels and full rules.最終SFTはSeed2 Lite基盤モデル、中間訓練後に旧審査を学んだモデル、中間訓練後に今回の審査を直接学ぶモデルを比較した。中間訓練とは今回の審査微調整以前の追加訓練である。三群とも最終的に同じ7,127件のSolラベルと完全ルールを使った。

三组保持相同的 LoRA 训练设置，只比较模型起点：冻结主体参数，在同一批数据上训练两轮。训练文件内部另划验证集，外部 792 条用于最终评测；详细超参数见技术报告。The three groups use the same LoRA setup and differ in model starting point: base parameters are frozen and each trains for two epochs on the same data. A validation split is taken within training, with the external 792 samples reserved for final evaluation. Full hyperparameters are in the technical report.3群のLoRA設定はそろえ、モデルの出発点を比較します。主体パラメータを固定し、同じデータで2エポック学習しました。学習データ内に検証用の分割を設け、外部792件は最終評価に使います。詳細なハイパーパラメータは技術レポートに記載しています。

Sol参考下三个起点相差1.25个百分点，换用DeepSeek参考后排名变化。中间训练组比基础组略高，先学旧版评审的一组没有在两套参考下都领先。共同短板更明显：Sol参考下精确率为71.28%—76.09%，召回率只有44.54%—47.44%。模型通常能给出格式完整的评审，却没有把问题找全。The three starting points span 1.25 percentage points under the Sol reference, and their ranking changes under DeepSeek. Intermediate training slightly beats the base model, but the older-review starting point does not lead under both references. The shared weakness is clearer: Sol-reference precision is 71.28%–76.09%, while recall is only 44.54%–47.44%. Models usually produce well-formed reviews without finding all issues.Sol参照での起点差は1.25ポイントで、DeepSeek参照では順位が変わった。中間訓練群は基盤群より少し良いが、旧審査を学んだ群が両参照で優位なわけではない。共通する弱点は明確で、Sol参照の適合率71.28%–76.09%に対し、再現率は44.54%–47.44%にとどまる。形式は整っていても問題を見つけ切れない。

直接使用通用模型仍更强。在同一792条输入和完整规则下，Sol High、Luna Medium、DeepSeek V4.1 Flash、DeepSeek V4 Pro按Sol参考的F1分别为68.28%、65.01%、60.61%、65.12%，均高于本次专用训练模型；可评分输出分别为792、784、756、792条，Luna有8条异常，Flash有36条截断。DeepSeek参考下Pro的72.42%较高，说明模型排序也受参考来源影响。General-purpose models remained stronger. On the same 792 inputs with full rules, Sol High, Luna Medium, DeepSeek V4.1 Flash, and DeepSeek V4 Pro scored 68.28%, 65.01%, 60.61%, and 65.12% F1 against Sol, all above these specialized models. They produced 792, 784, 756, and 792 scorable outputs; Luna had eight exceptions and Flash 36 truncations. Pro reached 72.42% against DeepSeek, illustrating reference-dependent rankings.汎用モデルの直接利用はなお強い。同じ792入力と完全ルールでSol High、Luna Medium、DeepSeek V4.1 Flash、DeepSeek V4 ProのSol参照F1は68.28%、65.01%、60.61%、65.12%と、今回の専用モデルを上回った。採点可能出力は792、784、756、792件で、Lunaは8異常、Flashは36打ち切りだった。DeepSeek参照ではProの72.42%が高く、順位は参照元にも依存する。

4　RL怎样奖励模型找全问题4 · Rewarding RL for finding every issue4　問題を見つけ切るためのRL報酬

RL从SFT模型继续训练，让模型先生成答案，再按答案质量更新参数。首轮奖励根据去重后的大类、规则和错误类型计分，分别尝试混合正常设计、只用问题样本。两组训练到200步，在共同500条测试上，F1从SFT起点的46.20%降至42.65%、38.25%。混合数据使参考无问题样本仍判无问题的比例从64.34%升至78.29%，却漏掉更多问题；只用问题数据时，这一比例降到0.78%。RL continues from SFT, generating answers before updating parameters from their quality. Initial rewards scored deduplicated categories, rules, and error types; one arm mixed valid designs, the other used only problematic ones. After 200 steps, common-test F1 on 500 examples fell from the SFT starting point of 46.20% to 42.65% and 38.25%. Mixing valid data increased correct no-issue decisions from 64.34% to 78.29% but missed more issues; problematic-only training reduced that rate to 0.78%.RLはSFTから継続し、回答を生成して品質に基づき更新する。初期報酬は重複排除した大分類、ルール、エラータイプで採点し、正常設計を混ぜる群と問題例のみの群を試した。200ステップ後、共通500件F1はSFT起点46.20%から42.65%、38.25%へ低下した。混合群は参照無問題例を無問題とする割合を64.34%から78.29%に上げたが、見逃しが増えた。問題例のみでは同割合が0.78%に落ちた。

后续同时调整数据和奖励。训练按无问题、1个问题、2—3个问题、4个以上问题组织；正常样本尽量取同一需求修复后的设计，多问题答案完整保留。较早规则使用810条训练、242条验证，外部测试1,056条；统一规则使用795条训练、215条验证，外部测试792条。每批数据各从两个SFT起点继续训练，共四组。We then changed data and rewards together. Training examples were grouped into zero, one, two-to-three, and four-or-more issues. Valid examples preferably came from repaired designs for the same requirement, and multi-issue answers were preserved in full. Earlier rules used 810 training, 242 validation, and 1,056 external test examples; unified rules used 795, 215, and 792. Each dataset continued from two SFT starting points, for four runs.次にデータと報酬を同時に調整した。無問題、1問題、2–3問題、4問題以上に整理し、正常例は可能な限り同じ要求の修復済み設計を使い、多問題回答を完全に保持した。初期ルールは訓練810、検証242、外部テスト1,056件、統一ルールは795、215、792件を使った。各データで二つのSFT起点から継続し、計四群とした。

四组采用GRPO：每步选32条输入，每条生成8份答案，以同一输入下的相对得分更新模型。共同运行80步，学习率0.000001，KL约束系数0.001，每10步验证；生成温度0.7，答案上限10,000 token。参考标签仅在奖励侧，学生作答时看不到。All four use GRPO: 32 inputs per step, eight answers per input, with updates based on relative scores for the same input. Runs last 80 steps, with learning rate 0.000001, KL coefficient 0.001, validation every 10 steps, temperature 0.7, and at most 10,000 answer tokens. Reference labels are available only to the reward, never to the answering student.四群ともGRPOを使い、1ステップ32入力、各8回答を生成し、同じ入力内の相対得点で更新した。80ステップ、学習率0.000001、KL係数0.001、10ステップごとの検証、生成温度0.7、回答上限10,000トークン。参照ラベルは報酬側だけにあり、学生の回答入力には入らない。

奖励的关键变化是保留错误出现次数。三个对象犯同一种错，报告一处和三处应得到不同奖励。答案先通过JSON、标签、严重度和状态校验，再计算三层计数F1：The key reward change preserves error counts. Finding one of three objects with the same error should earn less than finding all three. After JSON, label, severity, and status validation, the answer receives three levels of count-aware F1:報酬の主な変更は発生回数を残したことだ。同じ誤りを持つ三対象の一つと三つすべてでは報酬を変える。JSON、ラベル、重大度、状態を検証後、三層の件数F1を計算する。

综合得分 = 0.2 × 大类F1 + 0.3 × 规则F1 + 0.4 × 错误类型F1 + 0.1 × 完全匹配Combined score = 0.2 × category F1 + 0.3 × rule F1 + 0.4 × error-type F1 + 0.1 × exact match総合点 = 0.2 × 大分類F1 + 0.3 × ルールF1 + 0.4 × エラータイプF1 + 0.1 × 完全一致
最终奖励 = 2 × 综合得分 − 1Final reward = 2 × combined score − 1最終報酬 = 2 × 総合点 − 1

计数F1为“2 × 命中条数 ÷（预测条数＋参考条数）”。完全匹配要求错误类型及数量全部相同。双方都无问题时奖励为1；只有一方有问题，或格式校验失败时为−1。Count-aware F1 is 2 × matched count ÷ (predicted count + reference count). Exact match requires all error types and counts to agree. Both sides having no issues earns 1; only one side having issues, or failed format validation, earns −1.件数F1は「2 × 一致件数 ÷（予測件数＋参照件数）」。完全一致は全エラータイプと件数の一致を求める。双方無問題なら1、片方だけ問題あり、または形式検証失敗なら−1となる。

静态图Static figure静止図

奖励保留数量，外部F1仍按去重标签计算。奖励还只检查理由非空、没有字面重复，尚未检查依据是否成立、是否指向正确对象。这使得标签、数量、对象正确性成为三个需要分别验证的问题。The reward preserves counts, while external F1 still deduplicates labels. It checks only that justifications are nonempty and not literal duplicates—not that their grounds hold or identify the right object. Labels, counts, and object correctness therefore require separate validation.報酬は件数を保つが、外部F1は引き続きラベルを重複排除する。理由は非空で字面の重複がないかだけを確認し、根拠の成立や対象の正しさはまだ検査しない。ラベル、件数、対象の正しさは別々に検証すべき課題となる。

静态图Static figure静止図

四组多问题训练有三组提高F1。较早规则的两组分别提高约3.45、2.77个百分点；统一数据上，一组从56.97%到58.91%，另一组从56.19%到55.81%。正常设计、多问题数据及计数奖励共同构成了更有希望的方案，但这些因素一起变化，各自贡献还未分离。Three of four multi-issue runs improved F1. The earlier-rule runs gained about 3.45 and 2.77 percentage points. With unified data, one moved from 56.97% to 58.91%, the other from 56.19% to 55.81%. Valid designs, multi-issue data, and count-aware rewards together look more promising, but their individual contributions remain entangled.多問題訓練は四群中三群でF1を上げた。初期ルール二群は約3.45、2.77ポイント改善し、統一データでは一群が56.97%から58.91%、他群が56.19%から55.81%だった。正常設計、多問題データ、件数報酬を組み合わせた方式は有望だが、個々の寄与は分離できていない。

训练停止位置也值得复查。直接学习新版规则的一组，第50步验证奖励为0.4629，最终第80步降至0.4184；目前外部测试使用第80步。中间模型是否更好，还需要在同一外部测试上验证。Checkpoint choice also deserves review. In the run learning the new rules directly, validation reward peaked at 0.4629 at step 50 and fell to 0.4184 at the final step 80. External evaluation currently uses step 80; the intermediate model needs evaluation on the same external test.停止位置も要検討である。新版ルールを直接学ぶ群は第50ステップの検証報酬0.4629から、最終80ステップで0.4184へ下がった。外部評価は現在80を使っており、中間モデルも同じテストで確認する必要がある。

5　OPD能否让学生少读一些规则5 · Can OPD shorten the student's rules?5　OPDで学生のルールを短くできるか

完整规则很长。OPD（On-policy Distillation）尝试让教师保留详细规则，学生只读精简版本：保留规则大纲、合法标签及输出格式，删除适用前提、排除条件和证据要求。Full rules are long. On-policy distillation (OPD) tried keeping detailed rules for the teacher while giving the student an outline, legal labels, and output format, omitting applicability conditions, exclusions, and evidence requirements.完全なルールは長い。On-policy Distillation（OPD）では教師に詳細ルールを残し、学生には概要、合法ラベル、出力形式だけを与え、適用前提、除外条件、証拠要件を省くことを試した。

当前学生先生成答案，固定教师沿学生已经写出的前缀计算后续词元概率，学生据此调整概率分配，再生成下一批。每个输入生成1份答案，每批32条；取学生概率最高的64个候选词元，在其中重新归一化，用反向KL衡量概率差异，按词元平均计算。最终裁决的额外奖励关闭，教师获得的标签提示不进入学生输入。The current student generates an answer; a fixed teacher computes next-token probabilities along the student's prefix. The student updates its probability distribution and generates the next batch. Each input produces one answer, with batch size 32. Probabilities are renormalized over the student's top 64 tokens; reverse KL is averaged per token. Extra verdict rewards are disabled, and teacher label hints never enter the student input.現学生が回答を生成し、固定教師が学生の接頭列に沿って次トークン確率を計算する。学生は分布を調整して次のバッチを生成する。各入力1回答、バッチ32、学生の確率上位64トークン内で再正規化し、逆KLをトークン平均する。裁定への追加報酬は無効で、教師へのラベルヒントは学生入力に入らない。

首轮固定7,127条输入、Seed2 Lite基础学生和精简规则，训练223步。三个基础模型教师分别得到数量及扫描方向、参考理由、逐条标签，按Sol参考，792条测试F1分别为20.98%、20.69%、22.01%；专用SFT教师的一组为16.09%，其中657条输出为空问题集合。这轮没有达到压缩规则的目标。The first round fixed 7,127 inputs, a base Seed2 Lite student, and shortened rules for 223 steps. Three base-model teachers received count-and-scan guidance, reference rationales, or per-issue labels; Sol-reference F1 on 792 tests was 20.98%, 20.69%, and 22.01%. A specialized SFT teacher scored 16.09%, with 657 empty issue sets. This round did not achieve rule compression.初回は7,127入力、Seed2 Lite基盤学生、簡略ルールを固定し223ステップ訓練した。三つの基盤教師には件数と走査方向、参照理由、逐項ラベルをそれぞれ与え、792テストのSol参照F1は20.98%、20.69%、22.01%だった。専用SFT教師群は16.09%で、657出力が空の問題集合となり、ルール圧縮の目標には届かなかった。

下一轮固定同一个RL教师、6,580条训练输入及Seed2 Lite基础学生，训练206步，在共同1,056条测试上比较教师标签提示和学生规则长度。The next round fixed one RL teacher, 6,580 training inputs, and a base Seed2 Lite student for 206 steps, comparing teacher label hints and student rule length on the same 1,056-example test.次は同じRL教師、6,580訓練入力、Seed2 Lite基盤学生を固定し206ステップ訓練して、共通1,056件テストで教師のラベルヒントと学生ルール長を比較した。

静态图Static figure静止図

三个已运行条件的F1分别为：教师不额外看标签、学生用完整规则，52.85%；教师看标签、学生用完整规则，51.12%；教师看标签、学生用精简规则，35.03%。教师不看标签、学生用精简规则的第四格未运行。The three completed conditions scored 52.85% F1 with no teacher label hints and full student rules, 51.12% with teacher hints and full rules, and 35.03% with teacher hints and short rules. The fourth cell—no hints and short rules—was not run.実行した三条件のF1は、教師ヒントなし・学生完全ルール52.85%、教師ヒントあり・完全ルール51.12%、教師ヒントあり・簡略ルール35.03%。第四条件の教師ヒントなし・簡略ルールは未実行である。

教师都有标签时，完整学生规则高16.09个百分点；学生都用完整规则时，增加教师标签没有提高结果。三组仍低于同集SFT的59.49%和RL的62.25%。学生提示在训练及评测时同步改变，当前能确认的是完整规则方案更好。若要继续缩短输入，需要逐类删减规则，检查哪些适用条件和例外必须保留。With teacher hints held constant, full student rules gained 16.09 percentage points. With full student rules held constant, teacher hints did not help. All three remained below same-test SFT at 59.49% and RL at 62.25%. Student prompts changed in both training and evaluation; the supported conclusion is that the full-rule configuration worked better. Further compression should remove rule families separately and test which conditions and exceptions must remain.教師ヒントあり同士では学生完全ルールが16.09ポイント高く、学生完全ルール同士では教師へのラベル追加に改善はなかった。三群とも同一テストのSFT 59.49%、RL 62.25%を下回る。学生プロンプトは訓練・評価の両方で変えており、確認できるのは完全ルール構成の優位性である。さらに短縮するなら、ルール分類ごとに削り、必要な適用条件と例外を調べる。

6　学习教师理由，是否更容易判断正确6 · Does learning a teacher's rationale help?6　教師の理由を学ぶ効果

CoT实验用DeepSeek生成的同一批标签构造三种目标：理由放在普通回答里；同一段理由放在专用推理字段；只保留裁决。理由来自教师按要求输出的The CoT experiment constructed three targets from the same DeepSeek labels: rationales in the regular answer, the same rationales in a dedicated reasoning field, or verdicts only. Rationales came from the teacher's explicitly requested CoT実験は同じDeepSeekラベルから、通常回答内の理由、専用推論欄内の同じ理由、裁定のみという三目標を作った。理由は教師に明示的に要求した judge_reason，去掉置信度字段，与接口返回的原生推理文本有区别。 field, with confidence removed, rather than the API's native reasoning text. 欄から信頼度を除いたもので、APIのネイティブ推論テキストとは異なる。

三组共用7,127条输入、同一裁决和完整规则，从同一Seed2 Lite基础模型做两轮LoRA训练。训练长度上限32,768 token；评测上限16,384，temperature为0.01，评测输入没有教师理由。All three used 7,127 inputs, identical verdicts and full rules, and two LoRA epochs from the same base Seed2 Lite. Training allowed 32,768 tokens; evaluation allowed 16,384 with temperature 0.01. Evaluation inputs contained no teacher rationale.三群は7,127入力、同じ裁定、完全ルールを共有し、同じSeed2 Lite基盤からLoRAを2エポック実行した。訓練上限32,768、評価上限16,384トークン、温度0.01で、評価入力には教師理由を入れない。

静态图Static figure静止図

仅裁决方案在两套参考下都更好。Sol参考下，回答内理由、推理字段理由、仅裁决三组F1为41.54%、42.94%、51.52%；DeepSeek参考下为47.04%、46.98%、56.56%。以原始需求为单位配对重复抽样，仅裁决相对两组理由方案的四个差值，95%区间均高于0。Verdict-only training performed better against both references. For answer-field rationale, reasoning-field rationale, and verdict-only respectively, Sol-reference F1 was 41.54%, 42.94%, and 51.52%; DeepSeek-reference F1 was 47.04%, 46.98%, and 56.56%. Paired resampling by original requirement gave 95% intervals above zero for all four verdict-only advantages over the two rationale variants.裁定のみは両参照で優位だった。回答内理由、推論欄理由、裁定のみの順にSol参照F1は41.54%、42.94%、51.52%、DeepSeek参照は47.04%、46.98%、56.56%。原始要求単位の対応付き再標本化では、裁定のみと二理由方式の四つの差すべてで95%区間が0を上回った。

这组结果支持保留“仅裁决”的训练基线，但还不能把下降归因于理由内容。加入理由也拉长了训练目标，推理字段组还开启了不同的推理模式。下一次对照需要分别控制目标长度、训练步数和推理模式，才能知道模型究竟在哪一步受了影响。These results support retaining verdict-only training as the baseline, but do not isolate the effect of rationale content. Adding reasons also lengthened the targets, and the reasoning-field group used a different reasoning mode. Controlling target length, training steps, and reasoning mode separately would show where the loss arises.この結果から「裁決のみ」を基準として残しますが、低下の原因が理由の内容だとはまだ言えません。理由の追加で学習目標が長くなり、推論フィールド群では推論モードも変わりました。次の対照では目標長、学習ステップ数、推論モードを分けて制御し、どこで影響が出るかを調べます。

我们也探索过更适合训练的理由。原生理由50条小试中，47条有合法裁决、3条截断；原文在两种格式下分别有12、11条超32k，整理后都能容纳，但仍有理由和裁决冲突、整理遗漏条件。固定10条修改提示词后修正了一条冲突，合法裁决却从9条变为8条，另有漏判未解决。We also explored more trainable rationales. A 50-example native-rationale pilot produced 47 valid verdicts and three truncations. The originals exceeded 32k on 12 and 11 examples under two formats; editing made all fit, but some rationales contradicted verdicts or lost conditions. A prompt revision on 10 fixed examples corrected one contradiction, while valid verdicts fell from nine to eight and other misses remained.訓練しやすい理由も検討した。ネイティブ理由50件の試行は有効裁定47、打ち切り3件で、原文は二形式で12件、11件が32kを超えた。整理後は全件収まったが、理由と裁定の矛盾や条件の欠落は残った。固定10件でプロンプトを変えると一つの矛盾は直った一方、有効裁定は9から8件へ減り、別の見逃しも未解決だった。

另一条路线让学生借助教师分析生成短理由，每条尝试4次，检查结构、标签及同类问题次数，取最早通过的一份。62条均未通过，由两组共同排除，最终形成7,065条“短理由＋裁决”和“仅裁决”配对数据。自动筛选未检查全部理由证据，后续SFT尚未提交。Another route let students use teacher analyses to generate short rationales, trying four times per example and taking the earliest candidate that passed structure, label, and repeated-error-count checks. Both groups excluded 62 examples with no passing candidate, leaving 7,065 paired examples for short-rationale-plus-verdict and verdict-only training. Automated selection did not check every evidential claim, and follow-up SFT has not been submitted.別ルートは教師分析を使って学生に短い理由を生成させ、各4回のうち構造、ラベル、同種問題数の検査を最初に通った候補を採用した。全候補が不合格だった62件を両群から除き、「短理由＋裁定」と「裁定のみ」の対応データ7,065件を得た。自動選別は理由の全証拠を検査しておらず、後続SFTも未投入である。

7　从设计评审到判断依据7 · From design reviews to judgment grounds7　設計審査から判断根拠へ

Artifact-RJM：检查已经建好的产物Artifact-RJM: reviewing what was actually builtArtifact-RJM：実際に構築されたものを評価する

Artifact-RJM 每次只评一个域。System Prompt 提供该域的产品能力、输入解释、规则卡和输出协议；User Message 只含 domain、原始 query、当前域 artifact_markdown。Spec 留在 Code Agent 的生成输入中，不作为产物评审的额外需求；这样不会把模型自行扩写的设计当成用户必须接受的要求。Artifact-RJM reviews one domain per call. The system prompt supplies that domain’s product capabilities, input semantics, rubric cards, and output protocol. The user message contains only domain, original query, and the current domain’s artifact_markdown. The Spec remains an input to Code Agent, not an extra requirement for artifact review, so a model-expanded design cannot silently become a user obligation.Artifact-RJM は1回の呼び出しで1領域を評価する。System Prompt は当該領域の製品機能、入力の解釈、ルールカード、出力形式を定める。User Message は domain、元の query、当該領域の artifact_markdown のみ。Spec は Code Agent の生成入力に置き、成果物審査の追加要求にはしない。モデルが補った設計をユーザーの必須要求に変えてしまうことを防ぐ。

静态图Static figure静止図

图注与口径Figure notes図注と評価条件

这里是单轮 Luna 参考，不是人工金标。97 个内部测试 Case 未上传训练，但曾参与规则开发。These are single-review Luna references, not human gold labels. The 97 internal test cases were not uploaded for training but had informed rule development.参照は Luna の1回の判定で、人手の正解ラベルではない。内部テスト97 Case は学習にアップロードしていないが、ルール開発には使用されている。

五域分别是 Table、Dashboard、Workflow、Permission、View。Formula、Lookup、Link 归 Table，表视图与 Form 归 View。每条问题必须满足规则前提、违规条件及证据要求，同一最小失败事实只归到一条最具体的规则；不同对象上的独立问题仍逐条保留。模型一次输出 Category → Rubric → Mode、固定严重度、理由及该域 verdict。The five domains are Table, Dashboard, Workflow, Permission, and View. Formula, Lookup, and Link belong to Table; table views and Forms belong to View. Each reported issue must meet the rule’s prerequisites, violation conditions, and evidence requirements. One minimal failure fact is assigned to its most specific rule, while independent issues on different objects remain separate. One response contains Category → Rubric → Mode, fixed severity, reasons, and a domain verdict.5領域は Table・Dashboard・Workflow・Permission・View。Formula・Lookup・Link は Table、テーブルビューと Form は View に含める。各問題はルールの前提、違反条件、必要な証拠を満たす必要がある。同一の最小の違反事実には最も具体的なルールを1つ割り当て、異なる対象の独立した問題は別々に残す。1回の応答で Category → Rubric → Mode、固定の重大度、理由、領域判定を出力する。

训练样本按“一条 Query × 一个产物域”组织。969 个 Case 按原始 Query 分组：872 个用于训练，97 个用于内部测试，对应 4,360 / 485 个评审单元。Luna medium 用完整规则生成单轮参考标签，Seed2 Lite 在同样的规则与输入结构下做两轮 LoRA SFT。Case 的作用是切分和聚合，实际训练单位是领域评审单元。Training examples are organized as one Query × one artifact domain. The 969 cases are grouped by original Query: 872 for training and 97 for internal testing, giving 4,360 / 485 review units. Luna medium produces single-review reference labels under the full rules; Seed2 Lite receives two epochs of LoRA SFT with the same rule and input structure. Cases govern splitting and aggregation; domain review units are the training examples.学習例は「1つの Query × 1つの成果物領域」で構成する。969 Case を元の Query でグループ分割し、872 Case を学習、97 Case を内部テストに用いる。評価単位はそれぞれ4,360 / 485。Luna medium が完全なルールで1回ずつ参照ラベルを生成し、同じルールと入力構造で Seed2 Lite を2エポック LoRA SFT する。Case は分割・集約の単位であり、学習単位は領域ごとの評価例となる。

484条输出可解析，错误类型精确率32.45%、召回率53.98%、F1为40.53%。参考判定90个业务域失败，学生判定155个。模型容易把“管理”“模板”等词解释成必须创建自动化、表单或视图，同时漏掉Lookup唯一性、AI节点输入和重复触发问题。Of 485 outputs, 484 parsed. Error-type precision was 32.45%, recall 53.98%, and F1 40.53%. The reference failed 90 domain units; the student failed 155. The model overinterpreted words such as “management” and “template” as requiring automations, forms, or views, while missing Lookup uniqueness, AI-node inputs, and repeated triggers.485出力中484が解析可能で、エラータイプ適合率32.45%、再現率53.98%、F1 40.53%だった。参照は90領域を不合格、学生は155領域を不合格とした。「管理」「テンプレート」を自動化、フォーム、ビュー必須と解釈しやすい一方、Lookupの一意性、AIノード入力、重複トリガーを見逃した。

训练覆盖235种登记错误中的84种，多问题单元占4.98%；测试中2—3问题的完整一致为4/22，4个以上为1/11。补数应优先覆盖需求适用与排除条件、同一规则的多对象问题，以及对象间的执行依赖。固定快照支持配置层判断；真实送达、执行结果及修改过程需要相应运行证据。Training covered 84 of 235 registered error modes; multi-issue units accounted for 4.98%. Exact agreement was 4/22 for test units with 2–3 issues and 1/11 for those with 4+. Additional data should target applicability and exclusions, repeated issues across objects, and execution dependencies. Fixed snapshots support configuration-level judgments; actual delivery, execution outcomes, and modification history require corresponding runtime evidence.学習で観測されたエラーモードは登録235種中84種、複数問題の単位は4.98%。テストの完全一致は2〜3問題で4/22、4件以上で1/11だった。追加データでは適用・除外条件、同一ルールの複数対象、実行依存関係を優先する。固定スナップショットは設定の評価に使えるが、実際の到達・実行結果・変更履歴には対応する実行証拠が必要となる。

一个真实测试例说明了这个边界：用户要求先建主表、再填子表，并录入一道完整试题。产物没有 Workflow；Luna 判该域 pass，学生却报 missing_automation。学生把一次性的搭建顺序误读成了持续自动化需求。这个例子提示我们补充“需要自动化 / 只需完成搭建”的配对样本，同时继续检查真正的触发、引用和写入缺陷。One recorded test case makes the boundary concrete. The user asked for parent tables first, child records next, and one complete exam question as an example. The artifact had no Workflow. Luna returned pass for that domain, while the student reported missing_automation, interpreting a one-time construction order as an ongoing automation requirement. This motivates paired examples of “automation required” versus “complete the build,” alongside checks for genuine trigger, reference, and write defects.実際のテスト例では、親テーブルを先に作り、子レコードを入力して、試験問題を1件完成例として登録するよう要求されていた。成果物に Workflow はなく、Luna はこの領域を pass としたが、学生は missing_automation を報告した。一度限りの構築手順を継続的な自動化要求と誤読した例だ。「自動化が必要」と「構築を完了すればよい」の対になる例を補い、実際のトリガー・参照・書き込みの欠陥も検査する必要がある。

Artifact-RJM 与既有 E2E Judge 在同一份产物上对照。前者输出五域细粒度规则标签，再以“任一域 fail”聚合 Case；后者执行自己的子域评审和 Mix 全局仲裁。相同输入对象不代表相同规则或相同裁决机制。这里的 97 个 Case 使用固定 Markdown 重放，比较的是评审结果，不是重新搭建产物后的成功率。Artifact-RJM and the existing E2E Judge are compared on the same artifacts. The former produces fine-grained labels for five domains, with any failing domain making the case fail; the latter uses its own domain reviews and a global Mix adjudicator. Sharing an artifact does not imply identical rules or decision procedures. The 97 cases replay fixed Markdown snapshots: these comparisons measure judgments, not the success rate of newly rebuilt artifacts.Artifact-RJM と既存の E2E Judge を同じ成果物で比較する。前者は5領域の細粒度ラベルを出力し、1領域でも fail なら Case を fail と集約する。後者は独自の領域審査と Mix による全体判定を行う。対象が同じでもルールや判定手順は同一ではない。97 Case は固定 Markdown の再評価であり、新たに構築した成果物の成功率ではない。

DSH记录评审过程，ATMS管理判断前提DSH records reviews; ATMS manages their premisesDSHで審査を記録し、ATMSで前提を管理する

多路评审可能依赖同一个错误前提。DSH（DeepSeek Harness）提供模型会话、路由及调用记录，我们在其上搭建数据管线：有分歧的先复核，之后所有结果都检查事实、产品能力和待确认假设，交人工确认；规则改变后，重新检查受影响案例。Multiple reviewers may share one mistaken premise. DeepSeek Harness (DSH) provides model sessions, routing, and call logs. Our data pipeline first reviews disagreements, then checks facts, product capabilities, and unconfirmed assumptions for every result before human confirmation. Rule changes trigger reassessment of affected cases.複数審査でも同じ誤前提を共有し得る。DeepSeek Harness（DSH）はモデル会話、ルーティング、呼び出し履歴を提供する。その上に、不一致の再審査、全結果の事実・製品機能・未確認仮定の点検、人手確認を行うデータ管線を構築した。ルール変更後は影響例を再審査する。

静态图Static figure静止図

首轮试运行只跑通了部分双路评审，分歧复核和规则分析尚未产出有效结果。因此，当前可以展示的是标签管线的实现；要检验它能否减少错标或人工工作量，还需要让同一批样本走完复核和人工确认。The first trial completed only part of the two-reviewer stage; adjudication and rule analysis produced no usable results. It establishes a partial pipeline implementation. Testing whether it reduces label errors or human effort requires taking the same samples through adjudication and human confirmation.最初の試行で完了したのは二系統評価の一部で、相違の再審査と規則分析からは有効な結果が得られていません。現段階で示せるのは部分的なパイプライン実装です。誤ラベルや人手の負担が減るかを調べるには、同じサンプルを再審査と人による確認まで通す必要があります。

同一条“方案有问题”的判断，可能依赖不同依据。某项依据撤回后，判断是否还成立？我们提出用基于假设的真值维护系统（Assumption-Based Truth Maintenance System，ATMS）记录这些依赖。A conclusion that a design is flawed can have several independent grounds. If one is withdrawn, does the judgment still hold? We propose recording these dependencies with an Assumption-Based Truth Maintenance System (ATMS).「設計に問題がある」という同じ結論でも根拠は複数あり得る。一つを撤回した後も判断は成立するか。この依存関係を仮定ベースの真理維持システム（ATMS）に記録することを提案した。

输入用户需求、待评方案，以及已确认的产品能力和规则。AI提取明确需求及方案事实，把有依据的内容同待确认假设分开，记录推导关系。系统校验引用和依赖结构，再计算每条结论所需的最小假设组合，按已登记的冲突规则排除矛盾组合。人工复核时，可以同时看到判断、依据、待审假设及冲突状态。Inputs are user requirements, the proposal, and confirmed product capabilities and rules. AI extracts explicit requirements and proposal facts, separates supported content from unconfirmed assumptions, and records derivations. The system checks references and dependencies, computes minimal assumption combinations for each conclusion, and excludes contradictions under registered conflict rules. Human reviewers can inspect judgments, evidence, pending assumptions, and conflicts together.入力は要求、評価対象、確認済みの製品機能とルールである。AIは明示要求と設計事実を抽出し、根拠のある内容と未確認仮定を分け、導出関係を記録する。システムは参照と依存構造を検査し、各結論の最小仮定組合せを計算し、登録した競合規則で矛盾を除外する。人は判断、根拠、未審仮定、競合状態を同時に確認できる。

下面用一个示例说明。已核验的事实F是“方案未限制客户数据访问”；待确认的A是“客户归属规则在本案例生效”，B是“客户保密条款在本案例生效”。两项规则都要求这一访问限制，因此登记两条推导：For example, verified fact F says the proposal does not restrict access to customer data. Unconfirmed A says a customer-ownership rule applies; B says a confidentiality clause applies. Both require the restriction, so we register two derivations: 例として、確認済み事実Fは「顧客データのアクセス制限がない」、未確認Aは「顧客帰属ルールが適用」、Bは「機密条項が適用」とする。両ルールとも制限を要求するため、二つの導出を登録する：F ∧ A ⇒ V、F ∧ B ⇒ V。V表示“方案缺少应有的访问限制”。. V means the proposal lacks a required access restriction.。Vは「必要なアクセス制限が不足している」を表す。

静态图Static figure静止図

V的支持集合是V's support set is Vの支持集合は {{A}, {B}}：接受A或B中的任意一个，都有一条成立的推导路径；共同事实F不再列入假设集合。: accepting either A or B leaves a valid derivation. Shared fact F is not included among the assumptions. で、AかBのどちらかを受け入れれば一つの導出経路が成立する。共通事実Fは仮定集合に含めない。{{A,B}}则表示必须同时接受A、B，含义不同。instead requires both A and B, a different meaning. はAとBの両方を必要とし、意味が異なる。

• 撤回A，保留BWithdraw A, keep BAを撤回しBを残す：V仍由B这条路径支持。: V remains supported through B.：VはBの経路で支持される。
• A、B都撤回Withdraw both A and BAとBを両方撤回する：V失去当前依据，需要重审；这不等于方案通过。: V loses its current support and needs review; the proposal has not thereby passed.：Vは現在の根拠を失い、再審査が必要となる。設計合格を意味しない。
• 新增豁免CAdd exemption C免除Cを追加する：若C表示本案例豁免上述两项要求，且已明确登记: if C exempts this case from both requirements and we have explicitly registered ：Cが両要件の免除を示し、明示的に {A,C}、{B,C}不可同时成立，那么接受B和C就产生前提冲突，需人工确认哪项适用。其他不含冲突的前提组合仍可保留。as incompatible combinations, accepting B and C creates a premise conflict. A human must decide which applies. Other nonconflicting premise combinations can remain. を同時成立不可と登録していれば、BとCの採用は前提競合となり、人手で適用を確認する。他の競合しない組合せは残せる。

ATMS据此回答“判断依赖什么、前提变化后什么需要重审”。前提是否真实仍需证据核验；支持路径的数量也不代表概率置信度。项目已实现引用哈希、缺失前提和循环依赖检查，支持集合传播、冲突组合管理及撤回查询尚待实现。ATMS tracks what judgments depend on and what needs reassessment after a premise changes. Premise truth still requires evidence, and the number of support paths is not a probability. Reference hashing, missing-premise checks, and cycle detection are implemented; support propagation, conflict-set management, and withdrawal queries remain to be built.ATMSは判断の依存先と前提変更後の再審査対象を答える。前提の真偽には証拠確認が必要で、支持経路数は確率信頼度ではない。参照ハッシュ、欠落前提、循環依存の検査は実装済みだが、支持集合伝播、競合集合管理、撤回照会は未実装である。

用配对数据检查决定性条件Use paired examples to test decisive conditions対データで決定的な条件を検証する

因果配对合成要检查一件具体的事：Causal paired synthesis tests a specific question: 因果的な対データ合成で確かめたいのは、只改变一条规则的适用条件，模型能否改变相关判断，同时保留其他判断？If only one rule's applicability changes, can the model change the relevant judgment while preserving the others?一つのルールの適用条件だけを変えたとき、関連判断だけを変え、他の判断を保てるか、 这样的样本可以帮助模型学习判断边界，例如区分“需求提到了负责人”和“本案例确实要求访问限制”。 Such examples can teach judgment boundaries—for example, the difference between mentioning an owner and actually requiring an access restriction. という点である。例えば担当者への言及と、この例でアクセス制限が実際に必要なことの違いを学べる。

继续用客户数据访问的教学例子。用户要求建立客户跟进表，记录客户名称、负责人、联系电话。方案已经配置前两项，缺少联系电话，也未限制客户数据访问。这里明确设定：保密条款B不适用，且没有其他访问限制要求；负责人字段仍由用户需求直接要求，不取决于归属规则A。Continue the customer-access example. A user requests a follow-up table with customer name, owner, and phone number. The design includes the first two, omits the phone number, and has no access restriction. Explicitly set B as inapplicable and rule out other access requirements. The owner field remains directly required by the user, independently of A.顧客アクセスの例を続ける。ユーザーは顧客名、担当者、電話番号を持つ追跡表を要求する。設計は前二項を含み、電話番号とアクセス制限を欠く。Bは不適用で他のアクセス要件もないと明示する。担当者フィールドは要求が直接必要としており、帰属ルールAには依存しない。

两份样本的需求、方案、规则正文都相同，只改规则上下文中的一个值：The two examples share requirements, proposal, and rule text. Only one rule-context value changes: 二例の要求、設計、ルール本文は同一で、ルール文脈の一値だけを変える：A从“适用”改成“明确不适用”A changes from applicable to explicitly inapplicableAを「適用」から「明示的に不適用」へ。先登记三项预期，再让模型分别评审。. Register three expected outcomes before asking the model to review each example.。三つの期待結果を先に登録し、各例をモデルに審査させる。

静态图Static figure静止図

• 应变化Should change変えるべき項目：访问限制缺失，从“应报”变为“本项不报”。这来自A明确不适用、B及其他相关要求已经排查，而非简单撤回一个待审假设。: missing access restrictions should change from report to do not report this issue. This follows from A being explicitly inapplicable and B and other requirements being ruled out, not simply from withdrawing an unconfirmed assumption.：アクセス制限の不足は「報告」から「この項目は報告しない」へ変わる。Aが明示的不適用で、Bと他要件も排除済みだからであり、未確認仮定を撤回しただけではない。
• 应保持Should remain維持すべき項目：联系电话仍然缺失，两份样本都应报告；负责人字段已经配置，两份样本都不应报告缺失。因此，第二份方案仍有问题。: the phone number is still missing and must be reported in both; the owner field exists and must not be reported missing in either. The second design therefore still has an issue.：電話番号は両方で不足として報告し、設定済み担当者フィールドは両方で不足と報告しない。第二設計にも依然問題がある。

ATMS提供这一步的依据：访问限制结论V依赖ATMS supplies the basis: the access-restriction conclusion V depends on ATMSによる根拠は、アクセス制限結論Vが F ∧ A，字段判断则不依赖A。先检查V是否还有其他支持路径，再登记哪些项应变、哪些应保持；预期答案留给复核人员，不放进待测模型的输入。若B仍适用，V就不应变化，这对样本也不能强行标成相反标签。, while field judgments do not depend on A. Check for alternative support paths before registering what should change and what should remain. Expected answers go to reviewers, not the tested model. If B still applies, V should not change and the pair must not be forced into opposite labels. に依存し、フィールド判断はAに依存しないというものだ。別の支持経路を確認してから変更・維持項目を登録する。期待回答は再審査担当に渡し、対象モデルの入力には入れない。Bがなお適用ならVは変わらず、無理に逆ラベルの対にしてはならない。

复核通过后，每对材料保存两份输入、唯一改动、逐项标签及支持依据。同一原始案例的所有变体放在同一个训练或测试分组，避免泄漏。验证分两步：先重复评审，检查应变项是否正确变化、不变项是否被误改；再固定模型起点、训练预算，比较加入配对数据能否减少误报、漏报。当前这是合成及验证方案，尚无配对训练收益。After review, each pair stores both inputs, the sole edit, per-item labels, and supporting grounds. All variants of one original case stay in the same training or test group. Validation first repeats reviews to check intended changes and unintended flips, then fixes the model starting point and training budget to test whether paired data reduce false positives and misses. This remains a synthesis and validation design, with no measured training gain yet.再審査後、各対に二入力、唯一の変更、逐項ラベル、支持根拠を保存する。同じ元例の全変種を同じ訓練またはテスト群に置く。まず反復審査で意図した変化と誤変更を検証し、次にモデル起点と訓練予算を固定して対データが誤報・見逃しを減らすかを比べる。現時点では合成・検証設計であり、対データ訓練の利益は未測定である。

8　接下来优先解决什么8 · Priorities for the next experiments8　次の実験の優先事項

这组实验建立了可追溯的数据、完整规则下的专用模型基线，以及几条有直接对照支持的选择：继续保留详细规则；兼顾正常设计及多问题样本；理由研究保留仅裁决基线。专用模型的质量差距、不同训练起点的收益差异，都还存在。These experiments established traceable data, specialized-model baselines with full rules, and several directly tested choices: keep detailed rules, include valid and multi-issue designs, and retain verdict-only baselines for rationale research. Specialized models still trail stronger reviewers, and the benefit of training history varies.一連の実験で追跡可能なデータ、完全ルール下の専用モデル基準、直接比較で支持された選択を得た。詳細ルールを残すこと、正常設計と多問題例を含めること、理由研究で裁定のみ基準を維持することである。専用モデルの品質差と訓練履歴による利益差は残る。

下一步优先检查The next priority is checking 次の優先事項は、对象和证据是否正确whether objects and evidence are correct対象と証拠が正しいか。模型可能报对标签、数对条数，却把理由指向错误对象。先建立这类错误的独立复核样本，才能判断应当补数据、改奖励，还是调整理由训练。. A model may predict the right label and count but justify it using the wrong object. Independent review examples of these errors will help decide whether to add data, change rewards, or revise rationale training. を確認することだ。ラベルと件数が正しくても理由が誤対象を指す場合がある。こうした誤りの独立再審査例を作り、データ追加、報酬変更、理由訓練のどれを改めるか判断する。

数据管线则需要先走完一小批完整流程：确认前提，形成支持集合，撤回假设并检查受影响结论，再验证配对数据能否改善学生判断。框架已经指出了需要记录什么，效果还需要实验回答。The data pipeline should first complete a small batch end to end: confirm premises, form support sets, withdraw assumptions, inspect affected conclusions, then test whether paired examples improve student judgments. The framework identifies what to record; experiments must establish its effect.データ管線はまず少数件で全工程を完了させる。前提を確認し、支持集合を作り、仮定を撤回して影響結論を調べ、対データが学生判断を改善するか検証する。枠組みは記録すべき事項を示し、効果は実験で確かめる。