Spec 生成优化技术报告Spec Generation Optimization: Technical ReportSpec生成最適化：技術レポート

技术报告 · 记录窗口 2026-06-01—2026-10-10 · 2026-10-20 修订Technical report · June 1–October 10, 2026 · Revised October 20, 2026技術レポート · 対象期間 2026-06-01〜2026-10-10 · 2026-10-20改訂

摘要Abstract概要

本报告回溯接手Spec生成任务后，在PE搜索、规则组织、生成架构、评测口径、监督数据和下游执行上的连续实验，必要时引用5月历史基线。核心目标是在一次模型调用中生成符合需求与产品能力的SpecDoc，并验证优化后的准确率和成本。This report traces successive experiments in PE search, rule organization, generation architecture, evaluation protocols, supervision data, and downstream execution since taking over Spec generation, with May baselines where relevant. The goal is to produce a SpecDoc that satisfies requirements and product capabilities in one model call, and to measure its accuracy and cost.Spec生成を担当して以降のPE探索、ルール整理、生成構造、評価条件、教師データ、下流実行の実験を振り返り、必要に応じて5月の基準値を参照する。目的は、一回のモデル呼び出しで要求と製品能力に適合するSpecDocを生成し、精度とコストを検証することにある。

主要发现有四点。第一，定点修改改善了部分目标问题，但四域联合通过率仍受其他题退化影响，局部检查与全量验收需要配合使用。第二，呈现规范化和直接搬运高分样本特征出现多组回退，重构由此转向职责分层与字段依赖规划。第三，分层生成PE在七月统一口径下取得Dev150 16/150、Former50 31/50，Dev平均输入约8.8k；后续八轮搜索0 KEEP，同一PE两次全量运行有19题翻转，重复性成为下一阶段重点。第四，人工PE专项的动态策略记忆取得历史KEEP，后期继续训练配置在Building0.7同题对照中由32/50升至35/50。各阶段按题集与Judge分别报告。Four findings stand out. Targeted edits improved some cases, but regressions elsewhere limited four-domain joint accuracy, requiring both local and full-set checks. Presentation normalization and direct transfer of high-scoring sample features repeatedly regressed, shifting restructuring toward responsibility layers and field dependencies. Under July's unified protocol, the layered PE achieved 16/150 on Dev150 and 31/50 on Former50 at about 8.8k Dev input tokens; eight subsequent search rounds yielded no KEEP, and two full runs of the same PE flipped 19 cases, making repeatability the next priority. Dynamic strategy memory produced historical KEEPs in the human-PE track; later, continued training improved a paired Building0.7 result from 32/50 to 35/50. Results remain grouped by dataset and Judge.主な知見は四つある。局所編集で目標ケースは改善したが、他ケースの悪化が四領域同時合格率を制約し、局所確認と全件検証の併用が必要だった。表現の正規化と高得点例の表面的特徴の移植は複数回悪化し、責務の分離とフィールド依存の設計へ方針を転換した。7月の統一条件では、階層型PEがDev150で16/150、Former50で31/50、Dev平均入力約8.8kを達成した。その後の八回の探索はKEEPゼロで、同じPEの全件実行二回で19問が反転し、再現性が次の焦点となった。人手PE系統では動的戦略メモリがKEEPを獲得し、後期の継続学習設定はBuilding0.7の同一問題比較で32/50から35/50へ改善した。各段階はデータセットとJudge別に報告する。

静态图Static figure静止図

1　任务与评测范围1 Task and evaluation scope1　タスクと評価範囲

输入为用户Query及其澄清Q&A，输出是下一步搭建系统要消费的Lite SpecDoc。七月主线要求一次Seed2调用直接生成，不依赖外部Planner、生成后LLM repair、Contract剥离或best-of。离线Harness可使用多Agent分析和修改下一轮PE，这不改变线上调用次数。The input is the user query and clarification Q&A; the output is a Lite SpecDoc consumed by the downstream builder. July's main track requires one direct Seed2 generation call, without external planners, post-generation LLM repair, contract stripping, or best-of selection. The offline harness may use multiple agents to analyze and revise the next PE without changing the online call count.入力はユーザーQueryと確認Q&A、出力は下流の構築処理が利用するLite SpecDocである。7月の主系統はSeed2一回での直接生成を要件とし、外部Planner、生成後のLLM修正、Contract除去、best-of選択を使わない。オフラインHarnessで複数Agentが分析し次のPEを変更しても、オンライン呼び出し回数は変わらない。

评测主要有两类：Spec Judge检查设计文档；E2E Judge检查执行器搭建的Base。文档通过后仍需验证实际产物。十月Building Mix与七月四域strict使用不同评测对象和指标。Spec Judges evaluate design documents; E2E Judges evaluate the Base built by the executor. Passing the document check does not replace artifact validation. October's Building Mix and July's four-domain strict evaluation use different objects and metrics.Spec Judgeは設計文書を、E2E Judgeは実行器が構築したBaseを評価する。文書合格後も実成果物の検証が必要である。10月のBuilding Mixと7月の四領域strictでは、評価対象と指標が異なる。

Spec主线采用四域联合通过率：Table、Dashboard、Workflow、Permission均通过才计为整题通过。领域分数用于定位问题，全量通过数用于验收PE；E2E结果则按对应Building版本单独报告。The main Spec metric is joint four-domain pass rate: a case passes only if Table, Dashboard, Workflow, and Permission all pass. Domain scores locate problems; full-set pass counts accept or reject a PE. E2E results are reported separately for each Building version.Specの主指標は四領域同時合格率で、Table・Dashboard・Workflow・Permissionの全てに合格して初めて一問合格となる。領域別スコアは原因特定に、全件合格数はPE採否に用いる。E2E結果はBuildingのバージョン別に報告する。

2　PE优化主线与运行方式2 PE optimization and execution2　PE最適化と実行方式

静态图Static figure静止図

图注与口径Figure notes図注と評価条件

MASP、MASPCombine、自由归因与动态记忆是不同实验路线。图展示共用迭代闭环；子集大小、SP 策略和 KEEP 门槛按各实验分别记录。MASP, MASPCombine, free attribution and dynamic memory are separate experiment routes. This is their shared loop; subset sizes, SP strategies and KEEP thresholds remain run-specific.MASP・MASPCombine・自由分析・動的記憶は別々の実験方式。図は共通ループを示し、部分集合の規模・SP 戦略・KEEP 基準は実験ごとに記録する。

2.1　主线：自动修改PE2.1 Main track: automatic PE editing2.1　主系統：PEの自動編集

主线优化对象是Prompt和Skills：离线Agent提出修改，按各run固定的生成协议产生Spec，再由Judge验收候选。下表列出五种PE搜索方式；生成流程对照见第4节。 Optimization targets Prompt and Skills. Offline agents propose edits, generate Specs under the fixed protocol of each run, and submit candidates to the Judge. The table lists five search methods; generation-protocol comparisons are in Section 4. 最適化対象はPromptとSkillsである。オフラインAgentが変更を提案し、各runの固定生成条件でSpecを作り、Judgeが候補を評価する。表には五つの探索方式を示す。生成方式の比較は第4節を参照。

静态图Static figure静止図

方法调研覆盖DSPy/MIPRO、OPRO、GEPA、ProTeGi/APO、TextGrad、EvoPrompt、APE、Promptbreeder、PromptWizard和AutoPrompt。本项目将搜索实现为四个环节：失败归因、局部编辑、候选评测和反馈记忆。MASP以策略为单位提出修改，Guarded-Patch以受保护的补丁为单位生成候选。实验结果按题集、Judge与调用预算分组。The method survey covered DSPy/MIPRO, OPRO, GEPA, ProTeGi/APO, TextGrad, EvoPrompt, APE, Promptbreeder, PromptWizard, and AutoPrompt. Our search has four stages: failure attribution, local editing, candidate evaluation, and feedback memory. MASP proposes strategy-level edits; Guarded-Patch generates protected patches. Results are grouped by dataset, Judge, and call budget.DSPy/MIPRO、OPRO、GEPA、ProTeGi/APO、TextGrad、EvoPrompt、APE、Promptbreeder、PromptWizard、AutoPromptを調査した。本プロジェクトの探索は失敗分析、局所編集、候補評価、フィードバック記憶の四段階である。MASPは戦略単位、Guarded-Patchは保護されたパッチ単位で候補を提案する。結果はデータセット、Judge、呼び出し予算別に整理する。

静态图Static figure静止図

五条PE路线的评测粒度不同：MASP和Combine逐项验收修改；Guarded-Patch按候选重复评测后排序；人工PE专项两条线固定修改执行协议，并独立积累历史。策略库由静态SP扩展到Data的动态记录，允许合并、停用和标记冲突。 The five tracks use different evaluation units. MASP and Combine accept edits individually; Guarded-Patch ranks repeatedly evaluated candidates; the two human-PE tracks edit only the execution protocol and maintain independent histories. Static SPs evolved into Data's dynamic records, supporting merge, deactivation, and conflict flags. 五系統で評価粒度は異なる。MASPとCombineは変更ごとに採否を判定し、Guarded-Patchは反復評価した候補を順位付けする。人手PEの二系統は実行プロトコルのみを変更し、履歴を独立に蓄積する。静的SPはDataの動的記録へ拡張され、統合、無効化、矛盾の記録を可能にした。

2.2　Goal 与 Loop2.2 Goal and Loop2.2　GoalとLoop

静态图Static figure静止図

生成模式、搜索方法和调度方式分别记录：Generation mode, search method, and scheduling are recorded separately:生成モード、探索方式、実行管理を分けて記録する：

早期Goal执行出现策略误标、收尾理由漂移等问题；A1将更多裁决交给代码，统一记录候选、评测与回滚状态。该阶段六轮终局均为DISCARD。 Early Goal runs mislabeled strategies and drifted in their stopping rationale. A1 moved more decisions into code and standardized candidate, evaluation, and rollback state. All six rounds in that stage ended in DISCARD. 初期Goalでは戦略の誤表示や終了理由のずれが生じた。A1は判定をよりコード側へ移し、候補・評価・ロールバック状態を統一した。この段階の六回は全てDISCARDで終了した。

驱动器曾将历史候选混入当前排序，导致实验比较对象出错；清理候选状态后，循环能够完成评测与回滚，候选仍未通过验收。运行状态与 KEEP 统计由同一份结构化记录提供，便于核对每次裁决使用的候选和证据。The driver once mixed historical candidates into the current ranking, changing what the experiment compared. Clearing that state restored evaluation and rollback, but the candidate still failed acceptance. Run status and KEEP counts now use the same structured record so each decision can be checked against its candidate and evidence.ドライバーが過去の候補を現在の順位付けに混ぜ、比較対象を取り違えたことがありました。候補状態を整理すると評価とロールバックは完了しましたが、候補自体は採用基準を満たしませんでした。実行状態とKEEP数を同じ構造化記録から取得し、各判断の候補と根拠を照合できるようにしています。

静态图Static figure静止図

Pro策略库包含SP-1a～1i与SP-2～21，共29项；Lite/Standard后续使用SP-1～12。实验配置记录具体策略库与版本，成本按实际请求usage统计。The Pro library contains 29 strategies: SP-1a–1i and SP-2–21. Lite/Standard later uses SP-1–12. Each experiment records its strategy library and version; costs use actual request usage.Pro戦略庫はSP-1a〜1iとSP-2〜21の計29項目。後のLite/StandardはSP-1〜12を使う。各実験で戦略庫と版を記録し、コストは実リクエストのusageで集計する。

3　主线：PE修改的结果与取舍3 PE edits: results and decisions3　PE変更の結果と判断

实验按题集、Judge和生成模式分组，每组列出自己的基线。“取舍”同时记录PE候选的去留，以及从实验中保留下来的编辑和验收机制。Experiments are grouped by dataset, Judge, and generation mode, each with its own baseline. Decisions cover both candidate acceptance and the editing or validation mechanisms retained from the experiment.実験を題集、Judge、生成モードで分け、それぞれの基準を示す。採否にはPE候補の採用だけでなく、実験から残した編集・検証の仕組みも含める。

六月历史50题：定点编辑与补丁搜索June · Former 50: targeted edits and patch search6月・旧50題：局所編集とパッチ探索

设置：Lite，历史50题，各自run的四域Judge。Setup: Lite, former 50 cases, each run's four-domain Judge.設定：Lite、旧50題、各実行時の四領域Judge。 两条线分别建立基线；当期Judge、题集文件与生成服务未完整冻结。 Each track established its own baseline; the contemporaneous Judge, dataset file, and generation service were not fully frozen. 各系統は独自の基準を作った。当時のJudge、題集ファイル、生成サービスは完全には固定されていなかった。

后期复测：本地GPT-5.2 low，四域strict-AND，Lite50题。Later retest: local GPT-5.2 low, four-domain strict-AND, Lite 50 cases.後の再評価：ローカルGPT-5.2 low、四領域strict-AND、Lite 50題。 此次复测同时涉及题集、生成端点等条件变化，历史配置未完整冻结。 The retest also changed the dataset, generation endpoint, and other conditions; historical settings were not fully frozen. 題集、生成エンドポイント等も変化しており、過去設定は完全固定されていない。

六月开发10题：改写算子与策略先验June · Dev 10: edit operators and strategy priors6月・開発10題：編集操作と戦略事前情報

设置：Guarded-Patch当期Judge，Lite开发10题；另10题独立列行。Setup: contemporaneous Guarded-Patch Judge, Lite Dev 10; a separate 10-case slice is listed separately.設定：当時のGuarded-Patch Judge、Lite開発10題。別の10題は独立行で示す。 重复判定的binary按当期阈值统计。 Repeated binary decisions use the threshold of that period. 反復の二値判定は当時の閾値で集計。

六月Lite50题：MASPCombine局部修复June · Lite 50: MASPCombine local repair6月・Lite 50題：MASPCombineの局所修復

设置：6月12日当期生产四域Judge，历史50题，同窗基线。Setup: June 12 production four-domain Judge, former 50, contemporaneous baseline.設定：6月12日の本番四領域Judge、旧50題、同時期基準。 Judge hash未完整冻结。 Judge hashes were not fully frozen. Judgeハッシュは完全固定されていない。

七月专项100题：旧JSON Schema JudgeJuly · Special 100: old JSON Schema Judge7月・専用100題：旧JSON Schema Judge

口径：旧vendored四域JSON Schema Judge，GPT-5.2；原50＋新增50。Protocol: old vendored four-domain JSON Schema Judge, GPT-5.2; former 50 + new 50.口径：旧vendored四領域JSON Schema Judge、GPT-5.2、旧50＋新50題。 Seed2 low，单次生成、单次Judge；两线只改人工PE的“SpecDoc生成执行协议”。 Seed2 low, one generation and one Judge pass; both tracks edit only the human PE's SpecDoc generation protocol. Seed2 low、単回生成・単回Judge。両系統とも人工PEのSpecDoc生成実行プロトコルだけを変更。

七月专项100题：冻结新版四域JudgeJuly · Special 100: frozen updated four-domain Judge7月・専用100題：固定した新版四領域Judge

设置：origin-main-63c9afd，GPT-5.2 medium、native JSON Schema，同一专项100题。Setup: origin-main-63c9afd, GPT-5.2 medium, native JSON Schema, same special 100.設定：origin-main-63c9afd、GPT-5.2 medium、native JSON Schema、同じ専用100題。 两线迁移Judge后分别重新建立基线。 Each track re-established its baseline after Judge migration. Judge移行後に各系統で基準を再構築。

两线最新KEEP相差1题。Free基线32、Data基线33，重复评测集中在Data；下一组方法对照需要为两臂安排相同的生成与评审次数。The latest KEEP scores differ by one case. Free started at 32 and Data at 33; repeats focused on Data. The next method comparison needs equal generation and review repetitions for both arms.最新KEEPは1題差で、Free基準32、Data基準33。反復はDataに集中したため、次の方式比較では両群の生成・審査回数を揃える必要がある。

七月主Harness开发150题：分层生成PE后的搜索July · Main harness Dev150: search after layered initialization7月・主Harness開発150題：階層化初期化後の探索

口径：同一冻结新版四域Judge，清洗后的Dev150，全量150题。Protocol: the same frozen updated four-domain Judge; cleaned Dev150, all 150 cases.口径：同じ固定新版四領域Judge、清掃済みDev150全150題。 与专项100题分开；基线为分层生成PE的16/150。前五轮使用简化策略，后三轮恢复原MASP SP-1～SP-12。 Separate from the special 100; layered-generation baseline 16/150. Five rounds used simplified strategies, then three restored original MASP SP-1–SP-12. 専用100題とは別で、階層化生成の基準16/150。最初の5回は簡略戦略、後の3回は元のMASP SP-1–SP-12へ復帰。

同一初始化PE两次全量为16、17/150，却只共同通过7题。下一步分别测量生成与Judge的波动，再据此设置Guard与KEEP门槛。The unchanged initialization passed 16 and 17 of 150, but only seven cases passed both times. Next we measure generation and Judge variability separately to set Guard and KEEP thresholds.同じ初期化PEの全量は16、17/150だったが、共通合格は7題だけだった。次は生成とJudgeの変動を分けて測り、GuardとKEEPの閾値を決める。

Former50回归：Former50 regression: Former50回帰： 分层生成PE为31/50；历史MASP保留PE为27/50。各一次生成与Judge，比较固定PE快照。五套PE的分题集结果与成本见后文；Holdout50尚未运行。 Layered-generation PE passed 31/50 and historical MASP PE 27/50, with one generation and Judge pass per fixed PE snapshot. Dataset-specific scores and costs for all five PEs appear later. Holdout50 has not run. 階層化生成PEは31/50、過去MASP採用PEは27/50。固定PEごとに生成・Judge各一回で比較した。五つのPEの題集別得点と費用は後述。Holdout50は未実行。

静态图Static figure静止図

MASP采用失败池、策略选择、定点编辑、Reviewer、Target与全量裁决；MASPCombine优先处理单域阻塞题，并分别检查目标改善与其他题的退化。MASP uses a failure pool, strategy selection, targeted edits, reviewer, target checks, and full-set decisions. MASPCombine prioritizes single-domain bottlenecks and checks target improvement separately from regressions elsewhere.MASPは失敗プール、戦略選択、局所編集、Reviewer、Target確認、全件判定を用いる。MASPCombineは単一領域の障害を優先し、目標改善と他ケース悪化を分離して検証する。

静态图Static figure静止図

静态图Static figure静止図

4　旁支：生成流程对照与产物诊断4 Generation variants and artifact diagnostics4　生成方式の比較と成果物の診断

这些实验回答三个问题：增加领域生成是否有效、模型能否修正自己的初稿、确定性检查能否识别或选出更好的Spec。每组同时记录质量变化与额外调用成本。These experiments ask whether additional domain generation helps, whether a model can revise its own draft, and whether deterministic checks identify or select better Specs. Each group records quality changes and extra call costs.実験では、領域別生成の追加は有効か、モデルは初稿を修正できるか、決定的な検査で良いSpecを識別・選択できるかを調べる。品質変化と追加呼び出しコストを同時に記録する。

静态图Static figure静止図

Arch与SelfRefine增加模型调用，Virtual Gate检查固定产物，Selector比较多候选的选择规则。以下分别列出调用变化、结果和交付取舍。Arch and SelfRefine add model calls; Virtual Gate checks fixed artifacts; Selector compares candidate-choice rules. Each is reported with its calling changes, results, and delivery decision.ArchとSelfRefineは呼び出しを追加し、Virtual Gateは固定成果物を検査し、Selectorは候補選択規則を比較する。呼び出しの変化、結果、納品時の採否をそれぞれ示す。

六月Lite50题：额外领域生成June · Lite 50: extra domain generation6月・Lite 50題：追加領域生成

设置：6月9—10日当期生产四域Judge，历史50题，各自同窗对照。Setup: June 9–10 production four-domain Judge, former 50, contemporaneous controls.設定：6月9–10日本番四領域Judge、旧50題、各同時期対照。 Judge hash未完整冻结。 Judge hashes were not fully frozen. Judgeハッシュは完全固定されていない。

多领域生成增加三次领域调用，初跑平均总token约31k→41k。Multi-domain generation adds three domain calls, increasing average total tokens from about 31k to 41k in the initial run.領域別生成では呼び出しが3回増え、初回実験の平均総token数は約31kから41kへ増えた。

六月Pro重复切片：同模型自我修订June · Repeated Pro slices: same-model self-revision6月・Pro反復スライス：同モデル自己改訂

设置：生产bitable-lcp四域Judge，Pro，三轮重复实验。Setup: production bitable-lcp four-domain Judge, Pro, three repeated runs.設定：本番bitable-lcp四領域Judge、Pro、3回反復。 统计单位为“题目×轮次”，共72次判定。 The unit is case × round, for 72 judgments. 集計単位は題×ラウンド、計72判断。

六月固定产物：检查器与选择器June · Fixed artifacts: checker and selector6月・固定成果物：検査器と選択器

口径：历史Judge标签上的回放，生成PE未改变。Protocol: replay against historical Judge labels; generation PE unchanged.口径：過去Judgeラベルでの再生、生成PEは変更なし。 两行分别使用309份Spec/Judge对、50题×4份候选；检查精确率与文档通过率属于不同指标。 The two rows use 309 Spec/Judge pairs and 50 cases × four candidates. Checker precision and document pass rate are different metrics. 各行は309 Spec/Judge対と50題×4候補を使用。検査適合率と文書合格率は異なる指標。

这些对照之后，Lite交付继续采用单次调用。额外领域生成的整题收益小，自修出现回退，规则选择器与随机选择接近；Virtual Gate则保留为定位特定错误的工具。Lite retained single-call delivery after these comparisons. Extra domain generation brought little joint-pass benefit; self-repair regressed; rule-based selection was close to random selection. Virtual Gate remained a tool for locating specific errors.比較後もLiteは一回呼び出しを維持した。領域別生成追加の全問合格への寄与は小さく、自己修正は悪化し、ルール選択器はランダム選択と近かった。Virtual Gateは特定の誤りを探す診断用として残した。

5　Judge迁移与历史基线调查5 Judge migration and historical baselines5　Judge移行と過去ベースラインの調査

历史Pro记录为36/50（72%）。后续运行曾更换题集、Q&A与reasoning；对齐回历史PE、413题集和关闭reasoning后，本地Judge下仍为13/50（26%）。历史逐题Spec与Judge快照缺失，复测中的跨时生成变化和评测变化难以分开。后续实验改为保存固定产物，再交叉更换Judge。 The historical Pro result was 36/50 (72%). Later runs changed the dataset, Q&A, and reasoning. Even after restoring the historical PE, dataset 413, and disabled reasoning, the local Judge gave 13/50 (26%). Missing case-level Spec and Judge snapshots made temporal generation changes hard to separate from evaluation changes. Later experiments therefore preserved fixed artifacts and crossed them with different Judges. 過去のPro記録は36/50（72%）だった。後続実行ではデータセット、Q&A、reasoningが変更された。過去PE、413データセット、reasoning無効へ戻してもlocal Judgeでは13/50（26%）だった。逐問SpecとJudgeのスナップショットがなく、時期による生成差と評価差を分離しにくかった。その後は成果物を固定保存し、Judgeを交差比較する方式へ変更した。

7月的固定产物迁移有更明确的实验对象：July's fixed-artifact migration provided a clearer comparison:7月は成果物を固定し、より明確な比較を行った：

静态图Static figure静止図

三次fresh的JSON通过集合没有共同交集，但通过数均为6/50，持续低于历史产物的27/50。产物变化会改变通过题，新规则又持续压低fresh产物的整体得分；后续规则整理因此同时检查生成约束与Judge要求。The three fresh runs shared no JSON-passing case, yet each scored 6/50, consistently below the historical artifacts' 27/50. Changed artifacts altered which cases passed, while the new rules consistently lowered fresh-artifact scores. Subsequent rule work therefore examined both generation constraints and Judge requirements.新規三回のJSON合格集合に共通項はなかったが、合格数はいずれも6/50で、過去成果物の27/50を一貫して下回った。成果物の変化は合格ケースを変え、新ルールは新規成果物の得点を継続的に下げた。以降は生成制約とJudge要件を併せて見直した。

后续Judge bundle固定为origin-main-63c9afd，使用Table、Dashboard、Workflow、Permission四域，Form文件仅归档。请求格式由json_object加schema文本迁移为native json_schema，版本与请求参数一并冻结。The subsequent Judge bundle was frozen at origin-main-63c9afd for Table, Dashboard, Workflow, and Permission; Form files were archived only. Requests moved from json_object with schema text to native json_schema, freezing both version and parameters.以降のJudge bundleはorigin-main-63c9afdに固定し、Table・Dashboard・Workflow・Permissionの四領域を使用、Formは保管のみとした。リクエストはschemaテキスト付きjson_objectからnative json_schemaへ移し、版とパラメータを同時に固定した。

6　旧规则整理与规则库迁移6 Reorganizing and migrating rules6　旧ルールの整理と移行

旧规则整理版保留旧PE内容，调整表达与格式；精简规则库尝试薄Core与Shared/Domain/Pattern分层，明显缩短输入。两者构成7月初规范化实验的主要对照。The reorganized legacy PE retained content while changing wording and format. The compact rule library tried a thin Core with Shared/Domain/Pattern layers, substantially shortening the input. These were the main early-July normalization comparisons.旧ルール整理版は内容を保ち表現と形式を変更した。簡潔ルール庫は薄いCoreとShared/Domain/Pattern層を試し、入力を大幅に短縮した。この二つが7月初旬の正規化比較の中心となった。

静态图Static figure静止図

各行采用当批PE快照与对应基线。压缩输入、增加禁令、迁移旧规则和提取样本特征，分别检验了四种初始化思路；多次回退促使后续重构聚焦规则职责与依赖关系。 Each row uses that batch's PE snapshot and baseline. Input compression, added prohibitions, rule migration, and sample-feature extraction tested four initialization approaches. Repeated regressions shifted restructuring toward rule responsibilities and dependencies. 各行は当該バッチのPEと基準値を用いる。入力圧縮、禁止事項追加、旧ルール移植、サンプル特徴抽出という四つの初期化案を検証した。繰り返す悪化を受け、責務と依存関係を中心に再設計した。

规则迁移矩阵按职责分桶，分别决定保留、合并或去除。每桶token估算用于安排迁移优先级，整体输入成本按实际请求usage统计。The migration matrix groups rules by responsibility and assigns retain, merge, or remove decisions. Token estimates per group prioritize migration; total input cost uses actual request usage.移行行列はルールを責務別に分け、維持・統合・削除を決める。群ごとのtoken推定で優先順位を付け、総入力コストは実usageで測る。

高质量200按参考答案的Judge结果筛选，用于观察设计模式。Pattern Catalog随后按用途分类：生成规则进入Prompt，其他观察进入linter、rewrite、reviewer或诊断工具。后续单文件整理删去“触发信号／Judge风险”等评测术语，改为直接指导设计的正向规则。 The high-quality 200 were selected by reference-answer Judge scores to inspect design patterns. The Pattern Catalog was then divided by purpose: generation rules entered the Prompt; other observations went to linters, rewriters, reviewers, or diagnostics. Later single-file cleanup removed evaluation jargon such as “trigger signals” and “Judge risks,” replacing it with direct design guidance. 高品質200件は参照回答のJudge結果で選び、設計パターンを観察した。Pattern Catalogを用途別に分け、生成ルールはPromptへ、それ以外はlinter、rewrite、reviewer、診断へ配置した。単一ファイル化では「トリガー信号」「Judgeリスク」などの評価用語を除き、設計を直接指示するルールへ変えた。

7　人工PE双线：自由归因与动态策略记忆7 Two human-PE tracks: Free and dynamic strategy memory7　人手PEの二系統：自由分析と動的戦略メモリ

为豆包优化的人工PE专项使用同一100题集合，合并原50与新增50。只允许改“SpecDoc生成执行协议”，其余能力和输出边界冻结。两条线无独立运行时Skills目录，能力知识内联在长Prompt；SP策略库供优化Agent选取修改方案，生成模型接收修改后的PE。 The Doubao human-PE project uses the same 100 cases, combining the original 50 with 50 new ones. Only the “SpecDoc generation execution protocol” may change; capability and output boundaries are frozen. Neither track has separate runtime Skills: capability knowledge is inline in the long Prompt. The optimization agent consults SP strategies; the generator receives the revised PE. 豆包向け人手PE実験は旧50問と新50問を合わせた同じ100問を使う。変更可能なのは「SpecDoc生成実行プロトコル」のみで、能力と出力の境界は固定した。両系統に独立runtime Skillsはなく、能力知識は長いPromptへ内包する。最適化AgentがSPを参照し、生成モデルには変更後PEを渡す。

静态图Static figure静止図

困难target10中，baseline、Data候选与Free候选均为0/10。完整100题上的旧口径共同baseline为28/100，Free一次KEEP到30；Data四次KEEP为28、29、30、40。Data最终PE六次生成的平均通过率为35%，峰值40%。 On the difficult target10, baseline, Data, and Free all scored 0/10. Under the old Judge on all 100 cases, the shared baseline was 28/100; Free kept one edit to 30, while Data's four KEEPs were 28, 29, 30, and 40. Six generations with Data's final PE averaged 35%, peaking at 40%. 難しいtarget10ではbaseline、Data、Freeが全て0/10だった。旧Judgeでの全100問の共通基準は28/100。Freeは一回のKEEPで30へ、Dataの四回のKEEPは28、29、30、40となった。Data最終PEの六回生成は平均35%、最高40%だった。

新口径Data三次99题交集：21题全过、39题全败、39题不稳定。第二次084为Judge空响应，总提交100题中有效评审99题、通过37题。Free早期有一轮41/100因目标机制未产生而DISCARD；后续实现“最高／最低是哪条记录”的前置路由，以13新增、11回退成为第二次KEEP。 Under the new Judge, the 99-case intersection across three Data runs had 21 always-pass, 39 always-fail, and 39 unstable cases. Run 2 had an empty Judge response for 084: 100 submitted, 99 valid judgments, 37 passes. An earlier Free run scored 41/100 but was discarded because the intended mechanism was absent. Later routing for “which record is highest/lowest” gained 13 cases and lost 11, becoming its second KEEP. 新JudgeのData三回で共通の99問は、常時合格21、常時不合格39、不安定39だった。二回目の084はJudgeが空応答で、100問提出・99問有効評価・37問合格。Freeは一度41/100を得たが意図した機構がなくDISCARD。後に「最大/最小はどのレコードか」の事前振り分けを実装し、新規13・悪化11で二回目のKEEPとなった。

Free的41/100与Data的42/100分别是历史KEEP单轮结果；两臂初始基线为32和33，重复评测集中在Data。比较两种搜索方式的稳定表现，需要给两臂相同的生成与评审预算。Free's 41/100 and Data's 42/100 are single-run historical KEEPs. Their starting baselines were 32 and 33; repeated evaluation focused on Data. A stable comparison of search methods requires equal generation and judging budgets for both arms.Freeの41/100とDataの42/100は各一回の過去KEEPである。初期値は32と33で、反復評価はDataに集中した。探索法の安定的な比較には、両群で生成・判定の予算を揃える必要がある。

8　主Harness的数据组织8 Data organization for the main harness8　主Harnessのデータ構成

新200由高质量参考样本抽取，Dev150用于开发，Holdout50保留，Former50独立回归。Dynamic Small从Dev150中抽取；Target随假设变化，Guard包括稳定锚点和轮换题。人工PE专项另用原50与新增50组成的100题集。 The new 200 come from high-quality reference samples: Dev150 is for development, Holdout50 is reserved, and Former50 is separate regression coverage. Dynamic Small is drawn from Dev150; Targets change with the hypothesis, while Guards combine stable anchors with rotating cases. The human-PE project separately uses the original 50 plus 50 new cases. 新200件は高品質参照サンプルから選び、Dev150を開発、Holdout50を保留、Former50を独立回帰に用いる。Dynamic SmallはDev150から抽出し、Targetは仮説に応じて変更、Guardは安定アンカーと輪番問題を組み合わせる。人手PE実験の100問は旧50＋新50の別集合である。

静态图Static figure静止図

新200偏长Query、Q&A与多域约束，Former50偏历史短需求。参考答案经过筛选，查询本身仍包含较复杂的设计要求。清洗时用正常业务题替换元指令污染样本hq-000096，并修正两题字面量换行，所有比较PE统一补跑受影响题。The new 200 emphasize longer queries, Q&A, and multi-domain constraints; Former50 contains shorter historical requests. Filtering reference answers did not remove the queries' design complexity. Cleaning replaced the meta-instruction-contaminated hq-000096 with a normal business case and fixed literal newlines in two cases. All compared PEs reran the affected cases.新200問は長いQuery、Q&A、多領域制約が多く、Former50は短い過去要求が中心である。参照回答の選別後もQueryには複雑な設計要求が残る。清掃ではメタ指示に汚染されたhq-000096を通常業務問題に置き換え、二問の改行リテラルを修正し、全比較PEで対象問を再実行した。

Holdout50尚未正式运行，其来源200曾用于Pattern抽取。它适合补充这批查询上的表现观察；最终泛化测试需要另取未参与规则设计的查询，并提前封存。Holdout50 has not yet been formally run; its parent 200 were used for pattern extraction. It can add observations on these queries, but final generalization testing needs a separately sealed set that did not inform rule design.Holdout50はまだ正式実行しておらず、元の200件はパターン抽出に使われた。このQuery群での追加観測には使えるが、最終的な汎化検証にはルール設計に使っていない別の封印集合が必要である。

9　主Harness初始化的结构实验9 Structural experiments for initialization9　初期化に向けた構造実験

主Harness初始薄规则原型在Dev150仅3/150，促使工作从自动叠规则退回人工初始化。这一过程包含独立Planner、Contract和直接Spec三条设计分支。The main harness's initial thin-rule prototype scored only 3/150 on Dev150, shifting work from automatic rule accumulation back to manual initialization. The redesign explored separate planners, contracts, and direct Spec output.主Harnessの初期薄ルール版はDev150で3/150にとどまり、自動ルール追加から人手初期化へ戻った。独立Planner、Contract、Spec直接出力の三案を検討した。

静态图Static figure静止図

9.1　独立Permission Planner9.1 Separate Permission Planner9.1　独立Permission Planner

权限预规划方案包含权限规划、确定性校验、Core渲染，部分版本允许定向修复。固定10题三次，单阶段对照strict为2/0/1，预规划方案为0/3/1；Permission均值43.3%→73.3%，strict均值10%→13.3%。目标域改善，但其他域没有同步稳定，而且增加生成调用，不符合最终单份PE交付边界。Permission preplanning combined planning, deterministic validation, and Core rendering; some versions allowed targeted repair. Across three runs of the same 10 cases, strict passes were 2/0/1 for the single-stage control and 0/3/1 for preplanning. Mean Permission accuracy rose 43.3%→73.3%, strict 10%→13.3%. Other domains did not stabilize, and extra generation calls violated the final single-PE delivery boundary.権限事前計画は計画、決定的検証、Core描画を組み合わせ、一部版で局所修正を許可した。同じ10問を三回実行し、strict合格は単段対照2/0/1、事前計画0/3/1。Permission平均は43.3%→73.3%、strict平均は10%→13.3%だった。他領域は安定せず、追加生成も単一PE納品の境界に合わなかった。

静态图Static figure静止図

9.2　单次输出Contract9.2 Single-call contract output9.2　一回呼び出しでのContract出力

单次生成原型回到一次调用，dev10为1/10。结构草稿与封套系列保持一次调用，探索内部Contract或同次显式Envelope，再由本地解析校验。固定3题结果：The single-call prototype returned to one model call and scored 1/10 on dev10. Draft and envelope variants kept one call, exploring internal contracts or explicit same-call envelopes followed by local parsing and validation. Results on three fixed cases:単一呼び出し版はdev10で1/10だった。構造草案とEnvelopeの各案は一回呼び出しを保ち、内部Contractや同時出力する明示Envelopeをローカルで解析・検証した。固定三問の結果：

均未达到Table≥2/3且无错误的预设扩测门槛。固定显式结构草稿只改reasoning，low/medium的Table都1/3，compile从3/3变2/3，时延55.1→67.8秒。这次3题冒烟未改善Table且增加时延，后续继续使用low。None met the expansion gate of Table ≥2/3 with no errors. Holding the explicit draft fixed and changing only reasoning gave Table 1/3 for both low and medium, compile 3/3→2/3, and latency 55.1→67.8 seconds. The three-case smoke test brought no Table gain and more latency, so low was retained.Table≥2/3かつエラーなしという拡大条件を満たす案はなかった。明示草案を固定してreasoningだけをlowからmediumへ変えてもTableは両方1/3で、compileは3/3→2/3、時間は55.1→67.8秒となった。三問スモークで改善せず遅延が増えたためlowを維持した。

9.3　直接输出SpecDoc9.3 Direct SpecDoc output9.3　SpecDoc直接出力

产品边界确认后，Contract剥离和额外Planner均退出。完整自然语言协议、短Core、旧表规则摘要在同3题都0/3；Table分别0、1、0。继续摘要式加规则没有恢复旧能力。旧3题反复用于开发，后续另取未参与该系列的冒烟切片。Once product boundaries were confirmed, contract stripping and extra planners were removed. A full natural-language protocol, short Core, and legacy Table-rule summary all scored 0/3 on the same three cases; Table passes were 0, 1, and 0. Adding summarized rules did not restore earlier capability. Because those cases had been repeatedly used for development, later smoke tests used a fresh slice.製品境界を確定し、Contract除去と追加Plannerを撤去した。完全な自然言語プロトコル、短いCore、旧Table規則要約は同じ三問で全て0/3、Tableは0、1、0だった。要約規則の追加では旧能力を取り戻せず、繰り返し開発に使った三問の代わりに未使用スモーク集合を用いた。

后续依次做了五项修改：重划职责、补状态与字段依赖、将失败机制改为正向执行协议、明确六段Core、依据Permission Judge区分Actor及记录操作。最后冻结为分层生成PE。在新3题上短Core／职责分层／依赖闭环 strict都1/3，四域总通过9/12、8/12、10/12；最终同10题三次，正向执行协议为3/3/1，分层生成PE为3/3/2。Five changes followed: redistribute responsibilities, restore state/field dependencies, turn failure mechanisms into positive execution guidance, clarify six Core stages, and distinguish actors from record operations using Permission Judge rules. The result was frozen as the layered PE. On three fresh cases, short Core, responsibility layers, and dependency closure each scored strict 1/3; domain passes were 9/12, 8/12, and 10/12. Across three final runs of the same 10 cases, positive protocol scored 3/3/1 and layered PE 3/3/2.以降は責務再分割、状態・フィールド依存補完、失敗機構の正向実行指針化、Core六段の明確化、Permission Judgeに基づくActorとレコード操作の区別を順に行い、階層型PEとして固定した。新三問では短Core・責務分離・依存閉包がstrict全て1/3、領域合格は9/12・8/12・10/12。同じ10問を最終三回実行した結果は、正向プロトコル3/3/1、階層型PE3/3/2だった。

该开发切片的均值与最差轮均有小幅改善。分层生成PE据此结束人工初始化，冻结为后续全量对照和自动搜索的起点。The development slice showed small gains in both mean and worst-run performance. Manual initialization ended there; the layered PE was frozen as the starting point for full-set comparisons and automatic search.この開発集合では平均と最低回が小幅に改善した。ここで人手初期化を終え、階層型PEを全件比較と自動探索の起点として固定した。

10　最终PE的输入与职责10 Final PE: inputs and responsibilities10　最終PEの入力と責務

静态图Static figure静止図

Skills包含生成时必须遵循的正向机制、能力边界和强制红线。实际装配8份规则Markdown：3 Shared、Table与View、其余三域各1份；README和registry仅用于导航。所有域固定加载，Shared去重，未使用逐题RAG，不增加模型调用次数。 Skills contain required design mechanisms, capability boundaries, and hard constraints. Eight Markdown rule files are assembled: three Shared, Table and View, and one for each other domain. README and registry are navigation only. All domains are always loaded, Shared is deduplicated, and there is no per-query RAG or extra model call. Skillsには必須の設計機構、能力境界、厳守制約を含む。実装はShared三件、TableとView、残り三領域各一件の計八つのMarkdownを組み立てる。READMEとregistryは案内専用。全領域を常時ロードしSharedを重複排除する。逐問RAGも追加モデル呼び出しもない。

静态图Static figure静止図

Permission仍是重要短板。Dev150有141题描述角色、仅10题明确访问控制，分层生成PE在136题生成权限，Permission通过50/150。这提示下一步应逐题区分业务职责、记录操作与访问控制需求，检查权限规划的激活条件及授权范围。Permission remains a major weakness. Of Dev150, 141 cases describe roles but only 10 explicitly request access control; the layered PE generated permissions for 136, passing Permission in 50/150. The next step is to distinguish business responsibilities, record operations, and access-control needs per case, then inspect activation conditions and grant scope.Permissionは依然大きな弱点である。Dev150の141問が役割を述べる一方、明示的アクセス制御は10問だけで、階層型PEは136問に権限を生成し、Permission合格は50/150だった。業務責務、レコード操作、アクセス制御要求を逐問分離し、有効化条件と許可範囲を調べる必要がある。

11　五套PE的同口径质量与成本11 Quality and cost of five PEs under one protocol11　統一条件での五種類のPEの品質とコスト

七月对照采用以下冻结配置：生成Seed2 Lite，reasoning low，temperature0.2；Judge gpt-5.2-2025-12-11，medium，origin-main-63c9afd四域native json_schema，workers4、timeout900s、retry5。每题一次生成、一次Judge；任一域不为1即整题不通过。 July comparisons froze generation at Seed2 Lite, reasoning low, temperature 0.2; Judge at gpt-5.2-2025-12-11, medium, origin-main-63c9afd four-domain native json_schema, 4 workers, 900s timeout, and 5 retries. Each case has one generation and one judging round; any domain not scoring 1 fails the case. 7月比較は生成Seed2 Lite、reasoning low、temperature 0.2、Judge gpt-5.2-2025-12-11、medium、origin-main-63c9afd四領域native json_schema、workers 4、timeout 900秒、retry 5に固定した。一問一生成・一判定で、いずれかの領域が1でなければ不合格となる。

Token来自生成接口usage，输入包含Core、实际Skills、Query和包装，输出为completion，不含Judge。旧Lite已经经过历史优化；它与MASP Top的主Prompt相同，但Dashboard/Permission Skills不同。Tokens come from generation API usage. Input includes Core, loaded Skills, Query, and wrappers; output is completion usage, excluding Judge calls. Legacy Lite was already historically optimized. It shares the main Prompt with MASP Top, but differs in Dashboard/Permission Skills.tokenは生成APIのusageによる。入力はCore、実際にロードしたSkills、Query、ラッパーを含み、出力はcompletionでJudgeを含めない。旧Liteも過去に最適化済みで、主PromptはMASP Topと同じだがDashboard/Permission Skillsが異なる。

静态图Static figure静止図

相对薄规则原型，分层生成PE补回领域机制，Table17.33%→53.33%、Workflow49.33%→66.00%；相对旧Lite，Dev输入减少约69.5%，单轮通过7→16。该对照同时改变Core、Skills与样例，测量整套PE的效果。它为后续搜索提供了质量与成本更好的单轮起点；Core职责、领域规则和完整样例各自的作用，可通过分项消融进一步分析。Restoring domain mechanisms over the thin prototype raised Table 17.33%→53.33% and Workflow 49.33%→66.00%. Compared with legacy Lite, Dev input fell about 69.5% and single-run passes rose 7→16. Core, Skills, and examples changed together, so this measures the complete PE. It provides a better quality/cost starting point; separate ablations can isolate Core responsibilities, domain rules, and full examples.薄い原型から領域機構を補完し、Tableは17.33%→53.33%、Workflowは49.33%→66.00%へ改善した。旧Lite比でDev入力は約69.5%減り、一回の合格数は7→16となった。Core・Skills・例を同時変更しているためPE全体の効果である。品質とコストの良い起点を得た一方、各要素の寄与は個別アブレーションで切り分けられる。

12　八轮迭代与重复评测12 Eight iterations and repeated evaluation12　八回の反復と再評価

八轮分层生成PE探索中，前五轮使用专用简化策略，后三轮恢复原MASP SP-1～12。各轮先检查目标题与Guard，通过后再进入完整Dev150。 The first five of eight layered-PE rounds used simplified custom strategies; the last three restored original MASP SP-1–12. Each checked Targets and Guards before proceeding to all Dev150 cases. 階層型PEの八回のうち、前五回は専用簡略戦略、後三回は元のMASP SP-1〜12を使用した。毎回TargetとGuardを確認し、通過後にDev150全件へ進めた。

全部DISCARD，分层生成PE初始化基线保持不变。后续旧Skills参考支线只读检索旧规则，每次将一项机制迁入当前Skill；fresh baseline17/150，首轮Target20通过7题，新增5、回退3（均为Guard），结果记录为PARTIAL，停留在局部验证阶段。All candidates were discarded, leaving the initialization baseline unchanged. A later legacy-Skills track retrieved old rules read-only and migrated one mechanism into a current Skill at a time. Its fresh baseline was 17/150; the first Target20 check passed 7 cases, gaining 5 and losing 3, all Guards. It was recorded as PARTIAL and remained at local validation.全候補をDISCARDし、初期化基準は変更しなかった。後続の旧Skills参照系統では旧ルールを読み取り専用で検索し、一度に一機構を現Skillへ移植した。fresh基準17/150、初回Target20は7問合格、新規5・悪化3（全てGuard）。PARTIALとして局所検証にとどまった。

静态图Static figure静止図

同一分层生成PE的16/150与17/150只有7题共同通过，9题仅首轮、10题仅fresh；通过集合Jaccard约27%。该比较同时包含生成变化与Judge变化。The same layered PE's 16/150 and 17/150 runs shared only 7 passing cases; 9 passed only the first run and 10 only the fresh run. Pass-set Jaccard was about 27%. This comparison includes both generation and Judge variation.同じ階層型PEの16/150と17/150で共通合格は7問のみ、初回だけ9問、freshだけ10問だった。合格集合のJaccardは約27%。生成とJudge両方の変動を含む比較である。

静态图Static figure静止図

5月的重复实验已观察到类似波动：50题、5次生成、每次2轮Judge，通过数分别为19/18、20/19、19/17、20/18、14/21。验收门槛需要结合这些波动设置，才能判断一两题的变化是否值得保留。May repeats had already shown similar variation: 50 cases, five generations, and two Judge rounds per generation produced pass counts 19/18, 20/19, 19/17, 20/18, and 14/21. Acceptance thresholds must account for this noise before retaining a one- or two-case improvement.5月にも50問・五回生成・各二回Judgeで19/18、20/19、19/17、20/18、14/21という揺れを観測していた。一、二問の改善を採用する前に、この揺れを踏まえた合格閾値が必要である。

下一轮先冻结Spec重复Judge，再独立生成并对各产物重复Judge。按重复结果建立Stable Pass、Stable Fail和Unstable题池，报告均值、波动与逐题变化，再配对复核已有候选。Next, repeat Judge calls on frozen Specs, then independently regenerate and repeatedly judge each artifact. Form Stable Pass, Stable Fail, and Unstable pools, report means, variation, and case-level flips, and recheck existing candidates in paired comparisons.次はSpec固定でJudgeを反復し、続いて独立再生成した各成果物を繰り返し評価する。Stable Pass・Stable Fail・Unstable群を作り、平均・変動・逐問反転を報告し、既存候補をペア比較で再検証する。

13　设计数据与训练协议13 Design data and training protocol13　設計データと学習プロトコル

13.1　从格式到可执行交接13.1 From formatting to executable handoff13.1　形式から実行可能な引き継ぎへ

HostPlan45题保持任务次序与Table任务，转换64个非Table任务；CodeAct均45/45成功，E2E20→21/45，失败验收项48→36。HostPlan估算token增加20.55%，CodeAct总token近似不变。两轮使用不同Judge入口、各运行一次，整体结果同时包含格式与评测配置变化；格式如何影响执行，通过逐题产物追踪。For 45 HostPlan cases, task order and Table tasks stayed fixed while 64 non-Table tasks were converted. CodeAct succeeded on 45/45 in both runs; E2E rose 20→21/45 and failed checks fell 48→36. Estimated HostPlan tokens rose 20.55%; total CodeAct tokens were roughly unchanged. The two one-off runs used different Judge entry points, mixing format and evaluation-setting changes. Case-level artifacts trace how formatting affected execution.HostPlan45問では順序とTableタスクを保ち、非Table64タスクを変換した。CodeActは両回45/45成功、E2Eは20→21/45、不合格確認項目は48→36。HostPlan推定tokenは20.55%増、CodeAct総tokenはほぼ不変だった。各一回・異なるJudge入口のため形式と評価設定の変化が混在する。形式が実行へ与える影響は逐問成果物で追跡する。

案例030将“本月＋已交”绑定到COUNT与SUM组件，Base才落下筛选，7.8→10；另有反例：Lookup本身漏筛选时，格式转换无法修复下游语义。In case 030, binding “this month + submitted” to both COUNT and SUM finally carried the filters into Base, raising 7.8→10. Conversely, when a Lookup itself omitted a filter, format conversion could not repair the downstream semantics.ケース030では「今月＋提出済み」をCOUNTとSUM両方へ結び、Baseにフィルタが反映され7.8→10となった。一方、Lookup自体がフィルタを欠く場合、形式変換では下流の意味を修復できなかった。

静态图Static figure静止図

13.2　数据血缘13.2 Data lineage13.2　データ来歴

2769/3081通过轨迹包保留源输入、最终HostPlan、Judge/Fix/Router轨迹和身份索引，以完整来源身份区分重复case_id。另一组901条领域重写的格式转换状态为875 pass、26 degraded、0 failed；语义质量由后续Judge评测。两个数据包分别登记，与3999训练包的逐条映射尚未完成。 The 2,769/3,081 passing-trajectory packages preserve source input, final HostPlan, Judge/Fix/Router traces, and identity indexes; full provenance distinguishes repeated case_ids. A separate 901-item domain-rewrite set had format statuses of 875 pass, 26 degraded, and 0 failed; later Judges assessed semantics. The packages are registered separately; item-level mapping to the 3,999 training set remains incomplete. 2,769/3,081件の合格軌跡パッケージは入力、最終HostPlan、Judge/Fix/Router履歴、識別索引を保存し、完全な来歴で重複case_idを区別する。別の領域書き換え901件は形式変換875 pass、26 degraded、0 failedで、意味品質は後続Judgeで評価する。両パッケージは別管理で、学習3,999件との逐件対応は未完了である。

3999条以历史自动Judge通过为筛选标准，尚未全面人工复核。训练使用独立的训练规范PE，保留综述、需求、能力边界与中性完整格式示例，使system要求与assistant目标一致。格式示例按训练侧规范编写。 The 3,999 items were selected by historical automated Judge passes, not yet fully human-reviewed. Training uses a separate training-specification PE retaining overview, requirements, capability boundaries, and a complete neutral format example, aligning system instructions with assistant targets. Examples follow the training-side format. 3,999件は過去の自動Judge合格で選別し、全面的な人手再確認は未実施である。学習専用PEに概要、要求、能力境界、中立で完全な形式例を残し、system要求とassistant目標を一致させる。例は学習側の規約に沿う。

13.3　三组训练13.3 Three training groups13.3　三つの学習群

静态图Static figure静止図

共同seq_len32768、warmup0.05；继续训练有server validation10%。输入为system=训练规范PE、user=原始Query，target=最终SpecDoc，不将Judge/Fix反馈和质量标签写进生成答案。 All use seq_len 32,768 and warmup 0.05; continued training reserves 10% for server validation. Inputs are system=training-specification PE and user=original query; target=final SpecDoc. Judge/Fix feedback and quality labels are excluded from generated answers. 共通設定はseq_len 32,768、warmup 0.05、継続学習はserver validation 10%。入力はsystem＝学習規約PE、user＝元Query、target＝最終SpecDocで、Judge/Fixのフィードバックや品質ラベルを回答へ入れない。

三套Test100分别抽取：1770组含98个Query group，继续训练组含74个group，独立样本按Query group计数。合并后的新train覆盖部分旧Test100，因此继续训练使用新抽取的Test100。历史Q2语料与测试集的全量重叠检查尚未完成。The three Test100 sets were sampled separately: the 1,770 group has 98 Query groups and continued training has 74. Independence is counted by Query group. The merged training set overlaps some old Test100 items, so continued training uses a newly sampled Test100. A complete overlap audit of historical Q2 data against tests remains unfinished.Test100は各群で別に抽出し、1,770群は98 Query group、継続学習群は74 groupを含む。独立性はQuery group単位で数える。統合trainは旧Test100の一部と重なるため、継続学習には新Test100を使う。過去Q2データとテストの完全な重複確認は未完了である。

14　端到端验证与逐题归因14 End-to-end validation and case-level attribution14　E2E検証とケース単位の原因分析

静态图Static figure静止図

图注与口径Figure notes図注と評価条件

两条独立运行比较模型 + 系统提示词的联合配置，并非同一 PE 的前后修复。状态值与代码为语义节选；原始轨迹和评审报告保留核对记录。These independent runs compare model + system-prompt configurations, not a before/after PE-only repair. State values and code are translated excerpts; original trajectories and verdicts were checked.独立した2実行でモデル＋システムプロンプトの設定を比較。単一 PE の修復前後ではない。状態値とコードは意味を保った抜粋・翻訳で、原軌跡と判定を照合済み。

14.1　同题配置对照14.1 Paired configurations on the same cases14.1　同一問題での設定比較

Building0.7主配对固定50题，Spec temperature0.7、top_p1、max_tokens16000、thinking disabled；下游CodeAgent b82zj、minimal、sft_short_system、四域scope。Judge为gpt-5.5-2026-04-24、high、Mix all dimensions、base/default。主配对固定SDK与Judge版本，每组保留一轮正式产物，执行失败题计入分母，技术重试按预定协议处理。 The main Building0.7 pair fixes 50 cases: Spec temperature 0.7, top_p 1, max_tokens 16,000, thinking disabled; downstream CodeAgent b82zj, minimal, sft_short_system, four-domain scope. Judge is gpt-5.5-2026-04-24, high, Mix all dimensions, base/default. SDK and Judge versions are fixed; each arm keeps one formal artifact run, includes execution failures in the denominator, and handles technical retries by a predefined protocol. Building0.7の主比較は50問を固定し、Spec temperature 0.7、top_p 1、max_tokens 16,000、thinking disabled、下流CodeAgent b82zj・minimal・sft_short_system・四領域scopeとした。Judgeはgpt-5.5-2026-04-24、high、Mix all dimensions、base/default。SDKとJudge版を固定し、各群の正式成果物を一回分保存、実行失敗も分母に含め、技術的再試行は事前規約に従う。

静态图Static figure静止図

主配对共同过27、Q2独有5、继续训练独有8、共同未过10；均分89.26→92.44。继续训练模型与训练规范PE的组合净增3题；下一组对照可固定SP，单独比较模型变化。The main pair shared 27 passes; 5 were Q2-only, 8 continued-training-only, and 10 failed both. Mean score rose 89.26→92.44. Continued training plus the training-specification PE gained a net three cases. A next comparison can hold SP fixed to isolate the model change.主比較は共通合格27、Q2のみ5、継続学習のみ8、共通不合格10、平均89.26→92.44だった。継続学習＋学習規約PEの組み合わせで純増3問。次はSPを固定してモデル変更の寄与を分離できる。

14.2　成本14.2 Cost14.2　コスト

静态图Static figure静止図

统计覆盖有usage的Spec与外层CodeAgent请求，排除SDK子Agent、离线Judge及缺失usage的失败请求。两组token差额约74.49%来自Spec输入缩短。平均耗时3.14→3.07分钟，计Spec耗时与CodeAgent墙钟，排除排队、Base前置准备与离线Judge。Counts cover Spec and outer CodeAgent requests with usage, excluding SDK subagents, offline Judges, and failed requests without usage. About 74.49% of the token difference comes from shorter Spec input. Mean elapsed time fell 3.14→3.07 minutes, counting Spec time plus CodeAgent wall time but excluding queues, Base preparation, and offline judging.usageがあるSpecと外側CodeAgentを集計し、SDK子Agent、オフラインJudge、usage欠落の失敗要求は除外した。token差の約74.49%はSpec入力短縮による。平均時間は3.14→3.07分で、Spec時間とCodeAgent実時間を含み、待ち行列・Base事前準備・オフラインJudgeは含まない。

14.3　各组测试集与Building1.014.3 Per-group tests and Building1.014.3　各群のテストとBuilding1.0

三个训练组分别使用各自的Test100；Building1.0另在同一继续训练模型上对比两套SP。Each training group uses its own Test100. Building1.0 separately compares two SPs on the same continued-training model.各学習群はそれぞれのTest100を使う。Building1.0では同じ継続学習モデルで二種類のSPを比較する。

静态图Static figure静止図

007招聘的筛选状态已在Q2 Spec写错，继续训练修正后55→100；045餐饮100→33同时有Spec门店分组变品类、代码丢失已有时间筛选；041两组产物都增加Spec未要求的普通用户角色。逐题对照Query、Spec、代码与Base，可以将修复分别落到生成遗漏、设计错误和执行器偏离上。In recruitment case 007, the filter status was already wrong in the Q2 Spec; continued training corrected it, raising 55→100. Restaurant case 045 fell 100→33: the Spec changed store grouping to category grouping, and code lost an existing time filter. Both outputs for 041 added a regular-user role absent from the Spec. Comparing Query, Spec, code, and Base per case directs fixes to omissions, design errors, or executor deviations.採用007はQ2 Spec段階で選考状態が誤り、継続学習で修正され55→100。飲食045は100→33に下がり、Specで店舗別がカテゴリ別に変わったうえ、コードが既存時間フィルタを失った。041では両成果物がSpecにない一般利用者ロールを追加した。Query、Spec、コード、Baseを逐問比較することで、生成漏れ・設計誤り・実行器の逸脱へ修正を振り分けられる。

15　结论与后续实验15 Conclusions and next experiments15　結論と次の実験

优先完成固定Spec的重复Judge与固定PE的重复生成，用两层实验确定波动范围，再配对复核候选。随后在未参与规则设计的封存查询上验证泛化；动态检索、扩数据和Harness Dropout分别作为独立实验开展。Prioritize repeated judging of fixed Specs and repeated generation with a fixed PE to establish the variation range, then recheck candidates in pairs. Next test generalization on sealed queries unused in rule design. Dynamic retrieval, data expansion, and Harness Dropout should be separate experiments.まず固定Specの反復Judgeと固定PEの反復生成で変動幅を確定し、候補をペアで再確認する。続いてルール設計未使用の封印Queryで汎化を測る。動的検索、データ拡張、Harness Dropoutは個別実験とする。