让模型写好 SpecGenerating Better SpecsよりよいSpecを生成する

2026年6月—10月 · 2026-10-20 修订June–October 2026 · Revised October 20, 20262026年6–10月 · 2026年10月20日改訂

6月接手Spec生成任务时，仓库里已有多轮优化的Prompt、SDK Skills和SP策略库。工作目标是提高SpecDoc对用户需求和产品能力的符合程度，并整理出豆包可以直接使用的生成提示词。PE在本文中指实际送给生成模型的提示词与规则内容。When I took over Spec generation in June, the repository already contained prompts, SDK Skills, and an SP strategy library refined over several rounds. The goal was to improve how well SpecDocs satisfied user requirements and product capabilities, and deliver a generation prompt Doubao could use directly. Here, PE means the prompt and rule content actually sent to the generation model.6月にSpec生成を引き継いだ時点で、リポジトリには複数回改善したPrompt、SDK Skills、SP戦略集があった。目標はSpecDocが要求と製品機能に適合する度合いを高め、Doubaoが直接使える生成プロンプトを作ることだった。本稿のPEは生成モデルへ実際に渡すプロンプトとルール内容を指す。

PE优化主线尝试了定点编辑、受保护的补丁搜索、自由归因和动态策略库，并逐步重构规则组织方式。分域生成、自我修订和候选选择作为旁支，用来检查额外生成与选择步骤是否值得加入交付。后期工作延伸到训练数据、SFT和实际搭建效果。本文按这些实验问题梳理方法、结果与保留的设计。The main PE optimization track explored targeted edits, guarded patch search, free-form diagnosis, and dynamic strategy memory while reorganizing the rules. Side experiments tested domain-specific generation, self-revision, and candidate selection to see whether additional generation or selection steps belonged in the delivery path. Later work extended to training data, SFT, and actual builds. This review follows those questions, results, and retained designs.主系統では局所編集、保護付きパッチ探索、自由診断、動的戦略集を試し、ルールの組み方を段階的に再設計した。関連実験の領域別生成、自己改訂、候補選択は、追加の生成・選択手順を納品方式に入れる価値を調べた。後半は訓練データ、SFT、実構築へ広がった。本稿はこれらの問いに沿って結果と残した設計を振り返る。

静态图Static figure静止図

同一份 PE 换一批题、换一个 Judge，分数都可能变化。下面只在相同题集和评审设置内比较，并把单轮最好成绩与重复运行的平均表现分开。The same PE can score differently when the questions or Judge change. Comparisons below stay within the same dataset and evaluation setup, and distinguish the best single run from average performance across repeated runs.同じPEでも、問題やJudgeが変われば点数は変わります。以下では同じ問題集・評価設定の中で比較し、単発の最高値と反復実行の平均を分けて示します。

PE自动优化主线与对照旁支Automated PE optimization and side experimentsPE自動最適化と関連実験

静态图Static figure静止図

图注与口径Figure notes図注と評価条件

MASP、MASPCombine、自由归因与动态记忆是不同实验路线。图展示共用迭代闭环；子集大小、SP 策略和 KEEP 门槛按各实验分别记录。MASP, MASPCombine, free attribution and dynamic memory are separate experiment routes. This is their shared loop; subset sizes, SP strategies and KEEP thresholds remain run-specific.MASP・MASPCombine・自由分析・動的記憶は別々の実験方式。図は共通ループを示し、部分集合の規模・SP 戦略・KEEP 基準は実験ごとに記録する。

AutoResearch主线反复修改Prompt或Skills，再按固定生成协议评测候选PE，保留有效修改。实际运行的方法包括MASP、MASPCombine、Guarded-Patch，以及人工PE的Free/Data双线。 The AutoResearch loop repeatedly edits Prompt or Skills, evaluates candidate PEs under a fixed generation protocol, and retains effective changes. Implemented methods include MASP, MASPCombine, Guarded-Patch, and the Free/Data tracks starting from a human-authored PE. AutoResearchはPromptまたはSkillsを繰り返し変更し、固定生成手順で候補PEを評価して有効な変更を残す。実行した方式はMASP、MASPCombine、Guarded-Patch、人工PEから始めるFree/Dataの二系統である。

静态图Static figure静止図

图中主线沿“改PE→生成Spec→评测→反馈”循环。旁支检验额外领域生成、同模型自我修订、固定产物检查和多候选选择。最终Lite交付采用一次模型调用，直接输出SpecDoc。The main loop is edit PE → generate Spec → evaluate → feed back. Side experiments test extra domain generation, same-model revision, fixed-artifact checks, and selection among candidates. The final Lite delivery generates a SpecDoc directly in one model call.主循環はPE変更→Spec生成→評価→フィードバックである。関連実験は追加領域生成、同モデルによる改訂、固定成果物の検査、多候補選択を試す。最終Lite納品は一度のモデル呼び出しでSpecDocを直接生成する。

方法调研覆盖DSPy/MIPRO、OPRO、GEPA、ProTeGi、EvoPrompt等工作。本项目的实现围绕失败归因、局部编辑、候选评测和反馈记忆展开。The method survey covered DSPy/MIPRO, OPRO, GEPA, ProTeGi, and EvoPrompt. This project's implementation centers on failure diagnosis, local editing, candidate evaluation, and feedback memory.手法調査ではDSPy/MIPRO、OPRO、GEPA、ProTeGi、EvoPromptを扱った。実装の中心は失敗診断、局所編集、候補評価、フィードバック記憶である。

Lite、Standard、Pro是生成模式；MASP、MASPCombine、Guarded-Patch是搜索方法；长会话Agent或Bash驱动器则决定谁持有循环。驱动方式与生成质量需要分别验证。 Lite, Standard, and Pro are generation modes; MASP, MASPCombine, and Guarded-Patch are search methods. A long-running agent or Bash driver determines who controls the loop. Orchestration and generation quality need separate validation. Lite、Standard、Proは生成モード、MASP、MASPCombine、Guarded-Patchは探索方式である。長い会話AgentかBashドライバーかは循環の制御主体を決める。駆動方式と生成品質は別に検証する必要がある。

让 Agent 自行循环时，曾出现策略标错、结束理由与评测结果对不上的情况。后来由程序统一管理候选、评测和回滚，减少运行状态的混乱。这解决的是实验能否可靠执行；PE 有没有变好，仍由相同题集上的评测决定。When the agent managed its own loop, strategy labels and stopping reasons sometimes disagreed with the evaluation record. Moving candidate tracking, evaluation, and rollback into code made runs easier to control. That improves experiment execution; whether the PE improves still depends on evaluation on the same questions.Agent自身にループを任せた際には、戦略名の誤記や、終了理由と評価結果の食い違いがありました。候補、評価、ロールバックをコードで一元管理し、実行状態の混乱を減らしました。これは実験を確実に進めるための改善です。PEの品質向上は、同じ問題集での評価によって判断します。

静态图Static figure静止図

静态图Static figure静止図

离线优化中的多个Agent负责分析、修改和评审，最终交付物是一份可供单次生成使用的PE。Multiple agents analyze, edit, and review during offline optimization. The delivered artifact is a PE for single-call generation.オフライン最適化では複数Agentが分析、編集、審査を担う。納品物は単回生成に使う一つのPEである。

主线：PE修改的结果与取舍PE edits: results and decisionsPE変更の結果と採否

实验按题集、Judge和生成模式分组，每组列出自己的基线。“取舍”同时记录PE候选的去留，以及从实验中保留下来的编辑和验收机制。Experiments are grouped by dataset, Judge, and generation mode, each with its own baseline. Decisions cover both candidate acceptance and the editing or validation mechanisms retained from the experiment.実験を題集、Judge、生成モードで分け、それぞれの基準を示す。採否にはPE候補の採用だけでなく、実験から残した編集・検証の仕組みも含める。

六月历史50题：定点编辑与补丁搜索June · Former 50: targeted edits and patch search6月・旧50題：局所編集とパッチ探索

设置：Lite，历史50题，各自run的四域Judge。Setup: Lite, former 50 cases, each run's four-domain Judge.設定：Lite、旧50題、各実行時の四領域Judge。 两条线分别建立基线；当期Judge、题集文件与生成服务未完整冻结。 Each track established its own baseline; the contemporaneous Judge, dataset file, and generation service were not fully frozen. 各系統は独自の基準を作った。当時のJudge、題集ファイル、生成サービスは完全には固定されていなかった。

后期复测：本地GPT-5.2 low，四域strict-AND，Lite50题。Later retest: local GPT-5.2 low, four-domain strict-AND, Lite 50 cases.後の再評価：ローカルGPT-5.2 low、四領域strict-AND、Lite 50題。 此次复测同时涉及题集、生成端点等条件变化，历史配置未完整冻结。 The retest also changed the dataset, generation endpoint, and other conditions; historical settings were not fully frozen. 題集、生成エンドポイント等も変化しており、過去設定は完全固定されていない。

六月开发10题：改写算子与策略先验June · Dev 10: edit operators and strategy priors6月・開発10題：編集操作と戦略事前情報

设置：Guarded-Patch当期Judge，Lite开发10题；另10题独立列行。Setup: contemporaneous Guarded-Patch Judge, Lite Dev 10; a separate 10-case slice is listed separately.設定：当時のGuarded-Patch Judge、Lite開発10題。別の10題は独立行で示す。 重复判定的binary按当期阈值统计。 Repeated binary decisions use the threshold of that period. 反復の二値判定は当時の閾値で集計。

六月Lite50题：MASPCombine局部修复June · Lite 50: MASPCombine local repair6月・Lite 50題：MASPCombineの局所修復

设置：6月12日当期生产四域Judge，历史50题，同窗基线。Setup: June 12 production four-domain Judge, former 50, contemporaneous baseline.設定：6月12日の本番四領域Judge、旧50題、同時期基準。 Judge hash未完整冻结。 Judge hashes were not fully frozen. Judgeハッシュは完全固定されていない。

七月专项100题：旧JSON Schema JudgeJuly · Special 100: old JSON Schema Judge7月・専用100題：旧JSON Schema Judge

口径：旧vendored四域JSON Schema Judge，GPT-5.2；原50＋新增50。Protocol: old vendored four-domain JSON Schema Judge, GPT-5.2; former 50 + new 50.口径：旧vendored四領域JSON Schema Judge、GPT-5.2、旧50＋新50題。 Seed2 low，单次生成、单次Judge；两线只改人工PE的“SpecDoc生成执行协议”。 Seed2 low, one generation and one Judge pass; both tracks edit only the human PE's SpecDoc generation protocol. Seed2 low、単回生成・単回Judge。両系統とも人工PEのSpecDoc生成実行プロトコルだけを変更。

七月专项100题：冻结新版四域JudgeJuly · Special 100: frozen updated four-domain Judge7月・専用100題：固定した新版四領域Judge

设置：origin-main-63c9afd，GPT-5.2 medium、native JSON Schema，同一专项100题。Setup: origin-main-63c9afd, GPT-5.2 medium, native JSON Schema, same special 100.設定：origin-main-63c9afd、GPT-5.2 medium、native JSON Schema、同じ専用100題。 两线迁移Judge后分别重新建立基线。 Each track re-established its baseline after Judge migration. Judge移行後に各系統で基準を再構築。

两线最新KEEP相差1题。Free基线32、Data基线33，重复评测集中在Data；下一组方法对照需要为两臂安排相同的生成与评审次数。The latest KEEP scores differ by one case. Free started at 32 and Data at 33; repeats focused on Data. The next method comparison needs equal generation and review repetitions for both arms.最新KEEPは1題差で、Free基準32、Data基準33。反復はDataに集中したため、次の方式比較では両群の生成・審査回数を揃える必要がある。

七月主Harness开发150题：分层生成PE后的搜索July · Main harness Dev150: search after layered initialization7月・主Harness開発150題：階層化初期化後の探索

口径：同一冻结新版四域Judge，清洗后的Dev150，全量150题。Protocol: the same frozen updated four-domain Judge; cleaned Dev150, all 150 cases.口径：同じ固定新版四領域Judge、清掃済みDev150全150題。 与专项100题分开；基线为分层生成PE的16/150。前五轮使用简化策略，后三轮恢复原MASP SP-1～SP-12。 Separate from the special 100; layered-generation baseline 16/150. Five rounds used simplified strategies, then three restored original MASP SP-1–SP-12. 専用100題とは別で、階層化生成の基準16/150。最初の5回は簡略戦略、後の3回は元のMASP SP-1–SP-12へ復帰。

同一初始化PE两次全量为16、17/150，却只共同通过7题。下一步分别测量生成与Judge的波动，再据此设置Guard与KEEP门槛。The unchanged initialization passed 16 and 17 of 150, but only seven cases passed both times. Next we measure generation and Judge variability separately to set Guard and KEEP thresholds.同じ初期化PEの全量は16、17/150だったが、共通合格は7題だけだった。次は生成とJudgeの変動を分けて測り、GuardとKEEPの閾値を決める。

Former50回归：Former50 regression: Former50回帰： 分层生成PE为31/50；历史MASP保留PE为27/50。各一次生成与Judge，比较固定PE快照。五套PE的分题集结果与成本见后文；Holdout50尚未运行。 Layered-generation PE passed 31/50 and historical MASP PE 27/50, with one generation and Judge pass per fixed PE snapshot. Dataset-specific scores and costs for all five PEs appear later. Holdout50 has not run. 階層化生成PEは31/50、過去MASP採用PEは27/50。固定PEごとに生成・Judge各一回で比較した。五つのPEの題集別得点と費用は後述。Holdout50は未実行。

静态图Static figure静止図

定点编辑与补丁搜索Targeted edits and patch search局所編集とパッチ探索

MASP把失败归因成一个策略，再定点编辑Prompt或Skill。MASPCombine优先处理只差一个域即可通过的题，把目标域改善和其他题的退化分开检查。同一上下文控制四域，局部变化可能影响整份文档。 MASP turns failure diagnosis into a strategy and makes a targeted Prompt or Skill edit. MASPCombine prioritizes cases blocked by only one domain, checking target improvement separately from regressions elsewhere. Because one context controls all four domains, a local change can affect the entire document. MASPは失敗を戦略へ帰属し、PromptやSkillを局所編集する。MASPCombineは一領域だけで阻害される題を優先し、目標改善と他題退化を分けて確認する。同一文脈が四領域を制御するため、局所変更が文書全体に影響する。

静态图Static figure静止図

静态图Static figure静止図

这五条路线共享生成与评测工具，区别集中在如何提出修改、如何限制修改范围，以及如何保存反馈。早期Guarded-Patch驱动器输出候选排序；人工PE专项两条线则将编辑范围限定在生成执行协议。 These approaches share generation and evaluation tools but differ in proposing edits, limiting their scope, and preserving feedback. The early Guarded-Patch driver ranked candidates; the two human-PE tracks restricted edits to the generation protocol. 五方式は生成・評価ツールを共有し、変更の提案、範囲制限、フィードバック保存が異なる。初期Guarded-Patchは候補を順位付けし、人工PEの二系統は生成プロトコルに編集を限定した。

Guarded-Patch暴露了整文件改写的风险：四个候选都只有3/10，低于5/10 baseline；Lookup相关覆盖从20处压到7处，看板内容被删掉。改成锚点增量插入，再保护占位符、章节和长度后，开发切片出现7/10，另10题为5/10对4/10。候选与基线各重复五次，均值却同为6/10。最终保留了防止误删规则的编辑约束，停止将这次峰值改善作为晋升依据。Guarded-Patch exposed full-rewrite risk: all four candidates scored 3/10 against 5/10, Lookup coverage shrank from 20 occurrences to seven, and dashboard content disappeared. Anchored insertions with protected placeholders, sections, and length reached 7/10 on development and 5/10 versus 4/10 on a separate slice. Yet five repeats of candidate and baseline both averaged 6/10. We kept protections against accidental deletion and stopped treating that peak as promotion evidence.Guarded-Patchは全文改写の危険を示した。4候補すべて3/10で基準5/10を下回り、Lookup記述は20から7か所へ減り、看板内容も消えた。アンカー挿入とプレースホルダー、章、長さの保護に変えると開発7/10、別題で5/10対4/10になったが、各5回の平均は両方6/10だった。誤削除を防ぐ制約を残し、最高値を昇格根拠にするのをやめた。

静态图Static figure静止図

策略先验也做过消融：单代小样本里，SP开启与关闭的最佳候选都是6/10，各自baseline为3/10与4/10。这次实验中，开关策略库后的最佳得分相同。An SP-prior ablation found the same best candidate score, 6/10, with SP on or off; the respective baselines were 3/10 and 4/10. Switching the strategy library did not change the best score in that small single-generation experiment.SP事前情報の除去比較では、ONもOFFも最高6/10、各基準は3/10と4/10だった。この小規模一世代の比較では戦略集の切替で最高点は変わらなかった。

MASPCombine的反例更直接：Workflow目标题改善，全量却只有29/50，同窗pristine两次为39/50、35/50。新增规则与旧规则还存在冲突，促使修改协议加入“先读完整Skill，再查重、消冲突”。修改前检查已有规则由此成为一项明确要求。MASPCombine gave a sharper counterexample: workflow targets improved, but the full set scored 29/50 versus contemporaneous pristine runs at 39/50 and 35/50. New rules also conflicted with old ones. The editing protocol therefore came to require reading the whole Skill, deduplicating, and resolving conflicts before a change.MASPCombineではWorkflow目標が改善しても全量29/50で、同時期のpristine 39/50、35/50を下回った。新旧規則の衝突もあり、編集前にSkill全体を読み、重複と衝突を解消することを明示要件にした。

旁支：生成流程对照与产物诊断Generation experiments and artifact diagnostics生成方式の比較と成果物診断

当局部PE修改难以稳定提分时，我们另做了几组实验：多给领域一次生成机会、让模型自修初稿、用规则检查产物，以及从多份Spec中选一份。它们分别改变调用流程或产物选择方式。When local PE edits failed to improve scores reliably, we tested extra domain generation, revision of a first draft, rule-based artifact checks, and choosing among several Specs. These change the calling workflow or artifact selection, rather than only the PE.局所PE編集で安定して提分できないとき、追加領域生成、初稿の自己修正、ルールによる成果物検査、複数Specからの選択を試した。これらはPEだけでなく、呼び出し手順や成果物選択を変える。

静态图Static figure静止図

Arch与SelfRefine增加模型调用，Virtual Gate检查固定产物，Selector比较多候选的选择规则。以下分别列出调用变化、结果和交付取舍。Arch and SelfRefine add model calls; Virtual Gate checks fixed artifacts; Selector compares candidate-choice rules. Each is reported with its calling changes, results, and delivery decision.ArchとSelfRefineは呼び出しを追加し、Virtual Gateは固定成果物を検査し、Selectorは候補選択規則を比較する。呼び出しの変化、結果、納品時の採否をそれぞれ示す。

六月Lite50题：额外领域生成June · Lite 50: extra domain generation6月・Lite 50題：追加領域生成

设置：6月9—10日当期生产四域Judge，历史50题，各自同窗对照。Setup: June 9–10 production four-domain Judge, former 50, contemporaneous controls.設定：6月9–10日本番四領域Judge、旧50題、各同時期対照。 Judge hash未完整冻结。 Judge hashes were not fully frozen. Judgeハッシュは完全固定されていない。

多领域生成增加三次领域调用，初跑平均总token约31k→41k。Multi-domain generation adds three domain calls, increasing average total tokens from about 31k to 41k in the initial run.領域別生成では呼び出しが3回増え、初回実験の平均総token数は約31kから41kへ増えた。

六月Pro重复切片：同模型自我修订June · Repeated Pro slices: same-model self-revision6月・Pro反復スライス：同モデル自己改訂

设置：生产bitable-lcp四域Judge，Pro，三轮重复实验。Setup: production bitable-lcp four-domain Judge, Pro, three repeated runs.設定：本番bitable-lcp四領域Judge、Pro、3回反復。 统计单位为“题目×轮次”，共72次判定。 The unit is case × round, for 72 judgments. 集計単位は題×ラウンド、計72判断。

六月固定产物：检查器与选择器June · Fixed artifacts: checker and selector6月・固定成果物：検査器と選択器

口径：历史Judge标签上的回放，生成PE未改变。Protocol: replay against historical Judge labels; generation PE unchanged.口径：過去Judgeラベルでの再生、生成PEは変更なし。 两行分别使用309份Spec/Judge对、50题×4份候选；检查精确率与文档通过率属于不同指标。 The two rows use 309 Spec/Judge pairs and 50 cases × four candidates. Checker precision and document pass rate are different metrics. 各行は309 Spec/Judge対と50題×4候補を使用。検査適合率と文書合格率は異なる指標。

额外生成增加了成本，自修引入了新错误，规则选择器与随机选择的结果接近。后续主Harness因此集中研究单次生成的PE结构，并保留检查器用于定位产物问题。Extra generation increased cost, self-revision introduced new errors, and the rule-based selector performed close to random choice. The main harness subsequently focused on single-call PE structure, retaining checkers for artifact diagnosis.追加生成は費用を増やし、自己改訂は新誤りを生み、規則選択はランダムに近かった。その後の主Harnessは単回生成のPE構造へ集中し、検査器は成果物診断用に残した。

Judge 迁移与分数波动Judge migration and score variationJudge移行とスコア変動

历史72%难以重现，最初的调查指向Judge。复核发现，题集、澄清Q&A和生成参数也有变化，而历史逐题Spec没有完整保存。要区分这些因素，实验需要同时保留生成产物和评测配置。 A historical 72% was hard to reproduce, initially pointing suspicion at the Judge. Investigation also found dataset, clarification Q&A, and generation-parameter changes, while historical per-case Specs were incompletely saved. Separating these factors requires preserving both artifacts and evaluation settings. 過去72%を再現できず、当初はJudgeを疑った。しかし題集、確認Q&A、生成引数も変わり、過去の各題Specも完全保存されていなかった。要因を分けるには生成物と評価設定の両方を残す必要がある。

7月迁移实验保留了固定产物。历史Top KEEP的50份Spec从旧记录28/50变成JSON Schema的27/50，但13题翻转。当前fresh产物在SDK-local为27/50，JSON Schema下仅5/50。历史产物与Fresh产物在新Judge下的变化幅度明显不同。July's migration experiment held artifacts fixed. Fifty historical Top KEEP Specs changed from recorded 28/50 to 27/50 under JSON Schema, with 13 case flips. Fresh artifacts scored 27/50 with SDK-local but only 5/50 with JSON Schema. The new Judge affected historical and fresh artifacts very differently.7月移行実験では成果物を固定した。過去Top KEEPの50 Specは旧記録28/50からJSON Schemaで27/50となったが、13題が反転した。fresh成果物はSDK-localで27/50、JSON Schemaで5/50だった。新Judgeの影響は過去とfreshで大きく異なる。

静态图Static figure静止図

再独立生成三次，SDK-local得到23、24、26/50，JSON Schema却都是6/50，通过集合还不同。重生成持续落在低分区间；恢复历史Skills的六题检查也只多通过一题。下一步的重点转向：哪些生成规则与新Judge的要求存在缺口。Three independent generations scored 23, 24, and 26/50 with SDK-local, but all scored 6/50 under JSON Schema, with different passing sets. Fresh generation stayed in a low-score band. Restoring historical Skills on six cases gained only one pass. Attention shifted to gaps between generation rules and the new Judge's requirements.独立に3回生成するとSDK-localは23、24、26/50、JSON Schemaはすべて6/50で、合格集合も異なった。再生成は低得点帯に留まり、過去Skills復元の6題確認も純増1題だった。次は生成ルールと新Judge要件の不足箇所に焦点を移した。

这些实验涉及三套Judge入口：Dify API、Dify同源的SDK-local、JSON Schema。实验记录需要同时固定Judge Prompt、请求格式、模型参数与待评Spec。These experiments used three Judge entry points: Dify API, SDK-local from the same Dify source, and JSON Schema. Records must freeze Judge prompts, request format, model parameters, and the exact Spec being reviewed.入口はDify API、Dify同源SDK-local、JSON Schemaの三つだった。Judge Prompt、リクエスト形式、モデル引数、対象Specを同時に固定して記録する必要がある。

旧规则整理与精简规则库Organizing old rules and testing a compact library既存ルールの整理と簡略化

第一轮表达规范化把显式思考改为内部审查，补全字段引用和组件配置，JSON Schema仍是5/50。随后极薄规则库原型大幅缩短输入，也没有换来质量。三层规则库成形后，10题A/B为整理版6/10、精简规则库4/10，输入30.8k→6.7k，但Table从8/10跌到5/10。 The first normalization replaced explicit thinking with internal checks and completed field references and component settings, but stayed at 5/50 under JSON Schema. An extremely thin rule library then shortened inputs without improving quality. Once the three-layer library took shape, a 10-case A/B scored the organized version 6/10 and compact library 4/10: inputs fell 30.8k→6.7k, while Table fell 8/10→5/10. 最初の正規化は明示的思考を内部審査へ変え、参照とコンポーネント設定を補ったが、JSON Schemaで5/50のままだった。極薄ルール集も入力を短縮しただけだった。三層化後の10題A/Bは整理版6/10、簡略集4/10で、入力30.8k→6.7kに対しTableは8/10→5/10へ下がった。

静态图Static figure静止図

再从Judge反推Table红线，增加Lookup、字段类型和命名禁令，候选却只有3/10，二次修改2/10，最终回退。强制叫“数量”的规则与实际生成的“出入库数量”冲突；禁止项增多，没有让字段注册表真正闭合。Deriving Table red lines from the Judge and adding Lookup, field-type, and naming prohibitions produced only 3/10, then 2/10 after a second edit, so we reverted. A mandatory field name “quantity” conflicted with generated “stock movement quantity.” More prohibitions did not close the field registry's dependencies.JudgeからTableの禁止条件を逆算し、Lookup、型、命名の制約を加えると3/10、二度目は2/10となり復元した。「数量」という必須名が実際の「入出庫数量」と衝突した。禁止を増やしてもフィールド登録の依存は完成しなかった。

按桶迁移旧规则整理版的字段注册、字段行模板、权限和周期规则后，同轮两版都是4/10。拆分文件之外，还需要保留字段注册、引用和权限等设计约束。After migrating field registration, field-line templates, permission, and periodicity rules by category from the organized old PE, both versions scored 4/10 in one comparison. Splitting files still requires preserving design constraints around registration, references, and authorization.整理版のフィールド登録、行テンプレート、権限、周期規則を分類移行した後も、同回の二版は4/10だった。ファイル分割だけでなく、登録、参照、認可の設計制約を保つ必要がある。

从200条高质量答案中提取规则也遇到了回退：format-density、format-only、workflow-time-trigger三个候选各1/10，对照5/10。答案中的共同特征，写成指令后未必有同样的作用。Pattern Catalog由此按用途组织观察：生成规则进入Prompt，格式检查交给linter，其他问题交给rewrite、reviewer或诊断工具。 Rules extracted from 200 high-quality answers also regressed: format-density, format-only, and workflow-time-trigger candidates each scored 1/10 against 5/10. Shared answer features do not necessarily work as instructions. The Pattern Catalog therefore organizes observations by use: generation rules go into prompts, format checks into linters, and other issues to rewrite, review, or diagnostic tools. 高品質回答200件からの規則抽出も退化した。format-density、format-only、workflow-time-triggerは各1/10、対照5/10だった。回答の共通特徴を命令に変えても同じ効果とは限らない。Pattern Catalogは用途別に整理し、生成規則はPrompt、形式検査はlinter、他はrewrite、reviewer、診断へ分けた。

人工PE双线：自由归因与动态策略库Two tracks: free diagnosis and strategy memory自由診断と戦略メモリの二系統

为豆包紧急优化PE时，人工PE专项采用人工调整的长Prompt，固定能力边界，只开放“SpecDoc生成执行协议”。Free从失败中提出修改假设；Data/SP先更新策略库，再选择一项策略负责本轮修改。两条线始终独立。For urgent Doubao optimization, both tracks started from a long human-refined prompt with fixed capability boundaries; only the SpecDoc generation protocol was editable. Free proposed hypotheses directly from failures. Data/SP updated strategy memory, then selected one strategy for the next edit. The tracks remained independent.Doubao向け緊急最適化では、人が調整した長いPromptを起点に能力境界を固定し、SpecDoc生成実行プロトコルだけを編集可能にした。Freeは失敗から仮説を提案し、Data/SPは戦略集を更新して一つを選び編集した。二系統は独立を保った。

静态图Static figure静止図

旧Judge下，Free从28到30/100，Data从28到40/100。Data增量集中在完整Lookup、当前记录匹配键和组件口径；Free强调普通记录优先View、下游消费字段反推回表。Data同PE六次为40、36、36、34、34、30，均值35%，比峰值低5个百分点。Under the old Judge, Free rose from 28 to 30/100 and Data from 28 to 40/100. Data focused on complete Lookup definitions, current-record keys, and component semantics; Free preferred views for ordinary records and planned fields backward from consumers. Six runs of the same Data PE scored 40, 36, 36, 34, 34, and 30: mean 35%, five points below the peak.旧Judge下でFreeは28→30/100、Dataは28→40/100だった。DataはLookupの完全性、現レコードキー、コンポーネントの意味、Freeは通常レコードのビュー優先と下流からのフィールド逆算を強調した。同じData PEの6回は40、36、36、34、34、30で、平均35%、最高より5ポイント低かった。

迁移Judge后，两条线各自重新建立baseline：After Judge migration, each track rebuilt its baseline:Judge移行後は各系統で基準を再構築した：

相近的总分，可能掩盖逐题结果的变化。Data 三次运行中有 99 题可比，其中 39 题的通过状态发生过变化；另一次 Judge 空响应单独排除。Free 则曾拿到 41/100 却被退回，因为计划补上的 Dashboard 没有生成。保留一项修改，需要同时确认分数改善和目标机制确实生效。Similar totals can hide changes in which cases pass. Across three Data runs, 99 cases were comparable and 39 changed pass status; one empty Judge response was excluded separately. A Free candidate scoring 41/100 was rejected because the intended Dashboard was never generated. Keeping an edit requires both a score improvement and evidence that the intended mechanism took effect.合計点が近くても、通過する問題は変わり得ます。Dataの3回の実行で比較できた99問のうち、39問は合否が変わりました。Judgeの空応答1件は別途除外しています。Freeでは41/100でも、追加するはずのDashboardが生成されず不採用になった候補がありました。変更を残すには、点数の改善と狙った仕組みの実現を両方確認します。

动态策略库保存策略状态、适用条件、冲突和失败记录，供下一轮选择修改方向。Dynamic strategy memory stores status, applicability, conflicts, and failures to guide the next edit.動的戦略メモリは状態、適用条件、衝突、失敗履歴を保存し、次の編集方向を選ぶ。

主 Harness：从薄规则到分层生成Main harness: from thin rules to layered generation主Harness：薄いルールから階層化した生成へ

主Harness另建数据组织：新200中150用于开发、50保留Holdout，Former50独立做历史回归。Dev150结果来自完整150题，与人工PE专项100题分开统计。新题更长，Q&A和跨域责任更多，两套分布的成绩相差很大。The main harness uses a separate data split: 150 of the new 200 for development, 50 held out, and Former50 for historical regression. Dev150 always means all 150 cases, separate from the human-PE special 100. New cases are longer, with more Q&A and cross-domain responsibilities; performance differs greatly between distributions.主Harnessは別のデータ構成で、新200の150を開発、50をHoldout、Former50を独立した過去回帰に使う。Dev150は全150題を指し、人工PE専用100題とは別集計である。新題は長く、Q&Aと領域間責任が多く、分布間で成績が大きく異なる。

静态图Static figure静止図

初始薄规则原型只有3/150。我们暂停自动迭代，先重做初始化。权限预规划方案尝试独立Permission Planner，再校验、渲染；权限重复均值改善，却增加模型调用。随后回到单次调用，尝试让模型同时输出Contract结构草稿，由本地校验、剥离。它能提前暴露引用问题，却增加结构负担，Table始终没过扩测门槛。The initial thin-rule prototype scored only 3/150, so we paused automatic search and rebuilt initialization. A separate Permission Planner followed by validation and rendering improved repeated permission means but added calls. We then returned to one call with a Contract draft that local code validated and stripped. It exposed reference errors early but added structural burden; Table never cleared the expansion gate.初期薄ルール版は3/150しかなく、自動探索を止めて初期化を作り直した。独立Permission Planner後の検証・描画は権限平均を改善したが呼び出しを増やした。次に単回へ戻し、同時出力するContract草稿をローカルで検証・除去した。参照誤りを早く発見できても構造負担が増え、Tableは拡大評価の門を越えなかった。

静态图Static figure静止図

最终方案去掉独立Planner、Contract Envelope、生成后修复和best-of，把需求理解、领域规划与一致性检查组织进同一次生成。The final design removes separate planners, Contract envelopes, post-generation repair, and best-of selection. Requirement understanding, domain planning, and consistency checks all occur within one generation.最終方式は独立Planner、Contract Envelope、生成後修復、best-ofを除去し、要求理解、領域計画、整合検査を一度の生成内へまとめた。

分层生成PE 的 Core 与 SkillsCore and Skills in layered generation階層化した生成のCoreとSkills

Core负责Query理解、要素注册、Table依赖、四域规划、一致性检查和渲染；Shared集中保存各域共用的规则；四域Skills保存产品能力、红线和设计示例。八份规则Markdown调用前确定性装配，Shared去重，不做逐题RAG。Core orders query understanding, element registration, table dependencies, four-domain planning, consistency checks, and rendering. Shared holds common rules; domain Skills hold capabilities, red lines, and examples. Eight rule Markdown files are assembled deterministically before the call, with Shared deduplicated and no per-query RAG.CoreはQuery理解、要素登録、表依存、四領域計画、整合検査、描画を順序付ける。Sharedは共通ルール、四領域Skillsは能力、禁止事項、設計例を持つ。8つのMarkdownを呼び出し前に決定的に結合し、Sharedを重複排除する。題ごとのRAGは使わない。

静态图Static figure静止図

看板的汇总指标、工作流的阈值与接收人，都需要对应的表字段。先登记这些需求，再把Lookup、Formula、人员和时间字段回填到表规划，之后才渲染。字段依赖在规划阶段建立，各域生成时引用同一份定义。Dashboard aggregates and workflow thresholds and recipients need corresponding table fields. Register those requirements first, then backfill Lookup, Formula, person, and time fields into table plans before rendering. Domains consume the same definitions established during planning.看板集計、ワークフローの閾値と受信者には対応する表フィールドが必要である。先に要求を登録し、Lookup、Formula、ユーザー、時間フィールドを表計画へ戻してから描画する。計画段階で作る同じ定義を各領域が参照する。

静态图Static figure静止図

统一修正后的Dev150与Former50上，分层生成PE单轮16/150、31/50，高于本次比较的薄规则原型、策略记忆PE（对照快照）、旧Lite PE、历史MASP保留PE。Dev平均输入8,799 token，少于Data的19,312、旧Lite的28,871；输入包含Skills。On consistently corrected Dev150 and Former50, layered-generation PE scored 16/150 and 31/50 in one run, above the thin prototype, strategy-memory snapshot, old Lite PE, and historical MASP PE. Mean Dev input was 8,799 tokens, below Data's 19,312 and old Lite's 28,871. Input counts include Skills.統一修正したDev150とFormer50で、階層化生成PEは単回16/150、31/50となり、薄い原型、戦略メモリ対照版、旧Lite、過去MASPを上回った。Dev平均入力はSkills込み8,799トークンで、Dataの19,312、旧Liteの28,871より少なかった。

静态图Static figure静止図

比薄规则原型，它补回领域机制；比旧PE，它将SDK操作文档改写为生成规则，重新划分Core与Skills的职责。这组对照同时更换了Core、Skills和样例，衡量的是整套PE的效果。开发10题的三次通过数为3、3、2，随后需要在全量题集上测量重复表现。Relative to the thin prototype, it restores domain mechanisms. Relative to old PEs, it turns SDK operation manuals into generation rules and clarifies Core/Skill responsibilities. Core, Skills, and examples all changed, so the comparison measures the whole PE package. Three Dev10 runs passed 3, 3, and 2 cases; full-set repeats are needed next.薄い原型に対しては領域機構を戻し、旧PEに対してはSDK操作文書を生成規則へ書き換え、CoreとSkillsの責任を分けた。Core、Skills、例を同時に変えた比較なのでPE一式の効果を測っている。開発10題の3回は3、3、2合格で、次は全量反復が必要となる。

分层生成PE 后续迭代与重复评测Further search and repeated evaluation追加探索と反復評価

分层生成PE之后做了八轮探索，前五轮用简化策略，后面恢复原MASP SP-1～SP-12，全部没有KEEP。Dashboard候选消除目标问题，却在Dev150新增8题、丢失11题；Workflow候选新增7、丢失12。后续另开“旧Skills只读参考＋标准MASP”支线，fresh baseline17/150，首轮Target出现Guard回退，停留在局部验证阶段。 Eight search rounds followed layered initialization: five with simplified strategies, then original MASP SP-1–SP-12. None earned KEEP. The Dashboard edit removed its target error but gained eight and lost 11 Dev150 passes; Workflow gained seven and lost 12. A separate standard-MASP track with old Skills as read-only reference started at 17/150, regressed on Guard in its first Target check, and remained in local validation. 階層化初期化後に8回探索し、初め5回は簡略戦略、後は元のMASP SP-1–SP-12を使ったがKEEPはなかった。Dashboardは目標誤りを消してもDev150で8改善・11退化、Workflowは7改善・12退化だった。旧Skills読み取り参照＋標準MASPの別系統はfresh 17/150で始まり、最初のTargetでGuard退化が出て局所検証に留まった。

静态图Static figure静止図

不改PE的两次全量16/150与17/150，看似很稳，实际只共同通过7题，19题翻转。Guard题也需要通过重复运行筛选，才能更可靠地检测修改带来的退化。Two unchanged-PE totals, 16/150 and 17/150, look stable but share only seven passing cases; 19 flip. Guard cases also need repeat-based selection to detect edit-induced regressions reliably.無変更PEの16/150と17/150は安定に見えるが、共通合格は7題、19題が反転した。変更由来の退化を安定して検出するにはGuard題も反復で選ぶ必要がある。

静态图Static figure静止図

下一步将实验拆成两层：固定Spec重复Judge，测判分波动；固定PE独立生成，再评审每份产物，测生成变化。两种波动的大小将决定KEEP需要多大的收益、多少次复核。The next experiment separates two sources: repeat Judge on fixed Specs to measure scoring noise, then generate independently from a fixed PE and judge each artifact to measure generation variation. Their magnitudes will determine required KEEP gains and repeat counts.次は固定SpecのJudge反復で採点変動を測り、固定PEから独立生成して各成果物を審査し生成変動を測る。両者の大きさからKEEPに必要な利益と再確認回数を決める。

训练数据与端到端验证Training data and end-to-end validation訓練データとエンドツーエンド検証

静态图Static figure静止図

图注与口径Figure notes図注と評価条件

两条独立运行比较模型 + 系统提示词的联合配置，并非同一 PE 的前后修复。状态值与代码为语义节选；原始轨迹和评审报告保留核对记录。These independent runs compare model + system-prompt configurations, not a before/after PE-only repair. State values and code are translated excerpts; original trajectories and verdicts were checked.独立した2実行でモデル＋システムプロンプトの設定を比較。単一 PE の修復前後ではない。状態値とコードは意味を保った抜粋・翻訳で、原軌跡と判定を照合済み。

后期工作将问题推进到设计如何被执行器消费。HostPlan45题中，案例030原来只在解释段落写“本月已交”，组件还是泛化总篇数、总稿费；把时间与状态筛选明确绑定到两个组件，Base才保留筛选，案例7.8→10。整批结果为20→21/45；两轮同时使用了不同Judge入口，格式改动的作用主要通过逐题产物追踪。Later work examined how executors consume designs. In HostPlan45, case 030 mentioned “submitted this month” only in prose; its components still aggregated all articles and fees. Binding time and status filters to both components preserved those filters in the Base and raised the case from 7.8 to 10. The batch moved 20→21/45, but Judge entry points also changed, so per-case artifacts provide the main evidence for the format effect.後期は設計が実行器へどう伝わるかを調べた。HostPlan45の030は「今月提出済み」を説明だけに書き、部品は総記事数・総原稿料のままだった。時間と状態の絞り込みを両部品へ明示するとBaseも維持し、同例は7.8→10となった。全体20→21/45だがJudge入口も変わったため、形式効果の根拠は主に個別成果物の追跡である。

静态图Static figure静止図

后续也把通过历史自动 Judge 的设计用于训练生成模型：两批数据分别做 SFT，再合并用于继续训练。训练目标是最终 SpecDoc，输入保留用户需求、产品能力边界和完整格式示例。三组各用自己的 100 题测试集评估，跨组的分数不能直接当作模型进步；模型与提示词的交付效果另用下述同题对照检查。Later work used designs accepted by historical automated Judges to train the generator: two datasets were used for separate SFT runs, then combined for continued training. The target was the final SpecDoc; inputs retained the user request, product constraints, and complete format examples. Each group used its own 100-case test set, so cross-group scores do not directly measure model progress. The paired comparison below instead tests the delivered model-and-prompt configurations on the same questions.後半では、過去の自動Judgeを通過した設計を生成モデルの学習にも使いました。二つのデータセットで個別にSFTを行い、その後に統合して追加学習しました。学習目標は最終SpecDocで、入力にはユーザー要求、製品の制約、完全な書式例を残しました。各群はそれぞれ異なる100問で評価しているため、群間の点数差をそのままモデルの進歩とは扱えません。モデルとプロンプトの組み合わせは、次の同一問題による対照で検証します。

Building0.7同50题的配对实验中，原始Q2＋旧SP32/50，继续训练＋训练规范PE 35/50，8赢5输。两组同时更换了模型和SP，比较的是两套生成配置的端到端效果。On the same Building0.7 50 cases, original Q2 with old SP passed 32/50; continued training with the training-standard PE passed 35/50, with eight wins and five losses. Both model and SP changed, so this compares two end-to-end generation configurations.同じBuilding0.7の50題で、元Q2＋旧SPは32/50、継続訓練＋訓練標準PEは35/50、8勝5敗だった。モデルとSPを両方変えたため、二つの生成構成のE2E比較である。

静态图Static figure静止図

阶段结果与后续问题Results and open questions結果と次の課題

这段工作的重心从局部补规则，逐步转向PE的信息组织、修改的验收方式，以及Spec到实际搭建的交接。The work gradually shifted from adding local rules to organizing information in the PE, deciding which edits to accept, and handing Specs to real builders.作業の重心は局所ルール追加から、PEの情報構成、編集の採用基準、実構築へのSpec引き渡しへ移った。

先问需求在哪里丢失，再决定改Core、领域机制、训练目标，还是执行器。招聘案例的错误已经写进Spec；餐饮案例同时存在设计分组错误与执行器丢筛选。只看最终失败域，很容易改错地方。Locate where a requirement was lost before deciding to edit Core, a domain mechanism, a training target, or the executor. The hiring case already contained the error in its Spec; the restaurant case combined incorrect design grouping with dropped executor filters. The final failing domain alone can point to the wrong fix.要求がどこで失われたかを確認してからCore、領域機構、訓練目標、実行器のどれを変えるか決める。採用業務の例はSpec段階で誤りがあり、飲食例は設計のグループ誤りと実行器の絞り込み欠落が併存した。最終失敗領域だけを見ると修正先を誤る。

静态图Static figure静止図

分层生成PE以较少输入取得了五套PE对照中最高的单轮通过数，成为后续搜索的起点；Free和Data分别保留了执行协议修改，Data的重复评测也显示出峰值与均值的距离。新200曾参与Pattern抽取，其中Holdout50尚未运行；最终泛化验证需要另建未参与规则设计的封存集。Layered-generation PE achieved the highest single-run pass counts among five PEs with less input, becoming the next search baseline. Free and Data retained independent protocol edits; Data repeats showed the gap between peak and mean. The new 200 cases had been used for pattern extraction, while Holdout50 remains unrun. Final generalization evaluation needs a separate sealed set unused in rule design.階層化生成PEは少ない入力で五版中最多の単回合格を得て、次の探索起点となった。FreeとDataは独立した実行規約変更を保持し、Data反復は最高と平均の差を示した。新200はパターン抽出に使われ、Holdout50は未実行である。最終汎化検証にはルール設計に未使用の封印集を別途作る必要がある。

下一步先固定Spec重复Judge，再固定PE独立生成，分别估计两个环节的波动，据此调整KEEP的验收条件。Next, repeat Judge on fixed Specs and independently generate from fixed PEs, estimate both sources of variation, and adjust KEEP acceptance accordingly.次は固定SpecのJudge反復と固定PEの独立生成で両変動を推定し、KEEP条件を調整する。