同じ計画でも、再実行の結果は分かれる
Markdown のインライン構文解析 · RSR の先行論文にある再構成事例
元の実行 · ターン 26
パーサー生成を試す
テキスト解析ツールを準備
成功した元の軌跡はターン 26 で tree-sitter generate を試した。tree-sitter はパーサーの生成・利用ツール群であり、パーサーは Markdown をプログラムで扱える構造へ変換する。図は論文で抜粋された主要イベントを示す。元の実行 · ターン 51
既成パーサーを使用
コンパイル済み部品を読込
既成パーサーはコンパイル済みの解析部品で、互換環境では直接読み込める。元の軌跡はターン 51 でこれを使った。論文中のコマンドは tree-sitter parse -l ...node --lang-name markdown /tmp/test.md と略記されている。元の実行 · 最終検証
64 ターン、合格
成功経験を計画に活用
元の実行は全 64 ターンで最終検証に合格した。その成功経験を実行計画にまとめ、新しい環境でモデルが課題をやり直す際の指針とする。成功経験から抽出した同じ実行計画
互換パーサー→出力要約を一致→表の処理設定
runbook は主要な手順、確認、復旧方法を記す実行計画である。この計画は成功した元の実行から、互換パーサーの発見、出力要約の一致、表の処理設定の確認を抽出したもの。下の A と B はそれぞれ別の新しい環境で独立に実行する。再実行 A · ターン 9
既成パーサーを使用
早期に有効な解析経路へ
再実行 A はターン 9 で既成パーサーを使った。右の B と計画は共有するが、別々の新しい環境で動く。元の軌跡のターン 51 の抜粋にも同じ操作が記録されている。再実行 B · ターン 26
解析結果を確認
端末：ファイル確認ツールなし
再実行 B は xxd .../parse.txt | head -20 を試し、端末は bash: xxd: command not found を返した。xxd はファイルの 16 進数表示・変換を行うコマンドラインツールで、ここではツール呼び出しの失敗を記録している。再実行 A · ターン 21
再構築の結果を確認
結果確認スクリプトを実行
ターン 21 では python3 /app/tools/feedback で再構築の結果を確認した。feedback はここで用いる結果確認スクリプトである。再実行 B · ターン 36
修正後に再確認
結果確認スクリプトを再実行
再実行 B は修正後のターン 36 で、結果確認スクリプト feedback を再び実行した。この箇所とターン 26 は、論文から抜粋された 2 つの実行イベントである。再実行 A · 最終検証
32 ターン、合格
再実行 A は全 32 ターンで最終検証に合格した。成功軌跡はさらに品質・漏洩検査を受け、合格すれば学習用デモになる。再実行 B · 最終検証
38 ターン、失敗
再実行 B は全 38 ターンで最終検証に失敗した。この再実行は最終検証で除外される。図の抜粋はツールの確認と結果の検査を示す。成功経験を抽出
A · 独立した新環境
B · 独立した新環境