Robotic perception & planning · October 2026机器人感知与规划 · 2026 年 10 月ロボットの認識と計画 · 2026年10月
Perception and Planning: Four Papers, Four Workflows感知与规划：四篇论文的流程解读認識と計画：四論文のワークフロー
From learning across visual domains to locating a handle and coordinating a team: four methods, each through its workflow and a concrete example.从跨场景识别，到找到一个把手，再到安排多台机器人的任务与路线：沿着各自的流程与例子，读四种方法。異なる環境での認識から、取っ手の位置の特定、複数ロボットの担当と経路まで。四つの手法を、それぞれの流れと具体例で読む。
A robot must recognize its surroundings, locate the part it needs, and reach a task without obstructing its teammates. These papers examine different decisions along that path. RJS addresses learning across visual domains; ICBSS and TA-CBWH coordinate assignments and routes; CoD locates the small parts an instruction refers to.
01 / 04
RJS · Learning across a change of scene
Bicycles can look very different in renderings and street photographs. RJS asks how a classifier can learn from the new photographs when their labels are missing.
Regularized joint self-training: A cross-domain generalization method for image classificationEngineering Applications of Artificial Intelligence 134, 108707 (2024)
An image classifier takes a picture and predicts a category, such as bicycle or motorcycle. Training usually supplies both the picture and its correct category. That category is the label: it gives the model an answer against which to adjust its predictions.
Consider a teaching example with labelled rendered images and unlabelled street photographs. The renderings are the source domain; the photographs are the target domain. Changes in lighting, background and viewpoint create a domain shift. Using the new images to adapt the classifier without their human labels is called unsupervised domain adaptation.
A model can assign temporary labels to those photographs and learn from them. These predictions used as training targets are pseudo-labels. RJS couples their generation with learning, and adds regularization—a constraint on how the model learns—during initial training.
Static diagram
01 · Prepare the images
The rendered bicycle comes with the answer “bicycle”; the street photograph arrives without an answer. The two collections play different roles: one supplies known categories, while the other shows what the classifier will encounter in the new setting.
02 · Turn predictions into labels
Suppose the current classifier calls the bicycle in the photograph a “motorcycle”. That word becomes the photograph’s pseudo-label. It now provides an answer for learning. Fitting this answer would encourage the classifier to repeat its own mistake: prediction errors can feed back into training.
Static diagram
03 · Learning and regularization
RJS changes learning in two places. On the source domain—the labelled renderings in this example—it jointly trains pseudo-label generation and optimization to improve transfer to the new setting. On the target photographs, its initial training uses a regularized loss in place of the original cross-entropy loss. A loss is the quantity training seeks to reduce; changing it changes how a label drives a parameter update. Here the aim is to limit memorization of mistaken pseudo-labels such as “motorcycle”. The updated classifier then produces the next predictions, closing the self-training loop.
Static diagram
04 · Classify the new scene
After adaptation, the resulting classifier predicts categories for street photographs. The new images provided examples of the target setting, while the training changes controlled how the model learned from its own labels.
02 / 04
ICBSS — Plan the visits and the shared passage
Two warehouse robots must inspect four points and pass through one crossing. Choosing the visits also changes when they meet. ICBSS puts visit planning and collision resolution in one constraint tree, allowing a newly discovered conflict to reshape the coordinated plan.
ICBSS: An Improved Algorithm for Multi-Agent Combinatorial Path FindingICRA 2025
Imagine A leaving the west side and B leaving the north side. Before parking at Aɢ and Bɢ, the team must inspect p, q, r and s. We represent an aisle as connected cells: in one step a robot moves to a neighboring cell or waits. Two robots cannot occupy the same cell at the same time or exchange adjacent cells in one step.
With destinations already assigned, finding compatible routes is multi-agent path finding (MAPF). Here we must also distribute the inspection points and order the visits: multi-agent combinatorial path finding (MCPF). “Combinatorial” refers to these choices of assignment and order, which interact with movement timing.
Static diagram
01 · Read the task
The input is this one crossing, two starts, two destinations and four inspection points. The team must cover every inspection point before finishing. This creates one shared planning task: a route is useful when it completes its visits and fits the other robot’s movement.
02 · Plan the visits
One candidate gives p→q to A and r→s to B. Both routes reach x at t=2, so the visits are covered but the timing conflicts. ICBSS uses a single constraint tree—a branching record of motion restrictions—and a solver that chooses the order of visits while considering arrival times—a time-dependent traveling-salesman solver—to plan under those restrictions. Its predecessor CBSS used several trees for different visit sequences, which could repeat similar collision handling.
Static diagram
03 · Resolve the conflict
The conflict can create two branches: forbid A from occupying x at t=2, or forbid B from doing so. Follow the branch that restricts B here. Planning resumes under that condition. In our example B waits at r for one step, leaving x to A at t=2 and using it at t=3. This is one feasible repair; the method couples motion restrictions with the visit planning of stage 02.
04 · Output the schedule
The output gives a time for every move and wait. In the displayed schedule A finishes at t=4 and B at t=5; p, q, r and s are all visited. The paper also describes a suboptimal variant that trades solution quality for computational efficiency.
Static diagram
03 / 04
TA-CBWH — Choose the tasks with the routes in view
Two robots can share two warehouse tasks in different ways. Each task pays a reward, while traveling and waiting consume it. TA-CBWH improves routes for one assignment and shifts computation between assignments, aiming to raise the lowest net gain in the team.
Heuristically Guided Compilation for Task Assignment and Path FindingICRA 2025
In this warehouse, A starts at a junction and B starts five steps up its aisle. Inspection tasks P and Q are each two steps from the junction. A therefore reaches either task in two steps; B needs seven. A robot may also wait. Each task is assigned once, to one robot.
Joint target assignment and path finding (TAPF) decides both who goes where and how they get there without collisions. For this illustrative example, let P pay 14 and Q pay 10, and charge one utility unit per step before arrival. Net gain is reward minus travel-and-wait cost. These constructed numbers make the paper’s max–min objective visible: improve the smallest robot gain.
Static diagram
01 · Define rewards and costs
Start with assignment X: A takes P and B takes Q. In candidate X₀, A arrives in two steps, while B waits once before moving and arrives in eight. The input now has both a task assignment and timed routes. The extra wait matters because the cost is charged until arrival.
02 · Compare the lowest gain
For X₀, A gains 14−2=12 and B gains 10−8=2, so the score is 2. Apply the same rule to every candidate. Later we will see X with gains (12,3) and Y with (8,7): both total 15, but their lowest gains are 3 and 7. The paper’s objective favors Y among these candidates because it raises that floor.
Static diagram
03 · Improve a fixed assignment
With X fixed, the method writes the discrete route choices and feasibility conditions as an integer linear program (ILP), so an optimizer can seek compatible routes. Large-neighborhood search (LNS) repeatedly reoptimizes a selected part while retaining the rest. Our constructed update keeps A’s route and removes B’s extra wait: B arrives at t=7, lifting the gains to (12,3). It illustrates why route improvement is useful even before changing an assignment.
04 · Try another assignment
Now consider Y, which sends A to Q and B to P. Feasible routes still take two and seven steps, giving 10−2=8 and 14−7=7. This improves the lowest gain from 3 to 7 compared with X. TA-CBWH uses heuristics to direct computation toward promising assignment searches that may improve the lowest gain, while removing unnecessary assignments. Our candidate sequence shows why both levels matter: improve the journey within one assignment, and also examine a different distribution of tasks.
Static diagram
04 / 04
CoD: from the object to the part
Opening a drawer requires a more precise answer than recognizing a desk. Chain-of-Detection turns the instruction into a sequence of visual targets, then narrows the image until the part needed for the operation comes into view.
Chain-of-Detection: Enhancing Cross-Granularity Robotic Perception for Object ManipulationIEEE Transactions on Neural Networks and Learning Systems 37(4), 1919–1933 (2026)
A camera gives the robot an image; “open the drawer” gives it an intention. Before planning a movement, the robot needs to find the part it should approach: the handle. Detecting a whole desk and detecting a small handle require different levels of detail. CoD connects these levels with a sequence of searches.
A detector marks possible objects with rectangular boxes. A box specifies a region using its top-left and bottom-right pixel coordinates. A vision-language model reads an image together with words: here, Qwen2-VL both proposes what to look for and scores how well a cropped region matches a target phrase. Faster R-CNN supplies the candidate boxes in the public implementation.
The example follows the author repository’s desk → drawer → black handle chain. Cropping means extracting the pixels inside an accepted box and using that smaller image for the next search. Each crop gets a new coordinate origin, so the system also records where it came from. The diagrams use illustrative pixel coordinates to make that bookkeeping visible.
Static diagram
01 · Plan the chain
The image and “open the drawer” first go to the vision-language model. It returns the short chain desk → drawer → black handle. This supplies both an order and a containment relation: look for the drawer within the desk, then for the handle within the drawer. The first search receives the original image and the word “desk”.
02 · Propose boxes
At each level, Faster R-CNN receives the current image and produces candidate boxes. On the last level, that image is the drawer crop. Each box marks a region that the next stage can inspect against the phrase “black handle”. The proposals provide locations; the text-guided evaluation decides which location fits the instruction.
03 · Select a box
For each evaluated box, the program crops its pixels and asks Qwen2-VL how well they match “black handle”. The number of evaluations is limited in advance. Upper confidence bound (UCB) chooses which candidate to evaluate next, balancing its average score with how few times it has been examined. After this budget is spent, candidates are checked in average-score order. The program slightly varies brightness, rotation and scale; a candidate passes when its mean score is high enough and the range of scores is small enough. A rejected candidate leads to another box at this level. With no candidates, or no accepted candidate after the allowed retries, the chain stops.
Static diagram
04 · Crop and advance
An accepted desk box becomes the input image for finding the drawer; the accepted drawer box becomes the input for finding its handle. Steps 02 and 03 repeat on each new image. In the schematic, the desk begins at (120, 140) in the scene, and the drawer begins at (90, 80) inside the desk. The drawer crop’s origin in the scene is therefore (210, 220). Keeping this offset makes it possible to search locally without losing the object’s original location.
05 · Map to the scene
Suppose the selected handle box runs from (200, 90) to (320, 120) inside the drawer crop. Adding the drawer’s origin, (210, 220), gives the box (410, 310)–(530, 340) in the original scene. Its width and height remain 120 × 30 pixels. The localization output now carries a part name and a position that another module can use in that scene.
Static diagram
The same localization process has a second use across many images. For each accepted part, an image, a part label and a box can be collected as one annotated example. Training a detector on those examples teaches it to predict such part locations from images.
The paper uses CoD with search to generate fine-grained training annotations, and the authors release a cleaned subset in COCO format. In this workflow, annotation and detector training are a later data-building use of many localization results; the single drawer example ends at its recovered handle box.
Four methods, four decisions
| Method | Input | Decision | Output |
|---|---|---|---|
| RJS | Labelled source + unlabelled target | How to learn from imperfect pseudo-labels | A classifier adapted across domains |
| ICBSS | Robot starts, targets and destinations | Who visits what, in which order and at which time | Coordinated timed routes |
| TA-CBWH | Tasks, payoffs and travel costs | Which assignment improves the lowest gain | An assignment with collision-free routes |
| CoD | Image + manipulation instruction | Which region contains the next named part | A part box in the original image |
机器人需要认出环境、找到要操作的部件，也需要在不妨碍同伴的情况下完成任务。这四篇论文分别研究其中的不同决策：RJS 处理跨场景学习，ICBSS 与 TA-CBWH 协调任务和路线，CoD 将指令落到具体部件。
01 / 04
RJS · 换了场景，怎样继续学习
自行车在渲染图和街头照片里，外观可能相差很大。RJS 研究的是：新照片没有标签时，分类器怎样继续从中学习。
Regularized joint self-training: A cross-domain generalization method for image classificationEngineering Applications of Artificial Intelligence 134, 108707 (2024)
图像分类器读入一张图，输出“自行车”或“摩托车”这样的类别。通常，训练时既给图像，也给正确类别。这个类别就是标签：模型把自己的预测与它比较，再调整参数。
用一个教学例子贯穿这一节：已有一批标好类别的渲染图，现在想识别没有人工标签的街头照片。前者叫源域，后者叫目标域。光线、背景、视角的变化形成了域偏移。利用新照片调整模型、同时不提供这些照片的人工类别，叫无监督域适应。
没有人工答案，模型可以先给照片预测类别，再用预测结果参与训练。这种临时的训练标签叫伪标签。RJS 将伪标签的生成与学习联系起来，并在初始训练中加入正则化，也就是对模型怎样学习增加约束。
静态图
01 · 准备图像
渲染图旁边已经写着“自行车”，街头照片旁边则没有答案。两批图像各有用途：前者提供已知类别，后者呈现模型接下来需要面对的环境。
02 · 预测成为标签
假设当前分类器把照片中的自行车认成了“摩托车”。这个预测随后成为照片的伪标签，训练便有了一个可以拟合的答案。如果继续朝这个答案学习，模型就会更倾向于重复误判。错误正是在“预测变成训练目标”这一步进入了反馈循环。
静态图
03 · 学习与正则化
RJS 从两处改变学习过程。在源域，也就是例子中有标签的渲染图上，它联合训练伪标签生成与优化，使生成的标签能够迁移到新场景。对于目标域的街头照片，初始训练则用正则化损失替换原有的交叉熵损失。损失是训练要减小的误差量；更换它，也就改变了一个标签如何推动参数更新。这里要减少的是模型对“摩托车”这类错误伪标签的记忆。更新后的分类器又会产生下一批预测，于是形成自训练循环。
静态图
04 · 用于新场景
适配完成后，得到的分类器用于识别街头照片。新图像提供了目标环境中的样本，两处训练改动则控制了模型如何从自己生成的标签中学习。
02 / 04
ICBSS：把访问顺序与通行时刻一起规划
两台仓库机器人要检查四个点，还要共用一个交叉口。任务怎样分、先去哪里，会改变相遇的时刻。ICBSS 把访问规划与碰撞处理放进一棵约束树，让新发现的冲突参与后续联合安排。
ICBSS: An Improved Algorithm for Multi-Agent Combinatorial Path FindingICRA 2025
想象 A 从西侧出发，B 从北侧出发，检查完 p、q、r、s 后分别停到 Aɢ、Bɢ。我们把通道画成相连的格子：每一步可以走到相邻格，也可以等待。两台机器人不能同时占同一格，也不能在一步里迎面交换位置。
如果各自终点已定，问题主要是让多台机器人协调通行，称为多智能体路径规划（MAPF）。这里还要分配检查点、排列访问顺序，成为多智能体组合路径规划（MCPF）。“组合”指这些分配与排列选择，它们又与通行时刻相互影响。
静态图
01 · 读懂任务
先把这张十字通道、两台机器人的起终点和四个检查点交给规划器。要求是整队覆盖全部检查点，再各自到达终点。这样得到一份共同任务：路线既要完成检查，也要容得下另一台机器人的移动。
02 · 规划访问
先看一个候选：A 依次去 p、q，B 依次去 r、s。检查任务都有了去处，但两条路线都在 t=2 到达 x。ICBSS 用一棵约束树保存不同运动限制下的搜索分支，并结合旅行商问题求解器，在这些限制下决定检查点的访问顺序，同时考虑到达时刻。前作 CBSS 为不同访问序列建立多棵树，同类碰撞可能重复处理；单树让访问安排与冲突信息在同一次搜索中衔接。
静态图
03 · 消解冲突
同一个冲突可以分成两个分支：限制 A 在 t=2 进入 x，或限制 B 在此时进入 x。这里沿着限制 B 的分支继续。带着这条限制回到 02 重新规划。示例中，让 B 在 r 等待一步就能得到可行安排：A 在 t=2 过 x，B 在 t=3 过 x。限制因此真正改变了后续方案。
04 · 输出时序
最后输出每一步去哪里、何时等待。图中的 A 在 t=4 到达终点，B 在 t=5 到达，p、q、r、s 都已检查。空间路线和时刻由此合成可执行的协同安排。作者还提出以解质量换取计算效率的次优版本。
静态图
03 / 04
TA-CBWH：把到达任务的代价放进分配决策
两台机器人分担两个任务，可以有不同搭配。任务带来收益，路上的移动与等待又会消耗它。TA-CBWH 一边改进某种分配下的路线，一边在不同分配间安排计算，目标是提高整队中最低的个体净收益。
Heuristically Guided Compilation for Task Assignment and Path FindingICRA 2025
这座仓库里，A 从岔口出发，B 从岔口上方五步处出发。任务 P、Q 分别在岔口两侧两步远。因此 A 到任一任务都需两步，B 都需七步；机器人也可以等待。两个任务各分给一台机器人。
联合目标分配与路径规划（TAPF）同时回答“谁去哪里”和“怎样无碰撞地到达”。本教学示例设 P 的任务收益为 14，Q 为 10，到达前每步消耗 1 个效用单位，净收益就是任务收益减去移动与等待成本。这组构造数值用来解释论文的最大化最小收益目标（max–min gain）：提高所有机器人里最低的那份净收益。
静态图
01 · 定义收益与成本
先取分配 X：A 去 P，B 去 Q。候选 X₀ 中，A 两步到达；B 出发前多等一步，八步到达。此时输入已经包含任务归属和路线时刻。同一份任务分配仍可能有不同成本，因为到达之前的等待也要计入。
02 · 比较最低净收益
X₀ 中，A 的净收益是 14−2=12，B 是 10−8=2，所以这份方案的评分是 2。之后所有候选都用同一把尺子。后文的 X 为 (12,3)，Y 为 (8,7)，总和都为 15，但最低值分别是 3 和 7；按论文目标，Y 在这两个候选中更合适。
静态图
03 · 改进固定分配
固定 X 后，方法把路线中的离散选择和可行条件写成整数线性规划（ILP），让优化器求解相互兼容的路线。再结合大邻域搜索（LNS）：保留当前方案的一部分，选出另一部分重新优化。图中用一次人工构造的更新说明它的作用——保留 A 的路线，去掉 B 的多余等待，使 B 在 t=7 到达，净收益变成 (12,3)。任务归属不变，路线改善仍能减少成本。
04 · 尝试另一种分配
再看 Y：A 改去 Q，B 改去 P。可行路线仍分别用两步、七步，净收益成为 10−2=8、14−7=7，最低值比 X 的 3 更高。TA-CBWH 用启发式判断，把计算优先花在有希望提高最低收益的分配上，并逐步排除不必继续探索的分配。这组候选变化说明两层决策各有作用：既改善现有分配的行程，也尝试把任务重新搭配。
静态图
04 / 04
CoD：从认出物体到找到部件
打开抽屉，需要比认出一张桌子更精确的定位。Chain-of-Detection 把操作指令拆成一串视觉目标，再逐步缩小图像范围，找到真正需要操作的部件。
Chain-of-Detection: Enhancing Cross-Granularity Robotic Perception for Object ManipulationIEEE Transactions on Neural Networks and Learning Systems 37(4), 1919–1933 (2026)
摄像头给机器人一张图，“打开抽屉”给它一个操作意图。在规划动作之前，机器人得先找到要接近的部件：把手。认出整张桌子与定位一个小把手，需要看到的细节不同。CoD 用一串逐步缩小范围的搜索，把这两个尺度接起来。
检测器会用矩形框标出图中可能存在物体的区域。一个框由左上角和右下角的像素坐标确定。视觉语言模型则能把图片与文字一起读：这里的 Qwen2-VL 既负责提出寻找顺序，也负责判断一块局部图像是否符合目标词。公开实现用 Faster R-CNN 提供候选框。
下面沿着作者仓库中的桌子 → 抽屉 → 黑色把手这个例子走一遍。裁剪，就是取出选中框内的像素，用这张较小的图继续寻找。裁剪后坐标原点会改变，因此程序还要记住它来自原图的哪里。图中的像素坐标用于说明这个过程。
静态图
01 · 拆解寻找顺序
完整图像与“打开抽屉”先交给视觉语言模型，得到桌子 → 抽屉 → 黑色把手这条短序列。它同时确定了寻找顺序和包含关系：抽屉在桌子里，把手在抽屉上。第一轮搜索接到的便是原始图像和“桌子”这个目标词。
02 · 生成候选框
每到一级，Faster R-CNN 都会读取当前图像，提出一组候选框。到最后一级，当前图像已经是抽屉的裁剪图。每个框指定一块待检查的区域，下一步再判断它与“黑色把手”是否匹配。候选框提供位置，文字引导的评估负责选出符合操作意图的位置。
03 · 选择一个框
程序裁出被评估框内的图像，让 Qwen2-VL 判断它与“黑色把手”有多匹配。评分调用次数预先设定。置信上界（UCB）根据候选的平均分和已被评估的次数，决定下一次看哪个框：平均分高的框值得继续看，评估较少的框也保留探索机会。次数用尽后，程序按平均分依次检查候选，轻微改变亮度、旋转和尺度，要求平均分足够高、分数波动足够小。一个框未通过，就试当前层的下一个。当前层没有候选，或允许的重试结束后仍无候选通过，检测链便在这里停止。
静态图
04 · 裁剪并继续
桌子框通过后，就裁出桌子，用它寻找抽屉；抽屉框通过后，再裁出抽屉，用它寻找把手。每张新图都重复步骤 02 和 03。在图中的示意坐标里，桌子从原图的 (120, 140) 开始，抽屉从桌子内的 (90, 80) 开始，所以抽屉图在原图中的原点是 (210, 220)。记住这个偏移，才能在局部越找越细的同时保留原来的位置。
05 · 映射回原图
假设选中的把手框，在抽屉图里从 (200, 90) 延伸到 (320, 120)。两个角点都加上抽屉图的原点 (210, 220)，便得到原图中的 (410, 310)–(530, 340)。框的宽高仍是 120 × 30 像素。至此，定位结果带着部件名称和原图位置，可以交给后续模块使用。
静态图
把这套定位过程用到多张图上，还有另一层用途。每次接受的部件位置，都可以和图像、部件名称一起保存，组成一条带标注的样本。检测器再学习这些样本，练习直接从图像预测部件的位置。
论文将 CoD 与搜索结合，用来生成细粒度训练标注；作者也按 COCO 格式公开了清洗后的数据子集。这条训练路径需要汇集多次定位的结果，而上面这一次“打开抽屉”的定位，到找回原图中的把手框就已经结束。
四种方法，各自改变了什么
| 方法 | 输入 | 关键决策 | 输出 |
|---|---|---|---|
| RJS | 有标签源域＋无标签目标域 | 怎样利用不完全可靠的伪标签 | 适配新场景的分类器 |
| ICBSS | 机器人起点、任务点与终点 | 谁去、先后与通行时刻 | 带时刻的协同路线 |
| TA-CBWH | 任务、收益与通行成本 | 怎样提高最低个体收益 | 任务分配＋无碰撞路线 |
| CoD | 图像＋操作指令 | 下一层部件在哪个区域 | 原图中的部件框 |
ロボットは環境を認識し、操作する部位を見つけ、仲間の動きを妨げずに作業へ到達する必要がある。RJS は視覚ドメインをまたぐ学習、ICBSS と TA-CBWH は担当と経路の調整、CoD は指示が指す細かな部位の特定を扱う。
01 / 04
RJS · 場面が変わっても学び続ける
自転車は、レンダリングと街中の写真で大きく違って見える。RJS は、新しい写真にラベルがないとき、分類器がどう学び続けられるかを考える。
Regularized joint self-training: A cross-domain generalization method for image classificationEngineering Applications of Artificial Intelligence 134, 108707 (2024)
画像分類器は一枚の画像から「自転車」や「オートバイ」といったクラスを予測する。通常の学習では画像と正しいクラスを与える。このクラスがラベルであり、モデルは予測とラベルを比べながらパラメータを調整する。
この節では、ラベル付きのレンダリング画像から、ラベルのない街中の写真へ移る説明例を使う。前者がソースドメイン、後者がターゲットドメインだ。照明、背景、視点が変わることをドメインシフトと呼ぶ。新しい写真の人手ラベルを使わずにモデルを適応させるのが、教師なしドメイン適応である。
人手の正解がなくても、モデルが予測したクラスを学習に使える。この暫定的なラベルを擬似ラベルと呼ぶ。RJS はその生成と学習を結び付け、初期学習には正則化、つまり学び方への制約を加える。
静的な図
01 · 画像を用意
レンダリングには「自転車」という答えが付いているが、街中の写真には答えがない。二つの画像群の役割は異なる。一方は既知のクラスを与え、もう一方は分類器がこれから使われる環境を示す。
02 · 予測をラベルに
現在の分類器が写真の自転車を「オートバイ」と予測したとする。この予測を写真の擬似ラベルにすると、学習に使える答えができる。その答えに合わせて学ぶと、同じ誤分類を繰り返しやすくなる。予測を学習目標にするところで、誤りが学習へ戻ってくる。
静的な図
03 · 学習と正則化
RJS は二つの箇所で学習を変える。ソースドメイン、つまりこの例のラベル付きレンダリングでは、擬似ラベルの生成と最適化を共同学習し、新しい環境への転移を図る。ターゲットの街中の写真では、初期学習において元の交差エントロピー損失を正則化損失に置き換える。損失とは学習で小さくする誤差量であり、それを変えるとラベルがパラメータ更新をどう促すかも変わる。ここでは「オートバイ」のような誤った擬似ラベルの記憶を抑える。更新した分類器で次の予測を行い、自己学習の循環ができる。
静的な図
04 · 新しい場面を分類
適応後の分類器は、街中の写真のクラスを予測する。新しい画像がターゲット環境の例を与え、二つの学習上の変更が、モデル自身のラベルからどう学ぶかを調整する。
02 / 04
ICBSS：訪問順序と通過時刻を一緒に計画する
二台の倉庫ロボットが四地点を点検し、一つの交差点を共有します。分担や訪問順序によって出会う時刻も変わります。ICBSS は訪問計画と衝突解消を一つの制約木で扱い、見つかった衝突を共同計画に反映します。
ICBSS: An Improved Algorithm for Multi-Agent Combinatorial Path FindingICRA 2025
A は西側、B は北側から出発し、p、q、r、s を点検して Aɢ、Bɢ に停車します。通路を隣接するマスで表し、一ステップで隣へ移動するか待機すると考えます。同じ時刻の同じマスへの進入や、一ステップでの位置の交換を避けます。
目的地が決まった複数のロボットに、互いに通れる経路を求める問題がマルチエージェント経路探索（MAPF）です。点検地点の分担と訪問順序も選ぶのが組合せ経路探索（MCPF）です。「組合せ」は分担や順序の選択を指し、通過時刻にも関わります。
静的な図
01 · 作業を把握する
入力はこの十字通路、二台の開始位置と目的地、四つの点検地点です。全地点をチームで訪問してから目的地へ向かいます。点検を終え、相手の移動とも両立する経路を求める共同の課題になります。
02 · 訪問を計画する
候補の一つで A に p→q、B に r→s を割り当てると、両方が t=2 に x へ着きます。点検は分担できても時刻が衝突します。ICBSS は移動制約を分岐として保持する一つの制約木と、訪問の順序を到着時刻も考慮して決める巡回セールスマン問題の求解器を組み合わせます。訪問順序ごとに複数の木を作る先行手法 CBSS では、似た衝突を繰り返し扱うことがありました。
静的な図
03 · 衝突を解消する
同じ衝突から、t=2 に A が x に入ることを禁じる枝と、B が入ることを禁じる枝に分けられます。ここでは B を制限する枝をたどります。この制約を 02 の計画へ返します。例では B を r で一ステップ待たせると、A が t=2、B が t=3 に x を通れます。制約が次の計画を具体的に変えるわけです。
04 · 時系列を出力する
出力は各ステップの位置と待機を含みます。図の A は t=4、B は t=5 に到着し、p、q、r、s をすべて点検しています。位置と時刻が合わさって協調計画になります。著者らは解の品質と計算効率を調整する準最適な派生手法も示しています。
静的な図
03 / 04
TA-CBWH：到達するためのコストも含めて担当を決める
二台が二つの作業を分担する方法は複数あります。作業で報酬を得ても、移動や待機にはコストがかかります。TA-CBWH は担当を固定した経路改善と、担当案の間での計算の切替えを組み合わせ、チーム内の最小利益を高めます。
Heuristically Guided Compilation for Task Assignment and Path FindingICRA 2025
この倉庫では A は分岐点、B はそこから五ステップ上で出発します。点検作業 P と Q は分岐点の両側二ステップ先です。A はどちらにも二ステップ、B は七ステップで着き、待機もできます。各作業を一台ずつに割り当てます。
目標割当て・経路探索（TAPF）は、誰をどこへ向かわせ、どう衝突なく到着させるかを同時に決めます。この説明用の例では報酬を P は 14、Q は 10、到着前の一ステップのコストを 1 効用単位とします。純利益は報酬から移動・待機コストを引いた値です。これで論文の最小利益最大化（max–min gain）を具体的に読めます。
静的な図
01 · 報酬とコストを設定
まず担当案 X を A→P、B→Q とします。候補 X₀ では A が二ステップで到着し、B は出発前に一ステップ待つため八ステップかかります。担当に加えて経路の時刻も入力になりました。到着前の待機もコストとなるので、同じ担当でも値が変わります。
02 · 最小利益を比べる
X₀ の利益は A が 14−2=12、B が 10−8=2 で、評価値は 2 です。以後も同じ尺度を使います。後で得る X は (12,3)、Y は (8,7) で合計はどちらも 15 ですが、最小値は 3 と 7 です。この二案では、最小利益を高める Y が目的に適います。
静的な図
03 · 担当を固定して改善
X を固定したまま、経路の離散的な選択と実行条件を整数線形計画（ILP）に表し、両立する経路を最適化します。大規模近傍探索（LNS）は一部を保持し、選んだ部分を繰り返し再最適化します。図の構成例では A の経路を保ち、B の余分な待機を除きます。B は t=7 に到着して利益は (12,3) となり、担当を変えなくてもコストを下げられることが分かります。
04 · 別の担当案を試す
次に A→Q、B→P の Y を考えます。実行可能な経路は同じく二、七ステップで、利益は 10−2=8 と 14−7=7 です。最小値は X の 3 より高い 7 になります。TA-CBWH はヒューリスティックな判断で、最小利益を高める見込みのある担当案に計算を優先し、不要な案を除外します。この候補の変化は、同じ担当の移動を改善することと、担当自体を変えることの両方の役割を示します。
静的な図
04 / 04
CoD：物体から操作する部位へ
引き出しを開けるには、机を認識するより細かな位置情報が必要になる。Chain-of-Detection は操作指示を視覚的な目標の列に変え、画像の範囲を段階的に絞りながら操作対象の部位を探す。
Chain-of-Detection: Enhancing Cross-Granularity Robotic Perception for Object ManipulationIEEE Transactions on Neural Networks and Learning Systems 37(4), 1919–1933 (2026)
カメラは画像を渡し、「引き出しを開ける」という指示は操作の目的を渡す。動作を計画する前に、ロボットは近づくべき部位、つまり取っ手を見つける必要がある。机全体の認識と小さな取っ手の位置推定では、必要な細かさが異なる。CoD は段階的な探索でこの二つをつなぐ。
検出器は、物体がありそうな場所を矩形のボックスで示す。ボックスは左上と右下の画素座標で位置を表す。視覚言語モデルは画像と文章を一緒に読み、ここでは Qwen2-VL が探索順序の生成と、切り抜きと目標語の一致度の採点を担う。公開実装では Faster R-CNN が候補ボックスを出す。
以下では、著者のリポジトリにある机 → 引き出し → 黒い取っ手という例を追う。切り抜きとは、選んだボックス内の画素を取り出し、その小さな画像を次の探索に使うことだ。切り抜くと座標の原点が変わるため、元画像内のどこから取り出したかも記録する。図の画素座標は、この計算を示すための模式値である。
静的な図
01 · 探索順を決める
場面の画像と「引き出しを開ける」を視覚言語モデルに渡すと、机 → 引き出し → 黒い取っ手という短い列が得られる。この列は順序と包含関係を定める。引き出しは机の中で、取っ手は引き出しの中で探す。最初の探索には、元画像と「机」という目標語を渡す。
02 · 候補枠を出す
各段階で Faster R-CNN が現在の画像を読み、候補ボックスを出す。最後の段階では、入力は引き出しの切り抜きだ。各ボックスが調べる領域を指定し、次の段階で「黒い取っ手」との一致を確かめる。候補が位置を与え、文章に基づく評価が操作の意図に合う位置を選ぶ。
03 · 一つの枠を選ぶ
評価するボックス内の画素を切り抜き、Qwen2-VL に「黒い取っ手」との一致度を採点させる。評価回数の上限はあらかじめ決める。信頼上限（UCB）は平均点と評価済みの回数を併せて考え、次に調べる候補を選ぶ。高得点の候補を重視しつつ、評価の少ない候補も探索する。予算を使い終えたら平均点順に、明るさ・回転・倍率を少し変えて確認する。平均点が十分高く、点数の変動が小さければ採用する。不通過なら同じ段階の別候補へ進み、候補がない場合や再試行で採用できない場合は、そこで検出列を終える。
静的な図
04 · 切り抜いて進む
採用した机の領域を切り抜いて引き出しを探し、引き出しを切り抜いて取っ手を探す。新しい画像ごとに 02 と 03 を繰り返す。図では机の原点を元画像内の (120, 140)、引き出しの原点を机内の (90, 80) とする。したがって、引き出し画像の原点は元画像内の (210, 220) になる。このずれを記録すれば、局所的に細かく探しても元の位置を失わない。
05 · 元画像に戻す
選んだ取っ手のボックスが、引き出し画像内で (200, 90) から (320, 120) までだとする。両方の角に引き出しの原点 (210, 220) を足すと、元画像内の (410, 310)–(530, 340) が得られる。幅と高さは 120 × 30 画素のままだ。部位の名前と元画像上の位置がそろい、後段の処理に渡せる。
静的な図
この位置推定を多くの画像に繰り返すと、別の用途も生まれる。採用した部位の位置を画像と部位名とともに保存すれば、一つのラベル付きサンプルになる。検出器はそれらのサンプルから、画像中の部位の位置を予測する方法を学べる。
論文は CoD と探索を組み合わせて細粒度の学習用アノテーションを生成し、著者は整備済みの一部を COCO 形式で公開している。この学習経路では多くの位置推定結果を集める。一方、ここで追った一回の引き出しの例は、元画像上の取っ手のボックスを得たところで完了する。
四つの手法、四つの判断
| 手法 | 入力 | 判断 | 出力 |
|---|---|---|---|
| RJS | ラベル付きソース＋ラベルなしターゲット | 不完全な擬似ラベルをどう使うか | 新しい環境に適応した分類器 |
| ICBSS | 開始位置、作業地点、目的地 | 担当、訪問順序、通過時刻 | 時刻付きの協調経路 |
| TA-CBWH | 作業、報酬、移動コスト | 最小の個別利益をどう高めるか | 担当と衝突のない経路 |
| CoD | 画像＋操作指示 | 次の部位を含む領域はどこか | 元画像上の部位の枠 |
Figures and code图与代码図とコード
Editable article and figure sources (JSON)正文与可编辑图源（JSON）本文と編集可能な図のソース（JSON）