02 · 生成候选框
03 · 选择一个框
抽屉裁剪图图像来自上一次 04
候选框Faster R-CNN
选择一个框UCBUCB 同时考虑候选的平均分和探索项;评估较少的候选有更大的探索机会。
图文匹配Qwen2-VL视觉语言模型读取局部图像与目标词并给出匹配分数,随后更新该候选的均值与评估次数。
一致性检查均值高;波动小评估预算用尽后按均分排序。轻微改变亮度、旋转和尺度,检查平均分达到阈值且分数波动不超过设定范围。
通过的把手框x:200–320 · y:90–120桌子框通过后,就裁出桌子,用它寻找抽屉;抽屉框通过后,再裁出抽屉,用它寻找把手。每张新图都重复步骤 02 和 03。在图中的示意坐标里,桌子从原图的 (120, 140) 开始,抽屉从桌子内的 (90, 80) 开始,所以抽屉图在原图中的原点是 (210, 220)。记住这个偏移,才能在局部越找越细的同时保留原来的位置。
结束检测链允许的重试结束后仍无候选通过,就在当前层结束检测链,保留此前已经通过的区域。
预算用尽后,按均分排序
更新均值与次数
未通过:试当前层下一框
重试后仍无候选通过
来自 01 的当前目标词:“黑色把手”
通过的框 → 04