丢弃Transformer，全卷积网络也可以实现E2E检测

针对第二点监视不足强、收敛速率慢，研究者仍旧回收 one-to-many assignment 计划了 auxiliary loss 做监视，该 loss 只包括分类 loss，没有回归 loss。assignment 自己没什么可说的，appendix 的尝试也表白多种做法都可以 work。这里想提示各人的是留意看 Figure 2 的乘法，它是 auxiliary loss 可以 work 的要害。在乘法前的一起加上 one-to-many auxiliary loss，乘法后是 one-to-one 的通例 loss。因为 1*0=0，1*1=1，以是只必要大抵担保 one-to-one assignment 的正样本在 one-to-many 中依然是正样本即可。

尝试

最首要的尝试功效已经在 Table 1 中泛起了，另外尚有一些 ablation 尝试。

这里 highlight 几点：

α越低，分类权重越大，有无 NMS 的差距越小，但绝对机能也会低落 [4]；α太高也欠好，后续全部尝试用α=0.8；

在α公道的环境下，空间先验不是必需的，但空间先验可以或许在匹配进程中辅佐解除欠好的地区，晋升绝对机能；研究者在 COCO 尝试中回收 center sampling radius=1.5，在 CrowdHuman 尝试中回收 inside gt box[5]；

加权几许均匀数（Mul）[6]比加权算术均匀数（Add）[7]更好。

去掉 NMS 的最大收益着实是 crowd 场景，这在 COCO 上并不能很好地浮现出来。以是又在 CrowdHuman 上做了尝试如下：

请留意 CrowdHuman 的 ground-truth 做 NMS threshold=0.6，只有 95.1% 的 Recall，这也是 NMS 要领的理论上限。而本文要领没有回收 NMS，于是等闲逾越了这一上限。

研究者还做了其余一些尝试和说明，接待看原文。

可视化

颠末以上改造，研究者乐成把 one-to-one 的机能晋升到了与 one-to-many+NMS 要领 comparable 的程度。另外还可视化了 score map，可以发明 FCN 是有手段学出很是 sharp 的暗示的，这也是很让研究者诧异的一点。

功效图中较量明明的改进呈此刻多峰 case 上。好比两个物体有必然的 overlap（但又没有出格重合），这个时辰 one-to-many+NMS 要领常常呈现的环境是，除了两个物体别离出了一个框之外，在两个物体中间也出了一个框，这个框与前两个框的 IoU 不敷以到达 NMS threshold，但置信度又较量高。这类典范的多峰题目在 POTO 中获得了较大的缓解。

Others

有些人也许较量体谅实习时刻，由于潜意识里在 dense prediction 上做 bipartite matching 应该是很慢的。然而现实上依靠于 scipy 对 linear_sum_assignment 的优化，现实实习时刻仅仅降落了 10% 阁下。

假如对这一时刻依然敏感，可以用 topk（k=1）取代 bipartite matching；在 dense prediction 里 top1 现实上是 bipartite matching 的近似解 [8] 。相似地，k>1 的环境对应了 one-to-many 的一种新做法，研究者也对此做了一些事变，后续也许会放出来。

参考

假若有人感乐趣的话，可以在 YOLO 上去掉 NMS 实行一下，可以靠近 30mAP。

留意这里没有行使 DETR 的 CE+GIoU+L1 组合，而是直接回收 loss 自己（Focal+GIoU）。研究者以为这样更切合 DETR 用 loss 做 cost 的原意。

其拭魅这里可以有一个脑洞留给各人，由于 cost 是不必要求导的，以是乃至是可以直接算 AP 当 cost 的。

侧面印证了分类和回归的斗嘴在检测使命上是明显的。

来由很简朴，CrowdHuman 的遮挡题目太严峻，center 地区常常完全被遮挡。

究竟上加权几许均匀数的负对数就是 CE+IoU Loss，加权算术均匀数则没有明明的物理寄义。

NoisyAnchor 在 assign 中回收了相同的公式，只不外回收的是 anchor IoU。

更详细来讲，top1（即 argmin）是 Hugarian Algorithm 只做第一次迭代的功效；因为在 dense prediction 下斗嘴会很少，一次迭代就已经迫近了最优匹配，这也是为什么 Hungarian Algorithm 这里现实运行很快。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!