尺度呈现题目，人工智能正在走向错误的偏向

本文转载自公家号“读芯术”(ID：AI_Discovery)

我的这篇文章不是第一篇(也不会是最后一篇)接头人工智能界怎样按自身纪律成长的文章。正如不久前汉娜·克纳(Hannah Kerner)的话：“许多AI研究职员以为实际天下中的题目无关紧急。社区太过存眷新要领，却忽略了真正要紧的工作。”

很多大型集会会议公开忽视了应用型论文，这些文章聚焦于行使今朝的技能办理实际天下中的题目，个中许多文章还存眷在此进程中面对的挑衅。措施是虚无缥缈的，方针检测特殊精准10%，远比镌汰癌症衰亡的1%更有代价。

人工智能界忽略了一个显而易见的究竟：深度进修是一门尝试科学。固然神经收集脉络清楚，但它是一个难以表明的复杂的非线性体系。尽量越来越多的研究致力于阐释神经收集，但神经收集依然像早年一样隐秘。科学要领是我们领略神经收集的独一靠得住器材，由于它植根于尝试。

而抵牾之处在于，尽量神经收集的本质是尝试，可是这个规模却拒绝纯粹的尝试。一样平常，一篇神经收集的论文起首先容其新奇之处，然后实行情势证明，接着做溶解研究，最后得出结论。这是按照尝试得出的结论。

想象一下，假如土木匠程师们抉择缔造与众差异的桥梁计划，却选择在桌子巨细的乐高复成品长举办验证。没有行使真实构筑原料举办昂贵的仿真模仿或试验，你敢信托新提出的计划方案吗?你会出格信赖这些尝试，然后投资数百万美元来实现它们吗?不管你敢不敢，横竖我是不敢。

简化的天下模子对付快速构建原型和实行设法很是有效。但为了现实行证，你必要在真实的天下中举办实行。这是一个两步走的进程。

当代AI研究停滞在前半段——基准这一题目上，现实的行使案例是后半段。ImageNet、COCO、CIFAR-10，这些都是人工智能的乐高。它们让我们尝试新的设法，摒弃不佳的构想，它们是很好的器材。然而，它们只是到达目标的一种本领，而不是目标自己。

这并不是说当前的研究是错的，要害题目在于学术界与实际天下之间的摆脱。

看看这个图表：该图先容了COCO方针检测基准的最新盼望，每一个小点都是一个差异的模子——一种新技能或现有技能的融合，领跑者用蓝色标出。

该图表表现了从2016年1月的28.8点到2020年7月的55.1点的轨迹。取得的前进是无能否定的，从图中可以看出，EfficientDet D7x是今朝最好的方针检测技能。可是，问你一个题目：你会在应用措施中行使哪一个模子?

你很也许无法作答，由于你不知道我说的是哪个应用措施，也不知道它有哪些要求。它必要及时运行吗?它能在移动装备上运行吗?它必要辨认几多类?用户对错误检测的容忍度有多大……

依据谜底，以上这些都不值得思量，乃至连EfficientDet D7x都不值得思量。假如模子必需在手机上及时运行，那么纵然略微调解这些模子，也执行不了。更糟糕的是，不能担保这些模子能在持续帧之间发生同等的检测功效。我乃至不能说出一个要求最高检测质量的应用措施的名字，除了高精确度之外，没有其他要求。

换句话说，科研界所追求的怀抱尺度只用于研究其自己。

早在2015年，研究发明，神经收集的深度增进高出12层会对机能造成侵害。在闻名的残差收集(ResNet)论文(https://arxiv.org/abs/1512.03385)中，何凯明博士以及其他几位学者假设通过跳过毗连，毗连非持续层可以扩大容量，由于它可以晋升梯度流。

第一年，ResNet在几个基准比赛中取得了优秀的后果，如ILSVRC和COCO。但你此刻应该已经意识到了这只体现ResNet是一个重要孝顺，但这不是证据。

ResNet在人工智能汗青上的职位简直切证据是成立在其大量事变上的。ResNet的惊人之处在于它办理不相干题目的数目，而不在它得胜的竞争。它真正的孝顺在于这个跳过毗连的设法，而不是架构自己。

这篇有关Focal Loss(https://arxiv.org/abs/1708.02002)的论文同样担当住了时刻的检验，确实改造了他人的研究。这篇关于Attention的论文(https://arxiv.org/abs/1706.03762)也遵循同样的蹊径。天天都有一篇新文章接头Attention是怎样进步某些基准的，以及聚积丧失让Attention变得更好。

重要的不是比赛，而是之后的影响。究竟上，2012年ILSVRC的冠军是AlexNet，而2015年的冠军是ResNet。你能说出2013年和2014年的得胜者吗?2016年、2017年和2018年的挑衅是什么?你能确保每年都举行ILSVRC吗?

你也许会问：为什么没有更好的基准或更有效的怀抱尺度?我们怎样权衡后继影响?

遗憾的是，我们做不到。我们可以行使引用或下载的计数，Reddit的会见量可能GitHub的星号标注。然而，这些怀抱尺度都是有瑕疵的。为了举办公正的较量，我们必要思量到每一个细节，同时从等式中将全部的毛病举办尺度化处理赏罚，这太难了。

譬喻，为了较量Attention和ResNet的影响力，我们必要思量正确行使这些观念，衡量它们的相对影响，并将时刻和影响范畴举办尺度化处理赏罚。很明明，量化这些属性的事变量庞大，也许与全部基准或怀抱尺度一样有缺陷。诸如杂志的影响身分之类的设法乃至没有触及这个题目的外貌。

有些方针是无法量化的。谁是最有声望的人?是西方音乐史上最具影响力的作曲家巴赫，照旧最具影响力的剧作家莎士比亚?较量他们的作品毫有时义，更不消说他们的规模了。

巴赫照旧莎士比亚，音乐照旧戏剧?

这就走进了死胡同。我们可以丈量准确度，可以丈量速率，可是无法鉴定影响力。我们都认可我们必要更先辈的科学，可是我们怎样断定一种科学比另一种科学更好呢?我们怎样权衡研究和实际之间的摆脱?我们但愿能和人工智能一路提高，可是我们既不知道提高的偏向，也不知道已经走了多远。

这不只仅是人工智能的题目。我们想要更健全的当局，更完美的医疗处事，更优质的教诲，可是奈何才气真正量化这些呢?到今朝为止，最失败的要领(也是最广泛的要领)是更换怀抱，好比COCO AP的得分。

我们无法权衡人工智能的前进，但我们可以丈量今朝的方针检测要领有多精准。方针检测也是AI的一部门，以是，假如能在这方面取得一些盼望，我们也可以等候在人工智能方面取得盼望。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!