机器人也路痴？

编者按: 智显将来，洞见新知。中科院之声与中国科学院自动化研究所连系开设“智言智语”科普专栏，为你先容人工智能相干常识与故事，从最新成就到背后妙闻，带你徜徉AI空间，看人工智能怎样叫醒万物，让天下变得更柔美 。

跟着智能技能的成长，各式百般的处事呆板人已经成为我们糊口中的常客。那么，你有没有发生过这样的疑问：呆板人会认路吗？它们是怎么试探新情形的呢？

（图片来自收集）

是像人类一样用炯炯有神的大眼睛直接探路？

（图片来自收集）

可能借助某种神妙之力？

虽然没有这么简朴，请听我们的具体解答！

以今朝已经在我们的一般糊口中普及行使的扫地呆板工钱例，作为很是必要具备“认路”手段的一类呆板人，为了实现快速的情形排除事变，它在达到新情形时的第一项事变即是构建情形舆图。舆图对付移动呆板人来说很是重要，一方面，呆板人必要通过舆图预计当前时候在情形中的位置；另一方面，舆图为呆板人的路径筹划体系提供了搜刮空间，以实现呆板人在情形中安详，快速地移动。

图1 扫地呆板人（图片来自于收集）

因此，快速地构建准确的情形舆图是处事呆板人实现安详高效处事的条件。情形舆图很重要，但呆板人又是怎样顺遂构建舆图的呢？这里我们就不得不提到办理这类题目的焦点要领未知情形试探，它是指呆板人在一个全新的情形中，通过自主移动构建整个情形舆图的进程。未知情形试探的要害在于呆板人行为节制的计较，以担保呆板人采纳有用的举措构建准确的情形舆图。

除了室内这种扫地呆板人，未知情形试探要领也普及应用于室外情形下的移动呆板人上。譬喻救助呆板人，必要在一个新的情形中搜救幸存者，通过自主试探但愿可以或许快速地包围整个情形地区。矿井勘察呆板人以及海底探测呆板人上也经常用到这类技能，其使命目标都是尽也许地包围更多的地区，以完成特定的使命。

未知情形试探要领有着奈何的成长汗青呢？

未知情形试打听题在上个世纪90年月提出，其方针是使呆板人在全新的情形中具有自主决定手段。今朝常用的未知情形试探决定要领有三大类：基于界线的要领，基于信息的要领，以及基于深度神经收集的要领。

基于界线的要领是最早的未知情形试探要领，它通过检测舆图中的自由地区与未知地区之间的界线，以引导呆板人试探没有去过的情形。在三维情形中，因为这种界线很难在三维空间舆图上直接搜刮，因此会经常与一些随机搜刮算法相团结，譬喻快速随机搜刮树等。这种要领在室内处事呆板人，矿井搜刮呆板人中普及行使。

基于信息的要领例是将信息理论中熵的观念引入到未知情形试打听题中以构建优化题目。在信息理论中，熵凡是用于权衡一个漫衍的不确定水平。熵值越大，暗示对状态的不确定性越高。当呆板人达到一个新的情形时，此时面对舆图的熵值是最大的，而呆板人必要通过移动，增进舆图上每个位置状态简直定性，以减小舆图熵值。

跟着深度神经收集的成长，近几年也衍生出了一些基于深度神经收集的未知情形试探要领。譬喻回收深度图像或局部视野范畴内构建的舆图作为深度神经收集的输入，回收监视进修实习要领，直接猜测呆板人的行为偏向。这种要领一方面依靠于大量的监视数据，另一方面目面貌易陷入局部解。强化进修作为一种序列决定要领，凡是会被团结进来用于深度神经收集的实习进程中。对比于前两类要领，这类要领的上风有两点：不再依靠专家法则，而且可以处理赏罚更混乱的情形。

基于深度强化进修的未知情形试探要领

近几年，Alpha Go, AlphaGo Zero等游戏AI在围棋规模取得庞大打破使其焦点技能“深度强化进修”获得了普及的存眷。与此同时，深度强化进修也逐渐应用到呆板人规模，而基于深度强化进修的自主试探成为未知情形试探规模的热门偏向之一，这类要领凡是是计划嘉奖函数，通过强化进修算法，实习传感器数据到举措的映射收集。前面也提到，基于深度神经收集的要领对比于其他要领有许多上风，可是它也存在一些题目。起首，这种要领必要大量实习样本和实习时刻，而实习进程凡是是在仿真情形中举办，因为现真相形和现实呆板人偏差，从而导致从仿真情形中实习出的智能体很难迁徙到现实的呆板人上。针对这个题目，中科院自动化所深度强化进修团队提出了一种进修服从高、迁徙机能强的深度强化进修未知情形自主试探算法。

图2 自主试探框架

团队以自主导航框架为基本，将未知情形试探解析为建图、决定和筹划三个模块。通过将决定模块与筹划模块相团结，减小呆板人进修行为的难度，从而进步呆板人进修服从。而且从头定了呆板人决定举措空间，进步算法实体迁徙性。该举措空间界说在建图模块获得的栅格舆图，由多少方针点组成。

图3 基于栅格舆图的举措空间

在此基本上，计划了一种带有帮助使命的全卷积Q收集（Fully Convolutional Q-network with an Auxiliary task，AFCQN），可以按照当前时候构建的舆图，当前时候呆板人位置和上一时候呆板人位置，对举措空间中的方针点举办评价。

图4 举措评价收集布局

该收集布局可以通过行使团结舆图信息熵计划的嘉奖函数实现参数的自顺应进修。

图5 现真相形中自动试探进程

通过仿真情形中的尝试和现真相形中实体呆板人上的尝试表白，团队提出的这种基于深度强化进修的自主试探算法具有更好的进修服从和实体迁徙机能。而且对比于经典要领，该要领在处理赏罚混乱情形时具有更高的试探服从。

总结：

未知情形试探使呆板人在新情形中不再“迷路”，是举办自主事变的条件，也是呆板人自主进修和进化的要害。未知情形试探不只让呆板人认识新情形，更重要的是为后续决定提供重要的情形舆图信息。深度强化进修为未知情形试探提供了新思绪，但也面对着进修服从低的题目。高效和鲁棒的进修算法如故是此后全力成长的偏向。

参考文献：

1. B. Yamauchi, “A frontier-based approach for autonomous exploration,” in Proceeding of IEEE International Symposium on Computational Intelligence in Robotics and Automation (CIRA). IEEE, 1997, pp. 146151.

2. C. Stachniss, et al. “Information gain-based exploration using Rao-Blackwellized particle filters.” In Proceedings of Robotics: Science and Systems (RSS), 2005, pp. 6572.

3. L. Tai and M. Liu, “Mobile robots exploration through CNN-based reinforcement learning,” Robotics and Biomimetics, vol. 3, no. 1, p. 24, 2016.

4. S. Bai, F. Chen, and B. Englot, “Toward autonomous mapping and exploration for mobile robots through deep supervised learning,” in Proceeding of IEEE International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017, pp. 23792384.

5. H. Li, Q. Zhang, and D. Zhao. “ Deep reinforcement learning-based automatic exploration for navigation in unknown environment,” IEEE Transactions on Neural Networks and Learning Systems, vol. 31, no. 6, pp. 20642076, 2020.

来历：中国科学院自动化研究所

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!