要认识AGI，强化学习就够了？Sutton：奖励机制足够实现各种目标

几十年来，在人工智能规模，计较机科学家计划并开拓了各类伟大的机制和技能，以复现视觉、说话、推理、举下手艺等智能手段。尽量这些全力使人工智能体系在有限的情形中可以或许有用地办理特定的题目，但却尚未开拓出与人类和动物一样平常的智能体系。

人们把具备与人类平等伶俐、或逾越人类的人工智能称为通用人工智能（AGI）。这种体系被以为可以执行人类可以或许执行的任何智能使命，它是人工智能规模首要研究方针之一。关于通用人工智能的试探正在不绝成长。克日强化进修大佬 David Silver、Richard Sutton 等人在一篇名为《Reward is enough》的论文中提出将智能及其相干手段领略为促进嘉奖最大化。

实现AGI，强化进修就够了？Sutton：嘉奖机制足够实现各类方针

该研究以为嘉奖足以驱动天然和人工智能规模所研究的智能举动，包罗常识、进修、感知、交际智能、说话、泛化手段和仿照手段，而且研究者以为借助嘉奖最大化和试错履历就足以开拓出具备智能手段的举动。因此，他们得出结论：强化进修将促进通用人工智能的成长。

实现AGI，强化进修就够了？Sutton：嘉奖机制足够实现各类方针

AI 的两条路径

建设 AI 的一种常见要领是实行在计较机中复制智能举动的元素。譬喻，我们对哺乳动物视觉体系的领略催生出各类人工智能体系，这些体系可以对图像举办分类、定位照片中的物体、界说物体的界线等。同样，我们对说话的领略也辅佐开拓了各类天然说话处理赏罚体系，好比问答、文本天生和呆板翻译。

但这些都是狭义人工智能的实例，只是被计划用来执行特定使命的体系，而不具有办理一样平常题目的手段。一些研究者以为，组装多个狭义人工智能模块将发生更强盛的智能体系，以办理必要多种手艺的伟大题目。

而在该研究中，研究者以为建设通用人工智能的要领是从头建设一种简朴但有用的法则。该研究起首提出假设：嘉奖最大化这一通用方针，足以驱动天然智能和人工智能中至少大部门的智能举动。」

这根基上就是大天然自身的运作方法。数十亿年的天然选择和随机变异让生物不绝进化。可以或许应对情形挑衅的生物才气得以保留和繁殖，别的的则被裁减。这种简朴而有用的机制促使生物进化出各类手艺和手段来感知、保留、改变情形，以及彼此交换。

研究者说：「人工智能体将来所面对的情形和动物与人类面对的天然天下一样，本质上是云云伟大，以至于它们必要具备伟大的手段才气在这些情形中乐成保留。」因此，以嘉奖最大化来权衡的乐成，必要智能体示意出相干的智能手段。从这个意义上说，嘉奖最大化的一样平常方针包括了很多乃至也许是全部的智能方针。而且，研究者以为最大化嘉奖最广泛和可扩展的方法是借助与情形交互进修的智能体。

嘉奖就足够了

与人工智能的很多交互式要领一样，强化进修遵循一种协议，将题目解析为两个随时刻次序交互的体系：做出决定的智能体（办理方案）和受这些决定影响的情形（题目）。这与其他专用协议形成比拟，其他专用协议也许思量多个智能体、多个情形或其他交互模式。

基于强化进修的头脑，该研究以为嘉奖足以表达各类百般的方针。智能的多种情势可以被领略为有利于对应的嘉奖最大化，而与每种智能情势相干的手段可以或许在追求嘉奖的进程中隐式发生。因此该研究假设全部智能及相干手段可以领略为一种假设：「嘉奖就足够了」。智能及其相干的手段，可以领略为智能体在其情形中的举动嘉奖最大化。

这一假设很重要，由于假如它是正确的，那么一个嘉奖最大化智能体在处事于着实现方针的进程中，就可以隐式地发生与智能相干的手段，具备精彩智能手段的智能体将可以或许「适者保留」。研究者从以下几个方面阐述了「嘉奖就足够了」这一假设。

实现AGI，强化进修就够了？Sutton：嘉奖机制足够实现各类方针

常识和进修

该研究将常识界说为智能体内部信息，譬喻，常识可以包括于用于选择举措、猜测累积嘉奖或猜测将来视察特性的函数参数中。有些常识是先验常识，有些常识是通过进修得到的。嘉奖最大化的智能体将按照情形环境包括前者，譬喻借助天然智能体的进化和人工智能体的计划，并通过进修获取后者。跟着情形的不绝富厚，需求的均衡将越来越倾向于进修常识。

感知

人类必要各类感知手段来蕴蓄嘉奖，譬喻判别伴侣和仇人，开车时举办场景理会等。这也许必要多种感知模式，包罗视觉、听觉、嗅觉、躯体感受和本体感受。

对比于监视进修，从嘉奖最大化的角度思量感知，最终也许会支持更普及的感知举动，包罗如下具有挑衅性和实际情势的感知手段：

举措和调查凡是交叉在多种感知情势中，譬喻触觉感知、视觉扫视、物理尝试、反映定位等；

感知的效用凡是取决于智能体的举动；

获守信息也许具有显式和隐式本钱；

数据的漫衍凡是依靠于上下文，在富厚的情形中，隐藏数据多样性也许远远高出智能体的容量或已存在数据的数目——这必要从履历中获取感知；

感知的很多应用措施无法得到有标志的数据。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!