清华天机芯片；非侵入式脑机接口；ACL 2019论文
|
呆板之心清算 参加：一鸣 本周有很多很是重要的研究值得存眷，如清华大学等提出的通用人工智能芯片，Facebook 提出的非侵入式脑机接口，尚有 ACL 2019 最佳长、短论文等。干货满满，接待读者伴侣阅读。 目次： Towards artificial general intelligence with hypid Tianjic chip architecture Real-time decoding of question-and-answer speech dialogue using human cortical activity RoBERTa: A Robustly Optimized BERT Pretraining Approach Bridging the Gap between Training and Inference for Neural Machine Translation Do you know that Florence is packed with visitors? Evaluating state-of-the-art models of speaker commitment ERNIE 2.0: A Continual Pre-training Framework for Language Understanding DropAttention: A Regularization Method for Fully-Connected Self-Attention Networks 1. 问题：Towards artificial general intelligence with hypid Tianjic chip architecture 择要：现阶段，成长人工通用智能的要领首要有两种：一种是以神经科学为基本，无穷模仿人类大脑；另一种是以计较机科学为导向，让计较机运行呆板进修算法。实现人工通用智能的最终方针是让两者团结，但因为两套体系行使的平台各不沟通且互不兼容，极大地限定了人工通用智能的成长。论文中，研究者研发了一款融合了上述两种要领的电子芯片。他们的殽杂芯片有多个高度可重构的成果性核，可以同时支持呆板进修算法和类脑电路。作者用一个无人自行车体系验证了这一殽杂芯片的处理赏罚手段。试验中，无人自行车不只可以辨认语音指令、实现自均衡节制，还能对前线行人举办探测和跟踪，并自动避障。作者以为，这项研究或能为人工通用智能平台的进一步成长起到促进浸染。 保举：八月份的 Nature 封面文章，论文提出的一种融合了脉冲神经收集和人工神经收集的基本硬件架构，有用敦促了通用人工智能研究。论文作者来自清华大学、新加坡国立大学等，研究声势豪华。
8 月份的「Nature」封面。 2. 问题：Real-time decoding of question-and-answer speech dialogue using human cortical activity 择要：Facebook 与加州大学旧金山分校（UCSF）宣布了有关脑机接口研究的最新盼望，研究关于构建非侵入式可穿着装备，让人们只需通过想象要说的话即可完成「打字」举措。这项研究证明白人们在对话时大脑发生的勾当可以及时解码为电脑屏幕上的笔墨而在此之前，这样的事变都是离线完成的，及时「翻译」笔墨是脑机接口研究规模的第一次。研究职员暗示，他们的算法今朝为止还只能辨认一小部门单词和短语，但正在举办的事变旨在翻译更多词汇，并大幅低落辨认错误率。 保举：这也是「Nature」的一篇论文。这项对标马斯克 Neuralink 的事变提出了新奇的脑机研究思绪。按照报道，Facebook 规划以此为基本开拓 VR 眼镜。
该型脑机接口的实现图示。 3. 问题：RoBERTa: A Robustly Optimized BERT Pretraining Approach 作者：Yinhan Liu、Myle Ott、Naman Goyal、Jingfei Du、Mandar Joshi、Danqi Chen、Omer Levy、Mike Lewis、Luke Zettlemoyer、Veselin Stoyanov 论文链接：https://arxiv.org/pdf/1907.11692.pdf 实现链接：https://github.com/pytorch/fairseq/tree/master/examples/roberta 择要：RoBERTa 的全名为 Robustly Optimized BERT pretraining Approach。Facebook 的研究职员回收了 BERT-Large，并通过更多的数据与更长的实习来晋升预实习进程，最终的功效通过模子集成得到。前段时刻，RoBERTa 打败 XLNet 登上了 GLUE 排行榜榜首。 保举：最佳预实习说话模子的头衔花落谁家？看数据量和实习时长吧！
跟着 RoBERTa 模子的实习数据量和时长增进，结果也变得更好了。 4. 问题：Bridging the Gap between Training and Inference for Neural Machine Translation 作者：Wen Zhang、Yang Feng、Fandong Meng、Di You、Qun Liu 论文链接：https://arxiv.org/pdf/1906.02448 择要：在实习时，神经呆板翻译（NMT）操作 ground truth 词作为猜测时的上下文，推理时则必需从新天生整个句子。这种带不带标注上下文的差别导致偏差的累积。另外，单词级此外实习要求天生的序列与 ground truth 序列严酷匹配，这导致模子对差异但公道的翻译举办过校正。 在本文中，研究者不只从 ground truth，还从模子在实习中猜测的序列采样上下文单词，并选择句子级此外最优猜测序列来办理这些题目，个中猜测语句是句子级此外最优选择。也就是说，翻译模子不再逐词比拟标注而确定丧失函数，它会思量统一句话差异的译法。 保举：这篇是 ACL 2019 最佳长论文，提出了新的呆板翻译要领。作者来自中科院等机构。 5. 问题：Do you know that Florence is packed with visitors? Evaluating state-of-the-art models of speaker commitment 作者：Nanjiang Jiang、Marie-Catherine de Marneffe 论文链接：https://www.aclweb.org/anthology/P19-1412 择要：揣度措辞者理睬（又称为变乱究竟）对信息提取和问答很是重要。在这篇论文中，研究者通过在挑衅性的天然数据集上说明模子偏差的说话学相干性，从而试探说话学缺陷驱动措辞人理睬模子错误模式的假设。 研究者在 CommitmentBank 数据集上评估了两个 SOTA 的措辞人理睬模子（speaker commitment model）。他们发明获取说话学信息的模子要优于基于 LSTM 的模子，这表白我们必要说话学常识来捕获具有挑衅性的天然数据。研究者暗示按说话学特性分另外 item 显现了差池称的错误模式：固然模子在某些种别上取得了很好的示意，但它们无法泛化到天然说话中的各类说话学布局，譬喻前提句。 保举：这篇是 ACL 2019 最佳短论文，论文声名白说话学法则（先验）对措辞者理睬使命的重要影响，值得说话学或 NLP 研究配景的读者相识。
措辞者理睬使命行使的数据集。
基于法则的、线性的、树布局的和殽杂模子的 Pearson r 分数和绝对均匀误（Mean Absolute Error）分数。比拟功效表现，基于说话学法则的模子比 bi-lstm（Hypid）模子示意更好。 6. 问题：ERNIE 2.0: A Continual Pre-training Framework for Language Understanding 作者：Yu Sun、Shuohuan Wang、Yukun Li、Shikun Feng、Hao Tian、Hua Wu、Haifeng Wang 论文链接：https://arxiv.org/pdf/1907.12412v1.pdf 择要：近两年，以 BERT、XLNet、ERNIE 1.0 为代表的无监视预实习技能在说话揣度、语义相似度、定名实体辨认、情绪说明等多个天然说话处理赏罚使命上取得了技能打破。基于大局限数据的无监视预实习技能在天然说话处理赏罚规模变得至关重要。 百度研究者发明，之前的事变首要通过词或句子的共现信号，构建说话模子使命举办模子预实习。譬喻，BERT 通过掩码说话模子和下一句猜测使命举办预实习。XLNet 构建了全分列的说话模子，并通过自回归的方法举办预实习。 然而，除了说话共现信息之外，语料中还包括词法、语法、语义等更多有代价的信息。譬喻，人名、地名、机构名等词语观念常识，句子间次序和间隔相关等布局常识，文本语义相似度和说话逻辑相关等语义常识。那么假如一连地进修种种使命，模子的结果可否进一步晋升？这就是 ERNIE 2.0 但愿试探的。 保举：尽量 XLNet 等预实习说话模子取得了很好的结果，但中文语境缺乏相干模子。百度推出的 ERNIE 模子弥补了这个空白。此刻 ERNIE 已进入第二代，依然是中文语境中结果最佳的预实习说话模子。
ERNIE 2.0 模子的布局表示。 7. 问题：DropAttention: A Regularization Method for Fully-Connected Self-Attention Networks 作者：Lin Zehui、Pengfei Liu、Luyao Huang、Junkun Chen、Xipeng Qiu、Xuanjing Huang 论文链接：https://arxiv.org/pdf/1907.11065 择要：变体 dropout 要领计划用于神经收集中的全毗连层、卷积层和轮回层，同时被证明可以有用地停止过拟合。作为轮回和卷积层的一种精采更换选择，全毗连自留意力层却穷乏特定的 dropout 要领。本文旨在试探正则化 Transformer 中留意力权重的也许性，从而阻止差异的景象化特性向量呈现互顺应（co-adaption）。在一系列使命上的尝试表白，DropAttention 可以晋升机能，削弱过拟合。 保举：复旦大学提出专门针对留意力层的 Dropout 要领，值得参考研究。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
