从设法到实干，2018年13项NLP绝美新研究

这篇论文提出了广受好评的 ELMo，除了令人印象深刻的尝试功效外，最吸引人的就是论文的说明部门，它剔除了各类身分的影响，并对表征所捕捉的信息举办了说明。在下图左中语义消歧（WSD）执行得很好，它们都表白说话模子提供的语义消歧和词性标注（POS）示意都靠近当前最优程度。

第一层和第二层双向说话模子的语义消歧（左）和词性标注（右）与基线模子比拟的功效。

3. 知识推理数据集

将知识融入模子是 NLP 最重要的研究偏向之一。然而，建设好的数据集并非易事，纵然是风行的数据集也存在很大的偏好题目。本年已经呈现了一些试图教呆板进修知识的数据集，如华盛顿大学的 Event2Mind 和 SWAG。但 SWAG 很快就被BERT打败了。有代表性的研究成就包罗：

• 论文：From Recognition to Cognition: Visual Commonsense Reasoning

• 论文地点： https://arxiv.org/abs/1811.10830

这是首个包括每个谜底的根基道理（表明）的可视化 QA 数据集。并且，答复题目必要伟大的推理。创作者不遗余力办理也许呈现的偏好，确保每个谜底作为正确谜底的先验概率为 25%（每个谜底在整个数据齐集呈现 4 次，个中 3 次作为错误谜底，1 次作为正确谜底）；这必要操作可以计较相干性和相似性的模子来办理束缚优化题目。

给定一幅图像、一系列所在和一个题目，模子必需答复该题目，并提供公道的推理表明谜底为什么是正确的（Zellers et al., 2018）

4.元进修

元进修 是今朝呆板进修规模一个令人振奋的研究趋势，它办理的是进修怎样进修的题目。元进修在少样本进修、强化进修和呆板人学方面有许多应用，个中最突出的应用是与模子无关的元进修（model-agnostic meta-learning，MAML），但在 NLP 中的乐成应用却很是少。元进修在实习样本有限时很是有效。有代表性的研究成就包罗：

• 论文 1：Meta-Learning for Low-Resource Neural Machine Translation

• 论文链接： http://aclweb.org/anthology/D18-1398

作者操作 MAML 来进修一个好的用于翻译的初始化，将每个说话对当作一个独立的元使命。资源较少的说话或者是元进修在 NLP 规模最有应用代价的场景。将多说话迁徙进修（如多说话BERT）、无监视进修和元进修相团结是一个有远景的研究偏向。

迁徙进修、多缘故起因迁徙进修和元进修之间的差别。实线：初始化的进修。虚线：微调路径。

• 论文 2：Meta-Learning a Dynamical Language Model

• 论文地点： https://arxiv.org/abs/1803.10631

作者提出，用于优化神经收集模子的元进修器的举动和轮回神经收集相同，它会提取一系列模子实习进程中的参数和梯度作为输入序列，并按照这个输入序列计较获得一个输出序列（更新后的模子参数序列）。他们在论文中具体描写了该相似性，并研究了将元进修器用于神经收集说话模子中，以实现中期影象：颠末进修，元进修器可以或许在尺度 RNN（如 LSTM）的权重中，编码中期影象（除了短期影象在 LSTM 潜匿状态中的传统编码方法以外）。

他们的元进修说话模子由 3 层影象层级构成，自下而上别离是：尺度 LSTM、用于更新 LSTM权重以存储中期影象的元进修器，以及一个恒久静态影象。他们发明，元进修说话模子可以通过实习来编码最近输入的影象，就像一篇维基百科文章的开始部门对猜测文章的末了部门很是有辅佐一样。

5. 鲁棒无监视要领

本年，我们调查到，跨说话嵌入要领在说话相似性低时会失效。这是迁徙进修中的常见征象，源说话和方针说话配置（譬喻，域顺应中的域、一连进修和多使命进修中的使命）之间存在差别，导致模子退化或失效。因此，使模子对这些变革越发鲁棒很是重要。有代表性的研究成就包罗：

• 论文：A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings

• 论文链接： http://www.aclweb.org/anthology/P18-1073

这篇论文按照其领略构建了一个更好的初始化，而没有行使元进修作为初始化。出格地，他们将两种说话中拥有相似词漫衍的单词配对。这是从说明中操作规模常识和 insight 以使模子越发鲁棒的绝佳典型。

三个单词的相似性漫衍：与不相干的单词（「two」和「cane」（狗））对比，等效翻译（「two」和「due」）有越发相似的词漫衍。(Artexte et al. 2018 http://www.aclweb.org/anthology/P18-1073)

6. 领略表征

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!