从设法到实干，2018年13项NLP绝美新研究
|
这篇论文在更好领略预实习说话模子表征方面做出了很大孝顺。他们普及地研究了全心计划的无监视和有监视使命上进修到的单词和跨度表征。功效发明：预实习表征会在较低层进修到与初级形态和句法使命相干的使命，在较高层进修到更大范畴的语义。对我而言，该研究表白了预实习说话模子确实能捕获文本的相似属性，正如计较机视觉模子在 ImageNet 上预实习后，能捕获图像之间的相似属性。
BiLSTM 和 Transformer 的预实习表征的每一层的机能，从左到右依次是：POS 标志、选区理会和无监视共指理会 (Peters et al. 2018 http://aclweb.org/anthology/D18-1179 )。 7. 帮助使命在许多配置中，我们都看到人们越来越多行使带有细心选择的帮助使命的多使命进修要领。个中最重要的一个案例是BERT。其行使了下一句猜测来实现良好机能（近期被用在 Skip-thoughts 以及 Quick-thoughts 等）。有代表性的研究成就包罗：
这篇论文通过为每个跨度猜测对应的句法因素范例，以此提出了一种预实习跨度表征的帮助使命。尽量在观念上很简朴，该帮助使命可以在跨度级猜测使命中取得极大晋升，譬喻语义脚色标注和共指理会等。该论文表白，通过方针使命在所需级别进修的专用表征有极大的用处。
依据相似的思绪，这篇论文通过最大化词对以及语境的逐点互信息预实习词对表征。对比越发通用的表征（譬喻说话建模），这勉励模子进修更故意义的词对表征。这些预实习表征在诸如 SQuAD、和 MultiNLI 等必要跨句推理的使命中很有用。我们可以等候看到更多可捕获合用于特定下流使命的预实习模子，而且和越发通用的使命互补（譬喻说话建模）。
OntoNotes 的句法、命题语料库和共指标注。命题语料库SRL参数和共指在句法因素之上标注。险些每个参数都与句法因素有关 (Swayamdipta et al., 2018 http://aclweb.org/anthology/D18-1412 ) 8.半监视进修团结迁徙进修最近，迁徙进修取得最新盼望，我们不该该健忘行使方针使命特定命据更明晰的方法。着实，预实习表征与多种情势的半监视进修是互补的。已经有研究者试探半监视进修的一个特定种别——自标注要领。有代表性的研究包罗：
这篇论文表白，一个观念上很是简朴的设法——即确保对差异输入视图的猜测与主模子的猜测同等——可以在一系列差异的使命中得到收益。这一设法与 word dropout 相同，但应承操作未标注数据来增强模子的鲁棒性。与 mean teacher 等其他 self-ensembling 模子对比，它是专门为特定 NLP 使命计划的。
帮助猜测模块看到的输入：帮助 1：They traveled to __________________. 帮助 2：They traveled to Washington _______. 帮助 3： _____________ Washington by plane. 帮助 4： ________________________ by plane 9. 操作大型文本的问答和推理在一系列新的问答（QA）数据集的辅佐下，问答体系取得了许多盼望。除对话问答和多步调推理之外，问答体系最具挑衅性的一个方面是合成论述和含有大量信息的本文。有代表性的研究包罗：
本文作者按照对整个影戏脚本和书本的问答提出了一个颇具挑衅性的 QA 数据集。固然今朝的要领仍无法完成这项使命，但模子可以选择行使择要（而不是整本书）作为上下文，选择谜底（而不是天生谜底），以及行使 IR 模子的输出。这些变体进步了使命的可行性，使得模子可以逐渐扩展到完备的语境。
QA 数据集比拟。 10. 归纳方向（编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
