从设法到实干，2018年13项NLP绝美新研究
|
该论文有许多喜人的处所：在句法与语义使命上同时实习一个 Transformer；实习时插手高质量理会的手段以及规模外评估。通过实习一个留意力 head 来存眷每个 token 的 syntactic parents，这篇论文也正则化了 Transformer 的多 head 留意力，使其对句法更为敏感。我们将来也许会看到更多 Transformer 留意 head 示例，做为专注输入特定方面的帮助词猜测器。
已往十年的 PropBank 语义脚色标志。在规模外数据上，Linguistically-Informed Self-Attention (LISA) 要领与其他要领的比拟。 岂论是回收 Mask 的说话模子照旧通过回译的无监视呆板翻译，这 10 个设法都很是美妙。可是在现实应用中，我们更但愿直接行使已有的器材构建高效应用，只有这样，这些设法才气转化为真正故意思的对象。 11. 上百种预实习中文词向量做天然说话处理赏罚，词嵌入根基是绕不开的步调，各类使命都必要归结到词层面才气继承计较。因此对付海内天然说话处理赏罚的研究者而言，中文词向量语料库是需求很大的资源。为此，北京师范大学等机构的研究者开源了「中文词向量语料库」，该库包括颠末数十种用各规模语料（百度百科、维基百科、人民日报 1947-2017、知乎、微博、文学、金融、古汉语等）实习的词向量，涵盖各规模，且包括多种实习配置。 中文词向量项目地点： https://github.com/Embedding/Chinese-Word-Vectors 该项目提供行使差异表征（稀少和麋集）、上下文特性（单词、n-gram、字符等）以及语料库实习的中文词向量（嵌入）。我们可以轻松得到具有差异属性的预实习向量，并将它们用于种种下流使命。
12.BERT开源实现尽量如前所述BERT的结果惊人，但预逊??必要的计较力同样惊人，一样平常的开拓者根基就不要想着能复现了。BERT的作者在 Reddit 上也暗示预实习的计较劲很是大，Jacob 说：「OpenAI的 Transformer 有 12 层、768 个潜匿单位，他们行使 8 块 P100 在 8 亿词量的数据集上实习 40 个 Epoch 必要一个月，而BERT-Large 模子有 24 层、2014 个潜匿单位，它们在有 33 亿词量的数据集上必要实习 40 个 Epoch，因此在 8 块 P100 上也许必要 1 年？16 Cloud TPU 已经长短常大的计较力了。」 可是，谷歌团队开源了BERT的预实习模子，我们可以将它们用于差异的 NLP 使命。这节减了我们大量计较力，同时还能晋升已有模子的结果，因此做 NLP 使命前，你可以先用预实习的BERT试试水？ BERT实现地点： https://github.com/google-research/bert
着实今朝已经有许多开拓者将BERT预实习模子应用到它们本身的项目中，包罗抽取句向量、句子相似性判定或情绪说明等。 13. Facebook 开源 NLP 建模框架 PyText，从论文到产物陈设只需数天为了低落人们建设、陈设天然说话处理赏罚体系的难度，Facebook 开源了一个建模框架—— PyText ，它恍惚了尝试与大局限陈设之间的边界。PyTex 是 Facebook 正在行使的首要天然说话处理赏罚（NLP）建模框架，天天为 Facebook 及其应用措施系列的用户提供高出 10 亿次 AI 使命处理赏罚。这一框架基于 PyTorch，可以 1）简化事变流程，加速尝试进度；2）提供一大批预构建的模子架构和用于文本处理赏罚和词汇打点的器材，以促进大局限陈设；3）提供操作 PyTorch 生态体系的手段，包罗由 NLP 社区中的研究职员、工程师预构建的模子和器材。操作该框架，Facebook 在几天内就实现了 NLP 模子从理念到完备实验的整个进程，还陈设了依靠多使命进修的伟大模子。 Yann LeCun 对此先容道，「PyText 是一个家产级的开源 NLP 器材包，可用于在 PyTorch 中开拓 NLP 模子，并通过 ONNX 陈设。其预实习模子包罗文天职类、序列标注等。」 项目地点： https://github.com/facebookresearch/pytext
参考链接： http://ruder.io/10-exciting-ideas-of-2018-in-nlp/ （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
