8种优秀预训练模型大盘点，NLP应用so easy！
|
BERT是Bidirectional Encoder Representations(双向编码器表征)的简称。这个模子可以同时思量一个词的两侧(左侧和右侧)上下文，而早年的全部模子每次都是只思量词的单侧(左侧或右侧)上下文。这种双向思量有助于模子更好地领略单词的上下文。另外，BERT可以举办多使命进修，也就是说，它可以同时执行差异的NLP使命。 BERT是首个无监视的、深度双向预实习NLP模子，仅行使纯文本语料库举办实习。 在宣布时，谷歌称BERT举办了11个天然说话处理赏罚(NLP)使命，并发生高程度的功效，这一壮举意义深远!你可以在短短几个小时内(在单个GPU上)行使BERT实习好本身的NLP模子(譬喻问答体系)。 想得到更多有关BERT的资源，请参阅：
4. Transformer-XL模子(谷歌) 从恒久来看，谷歌宣布的版本对NLP而言长短常重要的。假如你是初学者，这个观念也许会有点棘手，以是我勉励你多读几遍来把握它。我还在本节下面提供了多种资源来辅佐你开始行使Transformer-XL。 想象一下——你刚读到一本书的一半，溘然呈现了这本书开头提到的一个词可能一句话时，就能回想起那是什么了。但可以领略，呆板很难成立恒久的影象模子。 如上所述，要告竣这个目标的一种要领是行使Transformers，但它们是在牢靠长度的上下文中实现的。换句话说，假如行使这种要领，就没有太大的机动性。 Transformer-XL很好地补充了这个差距。它由Google AI团队开拓，是一种新奇的NLP架构，可以或许辅佐呆板领略超出牢靠长度限定的上下文。Transformer-XL的推理速率比传统的Transformer快1800倍。 通过赏识下面谷歌宣布的两个gif文件，你就会大白这个中的区别: 正如你此刻也许已经猜测到的，Transformer-XL在各类说话建模基准/数据集上取得了最新的技能成就。以下是他们页面上的一个小表格，声名白这一点:
之前给过链接并将在下面提到的Transformer-XL GitHub存储库包括了PyTorch和TensorFlow中的代码。 进修和阅读更多Transformer-XL有关信息的资源：
5. GPT-2模子(OpenAI) 这是一个异常有争议的模子，一些人会以为GPT-2的宣布是OpenAI的营销噱头。我可以领略他们的设法，可是我以为至少应该要先对OpenAI宣布的代码举办实行。 起首，为那些不知道我在说什么的人提供一些配景信息。OpenAI在2月份颁发了一篇博客文章，他们声称已经计划了一个名为GPT-2的NLP模子，这个模子很是好，以至于担忧被恶意行使而无法宣布完备的版本，这虽然引起了社会的存眷。 GPT-2颠末实习，可以用来猜测40GB的互联网文本数据中的下一个呈现的词。 该框架也是一个基于transformer的模子，而这个模子是基于800万个web页面的数据集来举办实习。他们在网站上宣布的功效的确令人震惊，由于该模子可以或许按照我们输入的几个句子编写出一个完备的故事。看看这个例子： 难以置信，是吧? 开拓职员已经宣布了一个更小版本的GPT-2，供研究职员和工程师测试。原始模子有15亿个参数——开放源码示例模子有1.17亿个参数。 进修和阅读更多GPT-2有关信息的资源：
词嵌入(word embedding)模子 我们行使的大大都呆板进修和深度进修算法都无法直接处理赏罚字符串和纯文本。这些技能要求我们将文本数据转换为数字，然后才气执利用命(譬喻回归或分类)。 因此简朴来说， 词嵌入(word embedding)是文本块，这些文本块被转换成数字以用于执行NLP使命。词嵌入(word embedding)名目凡是实行行使字典将单词映射到向量。 你可以在下面的文章中更深入地相识word embedding、它的差异范例以及如安在数据齐集行使它们。假如你不认识这个观念，我以为本指南必读： 对词嵌入的直观领略：从计较向量到Word2Vec： https://www.analyticsvidhya.com/blog/2019/03/pretrained-models-get-started-nlp/ 在本节中，我们将先容NLP的两个最先辈的词嵌入(word embedding)。我还提供了教程链接，以便你可以对每个主题有现实的相识。 6. ELMo模子 这个ELMo并不是《芝麻街》里的谁人脚色，可是这个ELMo(Embeddings from Language Models(说话模子嵌入)的缩写)在构建NLP模子的上下文中很是有效。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
