手把手教你办理90%的NLP题目
|
【大咖·来了 第7期】10月24日晚8点寓目《智能导购对话呆板人实践》
导读 操作呆板进修要领来领略和操作文本，从最简朴的到state-of-the-art，由浅入深，循规蹈矩。 
文本数据处处都是 无论是一家已创立的公司，照旧正在开拓一项新处事，都可以操作文本数据来验证、改造和扩展产物的成果。从文本数据中提取语义和进修的科学是一个被称为天然说话处理赏罚(NLP)的活泼研究课题。 NLP天天都有新的重要的盼望，这是一个很是大的规模。然而，在与数百家公司相助之后，Insight团队发明一些要害的现实应用比其他应用呈现得更频仍：
固然在网上有很多NLP的论文和教程，但我们发明很难找到指导目的和能力来从基础上有用地办理这些题目。 这篇文章有什么用？ 在一年率领了数百个项目，并从美国各地的顶级团队得到提议之后，我们写了这篇文章来表明怎样构建呆板进修办理方案来办理上述题目。我们将从最简朴可行的要领开始，然后转向更渺小的办理方案，如特性工程、词向量和深度进修。 读完这篇文章，你会知道：
我们写这篇文章是作为一个循规蹈矩的指南，它还可以作为高效尺度要领的高条理概述。 第一步: 网络数据 数据源的样例 每一个呆板进修题目都是从数据开始的，好比电子邮件、帖子或tweet列表。常见的文本信息来历包罗：
“Disasters on Social Media” dataset “交际媒体劫难”数据集 对付本文，我们将行使图8提供的数据集，名为“交际媒体上的劫难”，个中： 孝顺者们查察了1万多条推文，这些推文都颠末尾各类百般的搜刮，好比“着火”、“断绝”和“紊乱”，然后指出这条推文是否指的是劫难变乱(而不是带有这个词的笑话、影戏评述或其他非劫难性的对象)。 我们的使命是检测哪些tweet是关于劫难性变乱的，而不是与之相干的主题，好比影戏。为什么?一种隐藏的应用也许是，在不分析对Adam Sandler最新影戏的评述的环境下，只向法律官员传递紧张环境。这项使命的一个非凡挑衅是，这两个类都包括用于查找tweet的沟通搜刮词，因此我们将不得不行使更渺小的差别来区分它们。 在本文的别的部门，我们将把关于劫难的tweet称为“劫难”，而关于其他任何工作的tweet称为“无关”。 标签 我们已经标志了数据，以是我们知道哪些tweet属于哪些种别。正如Richard Socher在下面所概述的，找到和标志足够的数据来实习模子凡是更快、更简朴、更自制，而不是试图优化一个伟大的无监视要领。 
第二步: 数据洗濯 我们遵循的第一条法则是：“你的模子永久只会和你的数据一样好。” 数据科学家的要害手艺之一是知道下一步应该是处理赏罚模子照旧数据。一个好的履历法例是先查察数据，然后清算它。一个干净的数据集将应承模子进修故意义的特性，而不会在不相干的噪声上过拟合。 这里有一个清单，可以用来整理你的数据：
在遵循这些步调并搜查其他错误之后，我们可以开始行使干净的、有标志的数据来实习模子！ 第三步：找一个好的数据暗示 呆板进修模子以数值作为输入。譬喻，处理赏罚图像的模子回收矩阵暗示每个颜色通道中的每个像素的强度。
用数字矩阵暗示的笑容 我们的数据集是一个句子列表，所觉得了让我们的算法从数据中提取模式，我们起首必要找到一种要领，以我们的算法可以或许领略的方法来暗示它，即作为一个数字列表。 One-hot编码(词袋) 暗示计较机文本的一种天然要领是将每个字符单独编码为一个数字。假如我们要将这个简朴的暗示情势提供应分类器，那么它就必需仅基于我们的数据从零开始进修单词的布局，这对付大大都数据集来说是不行能的。我们必要行使更高条理的要领。 譬喻，我们可觉得数据齐集全部惟一的单词构建一个词汇表，并为词汇表中的每个单词关联一个惟一索引。然后，每个句子都被暗示为一个列表，这个列表与我们词汇表中差异单词的数目一样长。在这个列表的每个索引处，我们标志给定单词在我们的句子中呈现的次数。这称为词袋模子，由于它是一个完全忽略句子中单词次序的暗示。如下图所示。
把句子暗示成词袋。左边是句子，右边是描写。向量中的每个索引暗示一个特定的单词。 嵌入的可视化 在“交际媒体劫难”的例子中，我们的词汇量约莫有20000个单词，这意味着每个句子都将被暗示为一个长度为20000的向量。向量中大部门都是0，由于每个句子只包括词汇表的一个很是小的子集。 为了查察我们的嵌入是否捕捉了与我们的题目关的信息(即tweet是否与劫难有关)，将它们可视化并查察类之间是否有很好的脱离是一个好主意。因为词汇表凡是很是大，而且不行能在20,000个维度中可视化数据，因此PCA等技能将辅佐将数据投射到两个维度。下图所示。
词袋嵌入的可视化 这两个类看起来没有很好地疏散，这也许是我们的嵌入的一个特征，可能仅仅是维数镌汰的一个特征。为了相识词袋特性是否有效，我们可以实习一个基于词袋特性的分类器。 第四步: 分类 当第一次处理赏罚一个题目时，一样平常的最佳实践是从可以或许办理该事变的最简朴的器材开始。每当涉及到对数据举办分类时，因为其通用性和可表明性，最受接待的是Logistic Regression。它的实习很是简朴，功效是可表明的，由于你可以很轻易地从模子中提取最重要的系数。 我们将数据分成两个部门，一个是用于拟合模子的实习集，另一个是测试集，以查察它对不行见数据的泛化水平。颠末实习，我们获得了75.4%的精确率。还可以！揣摩呈现最多的种别(“无关紧急”)只会给我们57%的谜底。然而，纵然75%的精度已经足够满意我们的需求，我们不能在不领略模子的环境下就宣布模子。 第五步：搜查 夹杂矩阵 第一步是相识我们的模子所失足误的范例，以及哪些错误是最不行取的。在我们的示例中，false positive 将不相干的tweet分类为劫难，false negative 将劫难分类为不相干的tweet。假如我们的主要使命是对每一个隐藏的变乱做出回响，我们就会想要低落我们的false negative 。然而，假如我们在资源上受到限定，我们也许会优先思量较低的假阳性率，以镌汰虚警。将这些信息可视化的一个好要领是行使夹杂矩阵，它将我们的模子做出的猜测与真实的标签举办较量。抱负环境下，矩阵应该是一条从左上角到右下角的对角线(我们的猜测与究竟完全相符)。
夹杂矩阵（绿色暗示比例高，蓝色暗示比例低） 我们的分类器建设的假阴性比假阳性多(按比例)。换句话说，我们的模子最常见的错误是禁绝确地将劫难分类为无关紧急的。假如假阳性代表法律的高本钱，对我们的分类器，这也许是一个很好的成见，。 表明我们的模子 为了验证我们的模子并表明它的猜测，很重要的是看看它行使哪些词汇来做决定。假如我们的数据是有毛病的，我们的分类器会在样本数据中做出精确的猜测，可是模子在实际天下中不能很好地推广。在这里，我们为劫难类和无关类绘制最重要的单词。因为我们只必要提取模子用于猜测的系数并对其举办排序，因此用词袋模子和逻辑回回来绘制单词重要性图很是简朴。
词袋：单词重要性 我们的分类器正确地选择了一些模式(广岛，大奋斗)，但显然好像在一些有时义的术语上过拟合(heyoo, x1392)。此刻，我们的词袋模子正在处理赏罚大量差异单词的词汇，而且划一地看待全部单词。然而，个中一些词汇很是频仍，并且只会对我们的猜测发生滋扰。接下来，我们将实行一种暗示句子的要领来表明单词的频率，看看我们可否从数据中获取更多的信号。 第6步：词汇布局计数 TF-IDF 为了辅佐我们的模子更多地存眷故意义的单词，我们可以在我们的词袋模子上行使TF-IDF score (Term Frequency, Inverse Document Frequency)。TF-IDF按照单词在我们的数据齐集的罕有水平来权衡单词，对过于频仍且只会增进噪音的单词举办削弱。这是我们新的嵌入的PCA投影。
TF-IDF嵌入可视化 从上面我们可以看到，这两种颜色的区别越发明明。这将使我们的分类器更轻易地将两个组分隔。让我们看看这是否会带来更好的机能。在我们的新嵌入上实习另一个逻辑回归，我们获得了76.2%的精确率。 很是稍微的改进。我们的模子是否开始进修更重要的单词？假如我们在防备模子“作弊”的同时得到了更好的功效，那么我们就可以真正地将该模子视为一个进级。
TF-IDF: 单词重要性 选到到的单词看起来更相干了！尽量我们测试集上的精确率只增进了一点点，可是我们对我们的模子所行使的术语有了更多的信念，因此在一个与客户交互的体系中陈设它会更惬意。 第7步：语义的威力 Word2Vec 我们最新的模子可以或许辨认高频词。然而，假如我们陈设这个模子，很有也许会碰着早年在我们的实习齐集没有见过的单词。之前的模子不能精确地对这些tweet举办分类，纵然在实习时代看到了很是相似的单词。 为了办理这个题目，我们必要捕获单词的语义，这意味着我们必要领略像“good”和“positive”这样的单词要比“apricot”和“continent”更靠近。我们用来辅佐我们捕获语义的器材叫做Word2Vec。 行使预实习的单词 Word2Vec是一种为单词探求持续嵌入的技能。它通过阅读大量的文本和影象在相似的语境中呈现的单词来进修。在对足够的数据举办实习后，它为词汇表中的每个单词天生一个300维的向量，具有相似寄义的单词互相之间间隔更近。 这篇论文的作者(https://arxiv.org/abs/1301.3781)果真了一个模子的源代码，这个模子是在一个很是大的语料库上预先实习的，我们可以操作这个语料库将一些语义常识包括到我们的模子中。可以在与本文关联的repository中找到预先实习好的向量。 语义级此外暗示 为我们的分类器得到一个句子嵌入的快速要领是均匀我们句子中全部单词的Word2Vec得分。这是一个词袋的要领，就像早年一样，可是这次我们只丢失了我们句子的语法，而保存了一些语义信息。
Word2Vec句子的嵌入 行使之前的技能可视化的我们的新嵌入：
Word2Vec嵌入可视化 这两组颜色在这里看起来越发疏散，我们的新嵌入应该有助于我们的分类器找到这两个类之间的疏散。颠末第三次对统一模子的实习(Logistic回归)，我们获得的精确率为77.7%，是我们今朝最好的功效！是时辰搜查我们的模子了。 伟大性和可表明性的衡量 因为我们的嵌入不像之前的模子中那样以每个单词一维的向量来暗示，以是很丢脸出哪些单词与我们的分类最相干。固然我们如故可以会见逻辑回归的系数，但它们与嵌入的300个维度有关，而不是与单词的索引有关。 对付云云低的准确度，失去全部的可表明性好像是一个艰巨的衡量。可是，对付更伟大的模子，我们可以操作黑匣子表明器，好比LIME，以便深入相识分类器的事变道理。 LIME LIME可在Github上得到通过一个开源包。黑盒表明器应承用户通过扰动输入(在我们的例子中是从句子中删除单词)并查察猜测怎样变革来表明任何分类器对一个特定示例的决定。 让我们从我们的数据齐集看一些句子的表明。 
选择正确的劫难词汇来分类为“相干”。 
在这里，单词对分类的孝顺好像不那么明明。 然而，我们没偶然刻研究数据齐集的数千个示例。相反，我们要做的是对一个具有代表性的测试用例样本运行LIME，并查察哪些单词会不绝呈现，成为强盛的孝顺者。行使这种要领，我们可以获得单词重要性评分，就像我们之前的模子一样，并验证我们的模子的猜测。
Word2Vec: 单词重要性 看起来这个模子选择了高度相干的词汇，这意味着它好像做出了可以领略的抉择。在全部之前的模子中，这些好像是最相干的词汇，因此我们更乐意将它们陈设到出产情形中。 第8步：操作语义，行使端到端的要领 我们已经先容了天生麋集的语句嵌入的快速而有用的要领。然而，通过忽略单词的次序，我们扬弃了我们句子的全部语法信息。假如这些要领不能提供足够的功效，你可以行使更伟大的模子，它将整个句子作为输入并猜测标签，而不必要构建中间暗示。一种常见的要领是行使Word2Vec或更近期的要领如GloVe或CoVe将一个句子视为单个单词向量的序列。这就是我们下面要做的。
高效的端到端的布局 Convolutional Neural Networks for Sentence Classification实习很是快，是一种入门级的深度进修架构。而卷积神经收集(CNN)首要是图像数据机能著称，他们在文内情关的使命上也能提供优越的功效。和凡是最伟大的NLP实习要领(如[LSTMs]和编码器/解码器架构更快。这个模子生涯单词的次序，并进修有代价的信息，以及哪些单词序列可以猜测我们的方针类。与之前的模子相反，它可以区分“Alex eats plants”和“Plants eat Alex”。 与早年的要领对比，实习这个模子并不必要更多的事变，并为我们提供了一个比早年的要领更好的模子，得到79.5%的精确率！与上面的模子一样，下一步应该是行使我们描写的要领试探息争释猜测，以验证它确实是陈设到用户的最佳模子。到今朝为止，你应该已经风俗了本身处理赏罚这个题目。 要点总结 下面是我们乐成行使的要领的快速回首：
（编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
