美团呆板进修中的数据洗濯与特性发掘实践

综述

如上图所示是一个经典的呆板进修题目框架图。数据洗濯和特性发掘的事变是在灰色框中框出的部门，即“数据洗濯=>特性，标注数据天生=>模子进修=>模子应用”中的前两个步调

灰色框中蓝色箭头对应的是离线处理赏罚部门。首要事变是：

• 从原始数据，如文本、图像可能应用数据中洗濯出特性数据和标注数据。
• 对洗濯出的特性和标注数据举办处理赏罚，譬喻样本采样，样本调权，非常点去除，特性归一化处理赏罚，特性变革，特性组合等进程。最终天生的数据首要是供模子实习行使。

灰色框中绿色箭头对应的是在线处理赏罚的部门。所做的首要事变和离线处理赏罚的相同，首要的区别在于1.不必要洗濯标注数据，只必要处理赏罚获得特性数据，在线模子行使特性数据猜测出样本也许的标签。2.最终天生数据的用处，最终天生的数据首要用于模子的猜测，而不是实习。

在离线的处理赏罚部门，可以举办较多的尝试和迭代，实行差异的样本采样、样本权重、特性处理赏罚要领、特性组合要领等，最终获得一个最优的要领，在离线评估获得好的功效后，最终将确定的方案在线上行使。

其它，因为在线和离线情形差异，存储数据、获取数据的要领存在较大的差别。譬喻离线数据获取可以将数据存储在Hadoop，批量地举办说明处理赏罚等操 作，而且容忍必然的失败。而在线处事获取数据必要不变、延时小等，可以将数据建入索引、存入KV存储体系等。后头在响应的部门会具体地先容。

本文以点击下单率猜测为例，团结实例来先容怎样举办数据洗濯和特性处理赏罚。起首先容下点击下单率猜测使命，其营业方针是进步团购用户的用户体验，辅佐 用户更快更好地找到本身想买的票据。这个观念可能说方针看起来较量虚，我们必要将其转换成一个技能方针，便于怀抱和实现。最终确定的技能方针是点击下单率 预估，去猜测用户点击可能购置团购单的概率。我们将猜测出来点击可能下单率高的票据排在前面，猜测的越精确，用户在排序靠前的票据点击、下单的就越多，省 去了用户重复翻页的开销，很快就能找到本身想要的票据。离线我们用常用的权衡排序功效的AUC指标，在线的我们通过ABTest来测试算法对下单率、用户 转化率等指标的影响。

特性行使方案

在确定了方针之后，下一步，我们必要确定行使哪些数据来到达方针。必要事先梳理哪些特性数据也许与用户是否点击下单相干。我们可以小心一些营业经 验，其它可以回收一些特性选择、特性说明等要领来帮助我们选择。详细的特性选择，特性说明等要领我们后头会具体先容。从营业履素来判定，也许影响用户是否 点击下单的身分有：

• 间隔，很显然这是一个很重要的特性。假如购置一个离用户间隔较远的票据，用户去斲丧这个票据必要支付许多的价钱。 虽然，也并不是没有买很远票据的用户，可是这个比例会较量小。
• 用户汗青举动，对付老用户，之前也许在美团有过购置、点击等举动。
• 用户及时乐趣。
• 票据质量，上面的特性都是较量好权衡的，票据质量也许是更伟大的一个特性。
• 是否热点，用户评价人数，购置数等等。

在确定好要行使哪些数据之后，我们必要对行使数据的可用性举办评估，包罗数据的获取难度，数据的局限，数据的精确率，数据的包围率等，

• 数据获取难度

譬喻获取用户id不难，可是获取用户年数和性别较坚苦，由于用户注册可能购置时，这些并不是必填项。纵然填了也不完全精确。这些特性也许是通过特另外猜测模子猜测的，那就存在着模子精度的题目。

• 数据包围率

数据包围率也是一个重要的考量身分，譬喻间隔特性，并不是全部用户的间隔我们都能获取到。PC端的就没有间隔，尚有许多用户榨取行使它们的地理位置信息等。

用户汗青举动，只有老用户才会有举动。

用户及时举动，假如用户刚打开app，还没有任何举动，同样面对着一个冷启动的题目。

• 数据的精确率

票据质量，用户性别等，城市有精确率的题目。

特性获取方案

Ok，在选定好要用的特性之后，我们必要思量一个题目。就是这些数据从哪可以获取?只有获取了这些数据我们才气用上。不然，提一个不行能获取到的特性，获取不到，提了也是白提。下面就先容下特性获取方案。

离线特性获取方案离线可以行使海量的数据，借助于漫衍式文件存储平台，譬喻HDFS等，行使譬喻MapReduce，Spark等处理赏罚器材来处理赏罚海量的数据等。

在线特性获取方案

在线特性较量注重获取数据的延时，因为是在线处事，必要在很是短的时刻内获取到响应的数据，对查找机能要求很是高，可以将数据存储在索引、kv存储等。而查找机能与数据的数据量会有抵牾，必要折衷处理赏罚，我们行使了 特性分层获取方案 ，如下图所示。

出于机能思量。在粗排阶段，行使更基本的特性，数据直接建入索引。精排阶段，再行使一些本性化特性等。

特性与标注数据洗濯

在相识特性数据放在哪儿、奈何获取之后。下一步就是思量如那里理赏罚特性和标注数据了。下面3节都是首要讲的特性和标注处理赏罚要领

标注数据洗濯

起首先容下怎样洗濯特性数据，洗濯特性数据要领可以分为离线洗濯和在线洗濯两种要领。

• 离线洗濯数据

离线洗濯利益是利便评估新特性结果，弱点是及时性差，与线上及时情形有必然偏差。对付及时特性难以实习获得适当的权重。

• 在线洗濯数据

在线洗濯利益是及时性强，完全记录的线上现实数据，弱点是新特性插手必要一段时刻做数据蕴蓄。

样本采样与样本过滤

特性数据只有在和标注数据归并之后，才气用来做为模子的实习。下面先容下怎样洗濯标注数据。首要是数据采样和样本过滤。

数据采样，譬喻对付分类题目：选取正例，负例。对付回归题目，必要收罗数据。对付采样获得的样本，按照必要，必要设定样本权重。当模子不能行使所有的数据来实习时，必要对数据举办采样，设定必然的采样率。采样的要领包罗随机采样，牢靠比例采样等要领。

除了采样外，常常对样本还必要举办过滤，包罗

1.团结营业环境举办数据的过滤，譬喻去除crawler抓取，spam，作弊等数据。

2.非常点检测，回收非常点检测算法对样本举办说明，常用的非常点检测算法包罗

• 毛病检测，譬喻聚类，最近邻等。

• 基于统计的非常点检测算法

譬喻极差，四分位数间距，均差，尺度差等，这种要领得当于发掘单变量的数值型数据。全距(Range)，又称极差，是用来暗示统计资料中的变异量数 (measures of variation) ，其最大值与最小值之间的差距;四分位距凡是是用来构建箱形图，以及对概率漫衍的扼要图表概述。

• 基于间隔的非常点检测算法，首要通过间隔要领来检测非常点，将数据齐集与大大都点之间间隔大于某个阈值的点视为非常点，首要行使的间隔怀抱要领有绝对间隔 ( 曼哈顿间隔 ) 、欧氏间隔和马氏间隔等要领。
• 基于密度的非常点检测算法，考查当前点周围密度，可以发明局部非常点，譬喻LOF算法

特性分类

在说明完特性和标注的洗濯要领之后，下面来详细先容下特性的处理赏罚要领，先对特性举办分类，对付差异的特性应该有差异的处理赏罚要领。

按照差异的分类要领，可以将特性分为(1)Low level特性和High level特性。(2)不变特性与动态特性。(3)二值特性、持续特性、列举特性。

Low level特性是较初级此外特性，首要是原始特性，不必要可能必要很是少的人工处理赏罚和过问，譬喻文本特性中的词向量特性，图像特性中的像素点，用户id，商品id等。Low level特性一样平常维度较量高，不能用过于伟大的模子。High level特性是颠末较伟大的处理赏罚，团结部门营业逻辑可能法则、模子获得的特性，譬喻人工打分，模子打分等特性，可以用于较伟大的非线性模子。Low level 较量针对性，包围面小。长尾样本的猜测值首要受high level特性影响。 高频样本的猜测值首要受low level特性影响。

不变特性是变革频率(更新频率)较少的特性，譬喻评价均匀分，团购单价值等，在较长的时刻段内都不会产生变革。动态特性是更新变革较量频仍的特性， 有些乃至是及时计较获得的特性，譬喻间隔特性，2小时销量等特性。可能叫做及时特性和非及时特性。针对两类特性的差异可以针对性地计划特性存储和更新方 式，譬喻对付不变特性，可以建入索引，较长时刻更新一次，假如做缓存的话，缓存的时刻可以较长。对付动态特性，必要及时计较可能准及时地更新数据，假如做 缓存的话，缓存逾期时刻必要配置的较短。

二值特性首要是0/1特性，即特性只取两种值：0可能1，譬喻用户id特性：今朝的id是否是某个特定的id，词向量特性：某个特定的词是否在文章 中呈现等等。持续值特性是取值为有理数的特性，特性取值个数不定，譬喻间隔特性，特性取值为是0~正无限。列举值特性首要是特性有牢靠个数个也许值，譬喻 本日周几，只有7个也许值：周1，周2，...，周日。在现实的行使中，我们也许对差异范例的特性举办转换，譬喻将列举特性可能持续特性处理赏罚为二值特性。 列举特性处理赏罚为二值特性能力：将列举特性映射为多个特性，每个特性对应一个特定列举值，譬喻本日周几，可以把它转换成7个二元特性：本日是否是周一，本日 是否是周二，...，本日是否是周日。持续值处理赏罚为二值特性要领：先将持续值离散化(后头会先容怎样离散化)，再将离散化后的特性切分为N个二元特性，每 个特性代表是否在这个区间内。

特性处理赏罚与说明

在对特性举办分类后，下面先容下对特性常用的处理赏罚要领。包罗1.特性归一化，离散化，缺省值处理赏罚。2.特性降维要领。3.特性选摘要领等。

特性归一化，离散化，缺省值处理赏罚

首要用于单个特性的处理赏罚。

• 归一化差异的特性有差异的取值范畴，在有些算法中，譬喻线性模子可能间隔相干的模子像聚类模子、knn模子等，特性的取值范畴会对最终的 功效发生较大影响，譬喻二元特性的取值范畴为[0，1]，而间隔特性取值也许是[0，正无限)，在现实行使中会对间隔举办截断，譬喻 [0，3000000]，可是这两个特性因为取值范畴纷歧致导致了模子也许会更方向于取值范畴较大的特性，为了均衡取值范畴纷歧致的特性，必要对特性举办 归一化处理赏罚，将特性取值归一化到[0，1]区间。常用的归一化要领包罗1.函数归一化，通过映射函数将特性取值映射到[0，1]区间，譬喻最大最小值归一 化要领，是一种线性的映射。尚有通过非线性函数的映射，譬喻log函数等。2.分维度归一化，可以行使最大最小归一化要领，可是最大最小值选取的是所属类 此外最大最小值，纵然用的是局部最大最小值，不是全局的最大最小值。3.排序归一化，不管原本的特性取值是什么样的，将特性按巨细排序，按照特性所对应的 序给以一个新的值。
• 离散化在上面先容过持续值的取值空间也许是无限的，为了便于暗示和在模子中处理赏罚，必要对持续值特性举办离散化处理赏罚。 常用的离散化要领包罗等值分别和等量分别。等值分别是将特性凭证值域举办均分，每一段内的取值等同处理赏罚。譬喻某个特性的取值范畴为[0，10]，我们可以 将其分别为10段，[0，1)，[1，2)，...，[9，10)。等量分别是按照样本总数举办均分，每段等量个样本分别为1段。譬喻间隔特性，取值范畴 [0，3000000]，此刻必要切分成10段，假如凭证等比例分另外话，会发明绝大部门样本都在第1段中。行使等量分别就会停止这种题目，最终也许的切 分是[0，100)，[100，300)，[300，500)，..，[10000，3000000]，前面的区间分别较量密，后头的较量稀少。
• 缺省值处理赏罚有些特性也许由于无法采样可能没有视察值而缺失，譬喻间隔特性，用户也许榨取获取地理位置可能获取地理位置失败，此时必要对这些特性做非凡的处理赏罚，赋予一个缺省值。缺省值怎样赋予，也有许多种要领。譬喻单独暗示，众数，均匀值等。

特性降维

在先容特性降维之前，先先容下特性升维。在呆板进修中，有一个VC维理论。按照VC维理论，VC维越高，打散手段越强，可允许的模子伟大度越高。在 低维不行分的数据，映射到高维是可分。可以想想，给你一堆物品，人脑是怎样对这些物品举办分类，依然是找出这些物品的一些特性，譬喻：颜色，外形，巨细， 触感等等，然后按照这些特性对物品做以归类，这着实就是一个先升维，后分另外进程。好比我们人脑辨认香蕉。也许起首我们发明香蕉是黄色的。这是在颜色这个 维度的一个切分。可是许多对象都是黄色的啊，譬喻哈密瓜。那么怎么区分香蕉和哈密瓜呢?我们发明香蕉外形是弯曲的。而哈密瓜是圆形的，那么我们就可以用形 状来把香蕉和哈密瓜分别隔了，即引入一个新维度：外形，来区分。这就是一个从“颜色”一维特性升维到二维特性的例子。

那题目来了，既然升维后模子手段能变强，那么是不是特性维度越高越好呢?为什么要举办特性降维&特性选择?首要是出于如下思量：1. 特性维数越高，模子越轻易过拟合，此时更伟大的模子就欠好用。2. 彼此独立的特性维数越高，在模子稳固的环境下，在测试集上到达沟通的结果示意所必要的实习样本的数量就越大。 3. 特性数目增进带来的实习、测试以及存储的开销城市增大。4.在某些模子中，譬喻基于间隔计较的模子KMeans，KNN等模子，在举办间隔计较时，维渡过 高会影响精度和机能。5.可视化说明的必要。在低维的环境下，譬喻二维，三维，我们可以把数据绘制出来，可视化地看到数据。当维度增高时，就难以绘制出来 了。在呆板进修中，有一个很是经典的维度劫难的观念。用来描写当空间维度增进时，说明和组织高维空间，因体积指数增进而碰着各类题目场景。譬喻，100个 均匀漫衍的点能把一个单元区间以每个点间隔不高出0.01采样;而当维度增进到10后，假如以相邻点间隔不高出0.01小方格采样单元超一单元超正方体， 则必要10^20 个采样点。

正是因为高维特性有如上描写的各类百般的题目，以是我们必要举办特性降维和特性选择等事变。特性降维常用的算法有PCA，LDA等。特性降维的方针是将高维空间中的数据集映射到低维空间数据，同时尽也许少地丢失约息，可能降维后的数据点尽也许地轻易被区分

• PCA算法通过协方差矩阵的特性值解析可以或许获得数据的主因素，以二维特性为例，两个特性之间也许存在线性相关(譬喻行为的时速和秒速率)，这样就造成了第二维信息是冗余的。PCA的方针是发明这种特性之间的线性相关，并去除。
• LDA算法思量label，降维后的数据点尽也许地轻易被区分

特性选择

特性选择的方针是探求最优特性质集。特性选择能剔除不相干(irrelevant)或冗余(redundant )的特性，从而到达镌汰特性个数，进步模子准确度，镌汰运行时刻的目标。另一方面，选取出真正相干的特性简化模子，帮忙领略数据发生的进程。

特性选择的一样平常进程如下图所示：

首要分为发生进程，评估进程，遏制前提和验证进程。

特性选择-发生进程和天生特性质集要领

• 完全搜刮(Complete)
  • 广度优先搜刮( Breadth First Search )：广度优先遍历特性质空间。列举全部组合，穷举搜刮，适用性不高。
  • 分支限界搜刮( Branch and Bound )：穷举基本上插手分支限界。譬喻：剪掉某些不行能搜刮出比当前最优解更优的分支。
  • 其他，如定向搜刮 (Beam Search )，最优优先搜刮 ( Best First Search )等
• 开导式搜刮(Heuristic)
  • 序列前向选择( SFS ， Sequential Forward Selection )：从空集开始，每次插手一个选最优。
  • 序列后向选择( SBS ， Sequential Backward Selection )：从全集开始，每次镌汰一个选最优。
  • 增L去R选择算法 ( LRS ， Plus-L Minus-R Selection )：从空集开始，每次插手L个，减去R个，选最优(L>R)可能从全集开始，每次减去R个，增进L个，选最优(L<R）
  • 其他如双向搜刮( BDS ， Bidirectional Search )，序列浮动选择( Sequential Floating Selection )等
• 随机搜刮(Random)
  • 随机发生序列选择算法(RGSS， Random Generation plus Sequential Selection)：随机发生一个特性质集，然后在该子集上执行SFS与SBS算法。
  • 模仿退火算法( SA， Simulated Annealing )：以必然的概率来接管一个比当前解要差的解，并且这个概率跟着时刻推移逐渐低落
  • 遗传算法( GA， Genetic Algorithms )：通过交错、突变等操纵繁殖出下一代特性质集，而且评分越高的特性质集被选中介入繁殖的概率越高。

随机算法配合弱点:依靠随机身分，有尝试功效难重现。

特性选择-有用性说明

对特性的有用性举办说明，获得各个特性的特性权重，按照是否与模子有关可以分为1.与模子相干特性权重，行使全部的特性数据实习出来模子，看在模子 中各个特性的权重，因为必要实习出模子，模子相干的权重与此次进修所用的模子较量相干。差异的模子有差异的模子权重权衡要领。譬喻线性模子中，特性的权重 系数等。2.与模子无关特性权重。首要说明特性与label的相干性，这样的说明是与这次进修所行使的模子无关的。与模子无关特性权重说明要领包罗 (1)交错熵，(2)Information Gain，(3)Odds ratio，(4)互信息，(5)KL散度等

特性监控

在呆板进修使命中，特性很是重要。

小我私人履历，80%的结果由特性带来。下图是跟着特性数的增进，最终模子猜测值与现实值的相相关数变革。

对付重要的特性举办监控与有用性说明，相识模子所用的特性是否存在题目，当某个出格重要的特性出题目时，必要做好存案，防备劫难性功效。必要成立特性有用性的长效监控机制

我们对要害特性举办了监控，下面特性监控界面的一个截图。通过监控我们发明有一个特性的包围率天天都在降落，与特性数据提供方接洽之后，发明特性数据提供方的数据源存在着题目，在修复题目之后，该特性规复正常而且包围率有了较大晋升。

在发明特性呈现非常时，我们会实时采纳法子，对处事举办降级处理赏罚，并接洽特性数据的提供方尽快修复。对付特性数据天生进程中缺乏监控的环境也会督促做好监控，在源头办理题目。

呆板进修InAction系列讲座先容：团结美团在呆板进修上的实践，我们举办一个拭魅战(InAction)系列的先容(带“呆板进修 InAction系列”标签的5篇文章)，先容呆板进修在办理题目的拭魅战中所需的根基技能、履历和能力。本文首要先容了数据洗濯与特性处理赏罚，其他四篇文章首要先容了呆板进修办理题目流程和模子实习、模子优化等事变。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!