怎样办理呆板进修树集成模子的表明性题目

01 呆板进修模子不行表明的缘故起因

前些天在偕行交换群里，有个话题一向在群里热烈地接头，那就是 怎样表明呆板进修模子 ，由于在风控规模，一个模子假如不能获得很好的表明一样平常都不会被通过的，在银行里会出格的常见，以是大大都偕行都是会用 LR 来建模。可是，呆板进修的模子算法这么多，不消岂不是很挥霍？并且有些算法还异常好用的，至少在结果上，如XGBoost、GBDT、Adaboost。

那么，有同窗就会问了，为什么这些算法会没有表明性呢？着实是这样子的，方才所说的那些模子都是一些集成模子，都是由伟大的树布局去构成的模子，对付人类来说我们很难直观地去表明为什么这个客户就是烂，到底是什么特性导致他烂？

02 特性重要度要领盘货

着实像XGBoost之类的模子还算是有表明性的了，我们经常城市看到有人用信息增益、节点破碎数来权衡特性的重要度，可是这真的是公道的吗？

在表明是否公道前，有2个观念必要先给各人遍及一下：

1）同等性

指的是一个模子的特性重要度，不会由于我们变动了某个特性，而改变其重要度。好比A模子的特性X1的重要度是10，那么假如我们在模子里给特性X2加些权重以增大其重要度，从头计较重要度后，特性X1的重要度还是10。纷歧致性也许会导致具有重要度较大的特性比具有重要度较小的特性更不重要。

2）个别化

指的是重要度的计较是可以针对个别，而不必要整个数据集一路计较。

好了，有了上面的熟悉，下面就来盘货一下今朝常见的特性重要度计较的要领：

1）Tree SHAP：即 shapley加法表明，基于博弈论和局部表明的同一头脑，通过树集成和加法要领激活shap值用于特性归因。

2）Saabas：一种本性化开导式特性归因要领。

3）mean(| Tree SHAP |)：基于本性化的开导式SHAP均匀的全局属性要领。

4）Gain：即增益，由Breiman等人提出的一种全局的特性重要度计较要领，在XGBoost、scikit learn等包中都可以挪用，它是给定特性在破碎中所带来的不纯度的镌汰值，常常会被用来做特性选择。

5）Split Count：即破碎次数统计，指的是给定特性被用于破碎的次数（由于越重要的越轻易被引用，和论文引用差不多一个原理吧）。

6）Permutation：即排序置换，指的是随机分列某个特性，看下模子结果偏差的变革，假如特性重要的话，模子偏差会变革得出格大。

个中，属于个别化的仅有1-2，3-6均属于全局性统计，也就是说必要整个数据集进去计较的。

而对付同等性环境，我们有一个例子来证明：

有2个模子，Model A 和 Model B，个中A和B完全同等，可是我们在计较猜测值的时辰，强行给 Model B 的 特性 Cough 加上 10分。如下图所示（点击看大图）：

从尝试功效可以看出以上6种要领的不同：

1）Saabas、Gain、Split Count均不满意 同等性 的要求，在改变了某个特性的权重之后，原先的特性重要度产生了改变，也直接导致重要度排序的改变。

2）而满意同等性要求的要领只有 Tree SHAP 和 Permutation了，而Permutation又是全局的要领，因此就只剩下了 Tree SHAP了。

03 SHAP也许是出路，SHAP到底是什么

SHAP（Shapley Additive exPlanation）是表明任何呆板进修模子输出的同一要领。SHAP将博弈论与局部表明接洽起来，按照祈望暗示独一也许的同等和局部准确的加性特性归属要领。

以上是官方的界说，乍一看不知所云，也许照旧要团结论文（Consistent Individualized Feature Attribution for Tree Ensembles）来看了。

Definition 2.1. Additive feature attribution methods have an explanation model g that is a linear function of binary variables

M是输入特性的个数， ϕi’ 就是特性的孝顺度。ϕ0 是一个常数（指的是全部样本的猜测均值）。SHAP 值有独一的解，也具有3个特征：Local Accuracy、Missingness、Consistency。

1）Local Accuracy：即局部精确性，暗示每个特性的重要度之和便是整个Function的重要度

2）Missingness：即缺失性，暗示缺失值对付特性的重要度没有孝顺。

3）Consistency：即同等性，暗示改变模子不会对特性的重要度造成改变。

简朴来说，SHAP值也许是独一可以或许满意我们要求的要领，而我们上面讲到的XGBoost、GBDT等都是示范子，以是这里会用到 TREE SHAP。

04 SHAP的案例展示

0401 SHAP的安装

安装照旧蛮简朴的，可以通过终端的pip安装可能conda安装

pip install shap  
or  
conda install -c conda-forge shap 

0402 对树集成模子举办表明性展示

今朝TREE SHAP可以支持的树集成模子有XGBoost, LightGBM, CatBoost, and scikit-learn tree models，可以看看下面的demo：

import xgboost  
import shap  
# load JS visualization code to notebook  
shap.initjs()  
"""实习 XGBoost 模子，SHAP里提供了相干数据集"""  
X,y = shap.datasets.boston()  
model = xgboost.train({"learning_rate": 0.01}, xgboost.DMatrix(X, label=y), 100)  
"""  
通过SHAP值来表明猜测值  
(同样的要领也合用于 LightGBM, CatBoost, and scikit-learn models)  
"""  
explainer = shap.TreeExplainer(model)  
shap_values = explainer.shap_values(X)  
# 可视化表明性 (use matplotlib=True to avoid Javascript)  
shap.force_plot(explainer.expected_value, shap_values[0,:], X.iloc[0,:]) 

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!