数据科学家必要相识的5种采样要领

我们此刻可以行使以下要领举办随机过采样和欠采样：

num_0 = len(X[X['target']==0])  
num_1 = len(X[X['target']==1])  
print(num_0,num_1)# random undersampleundersampled_data = pd.concat([ X[X['target']==0].sample(num_1) , X[X['target']==1] ])  
print(len(undersampled_data))# random oversampleoversampled_data = pd.concat([ X[X['target']==0] , X[X['target']==1].sample(num_0, replace=True) ])  
print(len(oversampled_data))------------------------------------------------------------  
OUTPUT:  
90 10  
20  
180 

行使 imbalanced-learn 举办欠采样和过采样

imbalanced-learn(imblearn)是一个用于办理不服衡数据集题目的 python 包，它提供了多种要领来举办欠采样和过采样。

a. 行使 Tomek Links 举办欠采样：

imbalanced-learn 提供的一种要领叫做 Tomek Links。Tomek Links 是相近的两个相反类的例子。

在这个算法中，我们最终从 Tomek Links 中删除了大大都元素，这为分类器提供了一个更好的决定界线。

from imblearn.under_sampling import TomekLinks  
tl = TomekLinks(return_indices=True, ratio='majority')  
X_tl, y_tl, id_tl = tl.fit_sample(X, y) 

b. 行使 SMOTE 举办过采样：

在 SMOE(Synthetic Minority Oversampling Technique)中，我们在现有元撕?周归并少数类的元素。

from imblearn.over_sampling import SMOTE  
smote = SMOTE(ratio='minority')  
X_sm, y_sm = smote.fit_sample(X, y) 

imbLearn 包中尚有很多其他要领，可以用于欠采样(Cluster Centroids, NearMiss 等)和过采样(ADASYN 和 bSMOTE)。

结论

算法是数据科学的生命线。

抽样是数据科学中的一个重要课题，但我们现实上并没有接头得足够多。

偶然，一个好的抽样计策会大大推进项目标盼望。错误的抽样计策也许会给我们带来错误的功效。因此，在选择抽样计策时应该警惕。

假如你想相识更多有关数据科学的常识，我想把 Andrew Ng 的这门优越课程保举给你，这个课程是我入门数据科学的瑰宝，你必然要去看看。

本文转自雷锋网，如需转载请至雷锋网官网申请授权。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!