加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

数据量太大?用Python处理数据密度过大障碍

发布时间:2021-05-28 02:15:53 所属栏目:大数据 来源:互联网
导读:当我们必要调查较量2个变量间的相关时,散点图是我们首选图表。 可当数据量很是大,数据点又较量齐集在某个区间中,图表没法看,密密麻麻的怎么看? 怎么办?这时
副问题[/!--empirenews.page--]

当我们必要调查较量2个变量间的相关时,散点图是我们首选图表。

 

可当数据量很是大,数据点又较量齐集在某个区间中,图表没法看,密密麻麻的怎么看?

 

怎么办?这时辰就得看密度图了

 

什么是密度图?

 

所谓的密度图 (Density Plot) 就是数据的漫衍浓密环境,它常用于表现数据在持续时刻段内的漫衍状况。严酷来说,它是由直方图演变而来,相同于把直方图举办了添补。

 

一样平常是行使滑腻曲线来绘制数值程度来调查漫衍,峰值数值位置是该时刻段内最高度齐集的处所。

 

它比直方图合用性更强,不受分组数目(直方图的条形数目不宜过多)的影响,能更好地界定漫衍外形 。

 

本篇文章不评论直方图,之后老海会专门总结关于直方图的行使。

 

什么是2D密度图?

 

说完了密度图和直方图,它们都是一维数据变量。

 

这下我们来看看2D密度图,它表现了数据齐集两个定量变量范畴内值的漫衍,有助于停止在散点图中太过绘制。

 

假如点太多,则2D密度图管帐算2D空间特定地区内的调查次数。

 

该特定地区可所以正方形或六边形(六边形),还可以估算2D内核密度估算值,并用外观暗示它。

 

本篇文章首要描写一下2D密度图的行使。

 

 

2D密度图的根基数据样式

 

2D密度图的行使提议

 

密度图是一种直方图的取代方案,常用来调查持续变量的漫衍环境

2D密度图首要用来办理数据点密渡过大的题目,要留意密度支解是否公道。

当数据范畴都很是齐集,数据间变革不大时,密度图每每很难调查结果。

下面开始详细的操纵案例

 

筹备事变

 

照旧和之前一样,引入须要的器材包

 

## 初始字体配置,配置好可停止许多贫困 

plt.rcParams['font.sans-serif']=['Source Han Sans CN']      # 表现中文不乱码,思源黑体  

plt.rcParams['font.size'] = 22                              # 配置图表全局字体巨细,后期某个元素的字体巨细可以自行调解 

plt.rcParams['axes.unicode_minus'] = False                  # 表现负数不乱码 

## 初始化图表巨细 

plt.rcParams['figure.figsize'] = (20.0, 8.0)                # 配置figure_size尺寸 

## 初始化图表判别率质量 

plt.rcParams['savefig.dpi'] = 300                           # 配置图表生涯时的像素判别率 

plt.rcParams['figure.dpi'] = 300                            # 配置图表绘制时的像素判别率 

 

## 图表的颜色自界说 

colors = ['#dc2624', '#2b4750', '#45a0a2', '#e87a59', 

         '#7dcaa9', '#649E7D', '#dc8018', '#C89F91',  

         '#6c6d6c', '#4f6268', '#c7cccf'] 

plt.rcParams['axes.prop_cycle'] = plt.cycler( color=colors) 

 

path = 'D:系列文章' 

# 自界说文件路径,可以自行设定 

os.chdir(path) 

# 配置为该路径为事变路径,一样平常存放数据源文件 

设定图表样式和文件路径

 

数据量太大?散点图装不下怎么办?用Python办理数据密渡过浩劫题

Financial_data = pd.read_excel('假造演示案例数据.xlsx',sheet_name='二维表') 

Financial_data 

读入数据

 

数据量太大?散点图装不下怎么办?用Python办理数据密渡过浩劫题

Financial_data = pd.read_excel('假造演示案例数据.xlsx',sheet_name='二维表') 

Financial_data 

常见的6种密度图表范例

 

 

from scipy.stats import kde  # 引入核密度计较要领 

 

 

# 为利便演示,建设6个子图的画板 

fig, axes = plt.subplots(3,2, figsize=(20, 20)) 

 

# 第一个子图,我们来画一个根基的散点图 

# 散点图是最经典的调查2个变量相关,但数据量很是大就会出数据点堆叠交织,当值我们无法进一步试探 

axes[0][0].set_title('散点图')                                           # 配置问题 

axes_0 = axes[0][0].plot(Financial_data['原料'], Financial_data['打点'], 'ko')    # 画出散点图 

 

 

 

# 第二个子图,我们画出六边形蜂巢图 

# 当探求2个数值型变量的相关,数据量很大且不但愿数据堆叠在一路,就可以凭证蜂巢外形切割数据点,计较每个六边形里的点数来表达密度 

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读