加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 移动互联 > 正文

15分钟,教你用Python爬网站数据,并用BI可视化分析!

发布时间:2019-01-20 07:13:54 所属栏目:移动互联 来源:数据分析不是个事儿
导读:作为一名在数据行业打拼了两年多的数据说明师,固然今朝收入还算ok,但平日想起房价,男儿三十还未立,心田就难免倘佯不已~ 两年时刻里曾经换过一份事变,一向都是从事大数据相干的行业。今朝是一家企业的BI工程师,首要事变就是给营业部分出报表和营业分

将CSV文件数据导入FineBI中(新建数据链接,成立一个说明营业包,然后导入这张excel表)。由于薪水是以xxK-xxk(尚有一些相同校招/薪资面议的数据)的情势举办存储的,我这边行使FineBI新增公式列(相同excel函数)将这些字符举办支解:

薪水下限(数值):left( indexofarray ( split (salary,"-") ,1),find( "K",INDEXOFARRAY( split(salary,"-") ,1))-1)

薪水上限(含K字符):right ( indexofarray( split(salary,"-") ,2),len(salary)- find("K",indexofarray(split(salary,"-"),2 ) ) )

薪水上限(数值):left( 薪水上限(文本),find("K",薪水上限(文本))-1 )

这样就获得每个岗亭的数值名目标薪水区间了:

15分钟,教你用Python爬网站数据,并用BI可视化说明!

2.脏数据洗濯:

赏识了一下数据,没有大题目,可是发明内里有一些相同BIM工程师的岗亭信息,这些应该都是土木行业的工程师,这边我直接过滤掉即可(不包括“BIM”且不包括“bim”)。

15分钟,教你用Python爬网站数据,并用BI可视化说明!

3.岗亭均匀数据计较

再新增列,均匀薪水=(薪水下限+薪水上限)/2,即可获得每个岗亭的均匀薪水。

15分钟,教你用Python爬网站数据,并用BI可视化说明!

4.真实都市截取

因为都市字段存储有的数据为“都市-地区”名目,譬喻“上海-徐汇区”,为了利便说明每个都市的数据,最后新增列“都市”,截取“-”前面的真实都市数据。

都市:if(find("-",city)>0 , left(city, find("-",city)-1 ),city)

15分钟,教你用Python爬网站数据,并用BI可视化说明!

至此,18000多条数据差不多洗濯完毕,食材已经所有筹备好,下面可以正式开始数据可视化的美食下锅烹调。

三、数据可视化

数据可视化可以说是很简朴了,拖拽要说明的数据字段即可。

可是这里用finebi说明要领略一个思绪。通例我们用excel做说明可能说做图表,是先选用钻则图表然后设定系列、数值。这里没有系列和数值的观念,只有横轴和竖轴。拖入什么字段,该字段就以该轴举办扩展,至于图表嘛,finebi会自动鉴别保举。

我这边以各都市均匀薪水/岗亭数目说明为例给各人简朴展示FineBI的可视化泛起进程。

1、横轴以“都市”字段扩展,揭示两类数据。先是薪水值,拖拽到纵轴,默认对数值类的字段是汇总求和的。点击字段可直接对改字段修改计较、过滤等操纵。

15分钟,教你用Python爬网站数据,并用BI可视化说明!

此图来自官网,图中数据不是本次说明的数据,仅供参考

2、然后说明每个都市BI岗亭的环境。将数据记录数这个指标拖入到纵轴展示。同样的方法,可以修改字段名。这里为了区分两者,将其修改为折线图,而且倒叙展示。

15分钟,教你用Python爬网站数据,并用BI可视化说明!

同理,其他图表也是这样的操纵,想清晰揭示什么样的数据,奈何揭示,数据要作那里理赏罚。就驾轻就熟了。其他图表就纷歧一赘述了。

最后,或许花了15分钟,一份完备的智联雇用网站-BI工程师岗亭数据说明的可视化陈诉就建造完成啦~

15分钟,教你用Python爬网站数据,并用BI可视化说明!

审美有限,只能做成这样,其拭魅这个FineBI还能做出这样的结果。

15分钟,教你用Python爬网站数据,并用BI可视化说明! 15分钟,教你用Python爬网站数据,并用BI可视化说明!

四、说明功效

1.今朝BI工程师岗亭在智联雇用网站的均匀薪资为13.46K(痛哭。。。拉低均匀薪水的存在),首要薪水区间或许在12-15K(占比27.07%),相干事变需求总数为634个(仅仅为某一天的雇用需求数据)。

2.从都市岗亭需求数目漫衍来看,BI工程师需求首要齐集在北京、上海、深圳、广州地区;各都市BI工程师均匀薪水方面,去除岗亭需求量较少的都市来看,海内排在前面的别离为深圳(14.72K)、上海(14.59K)、北京(14.51)、杭州(12.07K)、成都(11.13K)、广州(10.94K)。

3.从事变年限的均匀薪水和岗亭需求数目来看,事变5-10年的资深BI工程师的均匀薪水可以到达20K以上(朝资深BI工程师偏向格斗!!!1年以下年限的计较出来的均匀薪水固然为19K,可是因为样本量只有3个,以是参考意义不大),个中大部门的事变需求年限为3-5年,均匀薪水为14.24K。

4.从学历方面来看,最低学历需求首要以本科/大专为主,本科和大专学历要求的均匀薪资别离为12.68K和11.97K(感受差距并不大,过硬的技能气力也许才是企业最为垂青的吧),博士和硕士学历需求很少。

5.看了一些高薪的雇用企业,最高的可以给到30K~40K的薪酬程度,个中首要是互联网、IT类公司为主。

醍醐灌顶,即刻有了格斗的动力~常识就是财产,继承好勤进修去吧,少年!!!

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读