15分钟,教你用Python爬网站数据,并用BI可视化分析!
将CSV文件数据导入FineBI中(新建数据链接,成立一个说明营业包,然后导入这张excel表)。由于薪水是以xxK-xxk(尚有一些相同校招/薪资面议的数据)的情势举办存储的,我这边行使FineBI新增公式列(相同excel函数)将这些字符举办支解: 薪水下限(数值):left( indexofarray ( split (salary,"-") ,1),find( "K",INDEXOFARRAY( split(salary,"-") ,1))-1) 薪水上限(含K字符):right ( indexofarray( split(salary,"-") ,2),len(salary)- find("K",indexofarray(split(salary,"-"),2 ) ) ) 薪水上限(数值):left( 薪水上限(文本),find("K",薪水上限(文本))-1 ) 这样就获得每个岗亭的数值名目标薪水区间了: ![]() 2.脏数据洗濯: 赏识了一下数据,没有大题目,可是发明内里有一些相同BIM工程师的岗亭信息,这些应该都是土木行业的工程师,这边我直接过滤掉即可(不包括“BIM”且不包括“bim”)。 ![]() 3.岗亭均匀数据计较 再新增列,均匀薪水=(薪水下限+薪水上限)/2,即可获得每个岗亭的均匀薪水。 ![]() 4.真实都市截取 因为都市字段存储有的数据为“都市-地区”名目,譬喻“上海-徐汇区”,为了利便说明每个都市的数据,最后新增列“都市”,截取“-”前面的真实都市数据。 都市:if(find("-",city)>0 , left(city, find("-",city)-1 ),city) ![]() 至此,18000多条数据差不多洗濯完毕,食材已经所有筹备好,下面可以正式开始数据可视化的美食下锅烹调。 三、数据可视化数据可视化可以说是很简朴了,拖拽要说明的数据字段即可。 可是这里用finebi说明要领略一个思绪。通例我们用excel做说明可能说做图表,是先选用钻则图表然后设定系列、数值。这里没有系列和数值的观念,只有横轴和竖轴。拖入什么字段,该字段就以该轴举办扩展,至于图表嘛,finebi会自动鉴别保举。 我这边以各都市均匀薪水/岗亭数目说明为例给各人简朴展示FineBI的可视化泛起进程。 1、横轴以“都市”字段扩展,揭示两类数据。先是薪水值,拖拽到纵轴,默认对数值类的字段是汇总求和的。点击字段可直接对改字段修改计较、过滤等操纵。 此图来自官网,图中数据不是本次说明的数据,仅供参考 2、然后说明每个都市BI岗亭的环境。将数据记录数这个指标拖入到纵轴展示。同样的方法,可以修改字段名。这里为了区分两者,将其修改为折线图,而且倒叙展示。 ![]() 同理,其他图表也是这样的操纵,想清晰揭示什么样的数据,奈何揭示,数据要作那里理赏罚。就驾轻就熟了。其他图表就纷歧一赘述了。 最后,或许花了15分钟,一份完备的智联雇用网站-BI工程师岗亭数据说明的可视化陈诉就建造完成啦~ ![]() 审美有限,只能做成这样,其拭魅这个FineBI还能做出这样的结果。 ![]() ![]() 四、说明功效1.今朝BI工程师岗亭在智联雇用网站的均匀薪资为13.46K(痛哭。。。拉低均匀薪水的存在),首要薪水区间或许在12-15K(占比27.07%),相干事变需求总数为634个(仅仅为某一天的雇用需求数据)。 2.从都市岗亭需求数目漫衍来看,BI工程师需求首要齐集在北京、上海、深圳、广州地区;各都市BI工程师均匀薪水方面,去除岗亭需求量较少的都市来看,海内排在前面的别离为深圳(14.72K)、上海(14.59K)、北京(14.51)、杭州(12.07K)、成都(11.13K)、广州(10.94K)。 3.从事变年限的均匀薪水和岗亭需求数目来看,事变5-10年的资深BI工程师的均匀薪水可以到达20K以上(朝资深BI工程师偏向格斗!!!1年以下年限的计较出来的均匀薪水固然为19K,可是因为样本量只有3个,以是参考意义不大),个中大部门的事变需求年限为3-5年,均匀薪水为14.24K。 4.从学历方面来看,最低学历需求首要以本科/大专为主,本科和大专学历要求的均匀薪资别离为12.68K和11.97K(感受差距并不大,过硬的技能气力也许才是企业最为垂青的吧),博士和硕士学历需求很少。 5.看了一些高薪的雇用企业,最高的可以给到30K~40K的薪酬程度,个中首要是互联网、IT类公司为主。 醍醐灌顶,即刻有了格斗的动力~常识就是财产,继承好勤进修去吧,少年!!! (编辑:湖南网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |