加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

成都房价此刻几多?和北京差距很大吗?Python爬取了四万套房源!

发布时间:2018-09-21 21:46:04 所属栏目:教程 来源:919b0c54458f
导读:【新品产上线啦】51CTO播客,随时随地,碎片化进修 作为一个技强职员,抉择用技能办理这个疑问。我们用Python爬取了贝壳网上4万多套的成都在售房源,汇报你最真实的成都房价。 爬虫事变道理 在贝壳网上,成都的在售房源凭证地区与地铁线这两个方法做了分别
副问题[/!--empirenews.page--] 【新品产上线啦】51CTO播客,随时随地,碎片化进修

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

作为一个技强职员,抉择用技能办理这个疑问。我们用Python爬取了贝壳网上4万多套的成都在售房源,汇报你最真实的成都房价。

爬虫事变道理

在贝壳网上,成都的在售房源凭证地区与地铁线这两个方法做了分别,为了更好的相识各地区房价,我们选择了抓取各地区板块的数据。然后再爬取了各板块内全部的房源数据,除了价分外,尚有户型、朝向、电梯、楼层等信息。

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

全部信息都以Excel情势导出,再通过说明计较得出了成都的房价程度。

房源数据说明

本次共爬取49328套成都二手房信息,剔除去无效的车位信息后,共计网络了有用信息46980条。

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

值得留意的是,金牛区不只仅是在售二手房最多,生齿老龄化题目也是几大区里较量严峻的。

各地区均匀房价如下图(单元:元/平米) 

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

高新区与天府新区这两大成果区因连年成都的“南拓”政策房价直线上涨,均价纷纷突破1.8万元每平米,险些就要彻底逾越传统的五大主城区了。

成都单价最贵十大豪宅:

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

文末常识点择要:Python——Cookie生涯到当地

要领一:

团结cookielib及urllib2,Python2时期较量常用的要领,年月较量长远了。小我私人认为太贫困,改用requests.

必要留意的是cookielib在python3中已经改成了http.cookiejar

生涯cookie

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

要领二:

行使requests.cookie

读取cookies

在这里我用的是LWPCookieJar生涯在txt文件中,尚有个是MozillaCookieJar,都是由FileCookieJar 派生而来,实现了save()要领,而FileCookieJar 没有实现save()

  • MozillaCookieJar (filename,delayload=None,policy=None):从FileCookieJar派生而来,建设与Mozilla赏识器 cookies.txt兼容的FileCookieJar实例。
  • LWPCookieJar (filename,delayload=None,policy=None):从FileCookieJar派生而来,建设与libwww-perl尺度的 Set-Cookie3 文件名目兼容的FileCookieJar实例。 

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

成都房价此刻几多?和北京差距很大吗?Pytho爬取了四万套房源!

要领三:

将cookie字典弄成字典情势然后pickle可能json写入文件中

存储cookie

  1. import requests,json,pprints = requests.session()s.headers = {...}a = s.get("https://www.baidu.com")cookies = requests.utils.dict_from_cookiejar(s.cookies)with open(".cook.txt", "w") as fp:json.dump(cookies, fp)pprint.pprint(cookies,width=5) 

读取cookie

  1. with open(".cook.txt", "w") as fp:load_cookies=son.load(fp)session.cookie = requests.utils.cookiejar_from_dict(load_cookies) 

要领四:

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读