加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 移动互联 > 正文

怎样行使Photon高服从提取网站数据

发布时间:2018-08-18 05:45:26 所属栏目:移动互联 来源:佚名
导读:技能沙龙 | 邀您于8月25日与国美/AWS/转转三位专家配合切磋小措施电商拭魅战 Photon是一种高服从的的收集爬虫,可从方针中提取URL,文件以及种种谍报。其通过多线程大大加速数据提取历程。 项目地点: https://github.com/s0md3v/Photon 首要特点 Photon提供

选项 –exclude,行使示例:

  1. python photon.py -u "http://example.com" --exclude="/blog/20[17|18]" 

匹配指定正则表达式的网址将不会被抓取及表现在功效中。

指定子url

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读