用Python爬取金融市场数据

一、写在前面

因为在平常的事变中，必要对某信任网的信任在售和资管在售数据举办统计说明，可是一条一条的输入，显然过分耗时耗力，于是萌生了写个爬虫的设法。

一门计较机说话，可以当做是在仿照人的目标或意图来举办一系列举动或举措，以是在写代码之前，起主要弄清晰你要干什么，假如是你，你每一步的举措是什么，然后将这一步步的举措通过代码转达给计较机，让计较机高效的帮你完成即可。

本文团结正则表达式和较量风行的beautifulsoup(bs4)，对网页举办理会并提取数据，因此在正式举办之前，有须要简朴先容下正则表达式和bs4.

二、基本常识

1、正则表达式

详细的具体先容可自行去网上补常识，这里只先容一些法则和常用的用法。

# 正则表达式 
法则： 
    单字符： 
            .  ： 除换行以外全部字符 
            [] ： 匹配荟萃中恣意一个字符 
            d ： 数字 
            D ： 非数字 
            w ： 数字、字母、下划线、中文 
            W ： 非数字、字母、下划线、中文 
            s ： 空格 
            S ： 非空格 
    数目修饰： 
             * ： 恣意多次 
             + ： 至少1次 
             ？： 非贪心方法，无关紧要 
           {m} ： 牢靠m次 
          {m+} ： 至少m次 
         {m,n} ： m到n次 
    起始： 
             ^ : 以啥啥开头 
             $ : 以啥啥末了 
    常用组合和函数： 
            .* : 贪心方法恣意字符恣意次数 
           .*? : 非贪心方法恣意字符恣意次数 
           r = re.compile(r'正则表达式',re.S) :  
                              最常用：将法则转达给某个参数以便重复行使 
           re.matchre.search（字符串） 
           re.findall（字符串） 
           re.sub(正则表达式，替代内容，字符串) 

2、bs4

同样，具体常识自行补，这里只先容常用的用法：select团结选择器的用法。

# bs4用法 
起首加载内里的BeautifulSoup： 
from bs4 import BeautifulSoup 
soup = BeautifulSoup('网页相应返来的对象') 

首要有以下几种提取法则：

1、获取标签 
    soup.a   获取a标签（第一个） 
2、获取属性 
    soup.a.attrs   获取a标签下全部的属性和值，返回的是字典 
    soup.a['name'] 获取a标签下的name属性 
3、获取内容 
    soup.a.string() 
    soup.a.text()   提议行使这个 
4、find用法 
    soup.find('a')  找到第一个a 
    soup.find('a',title='')  附加前提的查找 
5、find_all用法 
    soup.find_all('a')  找到全部a 
    soup.find_all(['a','b']) 找到全部a和b 
    soup.find_all('a',limit=5) 找到前5个a 
6、select用法——重点 
    团结选择器行使，常用的选择器如下： 
    标签选择器：如div暗示为div 
    类选择器：.暗示，如class = 'you'暗示为.you 
    id选择器：#暗示，如id = 'me'暗示为#me  
   组合选择器：如div,.you,#me    
   层级选择器：如div .you #me暗示选取div标签下的you类下的id为me的内容 
              再如div > .you > #me，> 则暗示只能是下面一级 

三、开始拭魅战——爬取某信任网的信任在售数据

1、爬取前的筹备事变——梳理好代码的逻辑

正如前面所说，写代码之前，起主要清晰你想要干什么，假如是你，你是什么样的举措来到达你的这个目标或意图。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!