Python实现数据可视化，看如何监控你的爬虫？

好，开始本日的文章。

本日首要是来说一下怎么可视化来监控你的爬虫的状态。

信托各人在跑爬虫的进程中，也会好奇本身养的爬虫一分钟可以爬几多页面，多大的数据量，虽然查询的方法多种多样。本日我来讲一种可视化的要领。

关于爬虫数据在mongodb里的版本我写了一个可以热更新设置的版本，即添加了新的爬虫设置往后，不消重启措施，即可获取方才添加的爬虫的状态数据。

1.制品图

这个是监控处事器网速的最后成就，表现的是下载与上传的网速，单元为M。爬虫的道理都是一样的，只不外将数据存到InfluxDB的方法纷歧样罢了， 如下图。

可以实现对爬虫数目，增量，巨细，巨细增量的及时监控。

2. 情形

• InfluxDb，是今朝较量风行的时刻序列数据库；
• Grafana，一个可视化面板（Dashboard），有着很是大度的图表和机关展示，成果一切的怀抱仪表盘和图形编辑器，支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源
• Ubuntu
• influxdb（pip install influxdb)
• Python 2.7

3. 道理

获取要展示的数据，包括当前的时刻数据，存到InfluxDb内里，然后再到Grafana内里举办响应的设置即可展示；

4. 安装

4.1 Grafana安装

官方安装指导

安装好往后，打开当地的3000端口，即可进入打点界面，用户名与暗码都是admin。

4.2 InfulxDb安装

这个安装就网上本身找吧，有许多的设置我都没有设置，就不在这里误人后辈了。

5. InfluxDb简朴操纵

遇到了数据库，必定要把增编削查学会了啊， 和sql险些一样，只有一丝丝的区别，详细操纵，各人可以参考官方的文档。

• influx 进入呼吁行
• CREATE DATABASE test 建设数据库
• show databases 查察数据库
• use test 行使数据库
• show series 看表
• select * from table_test 选择数据
• DROP MEASUREMENT table_test 删表

6. 存数据

InfluxDb数据库的数据有必然的名目，由于我都是操作python库举办相干操纵，以是下面将在python中的名目展示一下：

个中:

• measurement, 表名
• time，时刻
• tags，标签
• fields，字段

可以看到，就是个列表内里，嵌套了一个字典。个中，对付时刻字段，有非凡要求，可以参考这里， 下面是python实现要领：

以是，到这里，怎样将爬虫的相干属性存进去呢？以MongoDB为例

那么此刻我们已经往数据里存了数据了，那么接下来要做的就是把存的数据展示出来。

7.展示数据

7.1 设置数据源

以admin登录到Grafana的靠山后，我们起首必要设置一下数据源。点击左边栏的最下面的按钮，然后点击DATA SOURCES，这样就可以进入下面的页面：

点击ADD DATA SOURCE，举办设置即可，如下图：

个中，name自行设定；Type 选择InfluxDB；url为默认的http://localhost:8086， 其他的由于我前面没有举办设置，以是默认的即可。然后在InfluxDB Details里的填入Database名，最后点击测试，假如没有报错的话，则可以进入下一步的展示数据了；

7.2 展示数据

点击左边栏的+号，然后点击GRAPH

接着点击下图中的edit进入编辑页面：

从上图中可以发明：

• 中间板块是最后的数据展示
• 下面是数据的配置项
• 右上角是展示时刻的配置板块，在这里可以选摘要展示多久的数据

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!