会见日记的大数据说明应用
|
适才说到我们本日的重点是办理方案，平常我们做运维可能做研发的同事应该对日记处理赏罚这个办理方案很是认识。虽然我们也城市常常吐槽，ELK机能不太好，而且版本3进级到4后各人都认为机能又差了。有也许各人行使的方法有点题目，可以参考一下我们这里的行使方案。我们可以做到很是高的机能而且这个集群内里处理赏罚这么大量的数据，我们只用了一台处事器去做这件工作，而且它的资源还没跑满，只跑了10%阁下，耗损CPU资源很是很是少，唯独磁盘存储的空间占用有几百G，但这几百G然则存了一个月的数据，以是我说二次提炼在这内里很是重要。 终上所述，这里我也说ELK,But Not only ELK，你要用到它但不只仅是它，还必要做许多本身要做的工作才气把它玩转过来，它必定不是所有。
上图是我们此刻的数据处理赏罚的大的架构。这里有一个特点，CDN行业边沿节点处事器数目浩瀚，而且他们的计较资源很是丰裕，在我们的领土节点的呆板CPU行使率凡是都不会高出10%到20%，着实可以把很大都据处理赏罚的事变放到边沿节点。而且我们的边沿节点同时也是发生日记的处所，很是天然的就把计较的事变放到了上面去，同时在边沿做一些须要的二次处理赏罚，然后再发送到数据中心内里，数据中心专门会有一个网络的处事。这个步调是很有须要的，不能简朴的说边沿节点内里的数据能直接存入到ES集群，这不实际，由于这内里尚有一些数据必必要做归并统计。好比说每一台处事器汇总返来必要归并一下，我要知道广东电信，广州何处的节点的统计数据是奈何的，这内里就会扳连到有一个归并计较的逻辑，我们要把这个逻辑放到了中间功效网络处事内里去做的。 随后做了网络尚有二次处理赏罚，归并处理赏罚之后再扔到ES集群内里。ES集群有两个成果： 第一个，虽然是最首要的，把这些数据能揭示出来。 第二个，它可以做一个自动告警的成果。
上图是我们适才说的数据处理赏罚这部门的首要流程，第一个是log，log会颠末我们的log说明措施。这个log说明措施内里做的首要有两个事变，一个是提炼数据的代价，其它一个是归并计较。随后它就会扔到我们后头的日记网络，再举办一次归并计较。在这内里我们呈现了两次的归并计较然后再把它存入到ES集群内里。我们为什么要去做归并计较？由于一开始我就提到我们全网所发生的日记量长短常庞大的，2000多亿条数据，15T。我用50台呆板的ES集群也只能存两天的数据，这样的话机能长短常低的。好比说此刻我想看一下本日全网带宽统计，假如在这个集群内里看的话，我打开这个数据起码要等三四十秒，很漫长。而我们归并过了之后再存入ES，在这个场景内里我要去看我们一天的带宽数据，那着实根基上秒开，只要一点顿时能看到昨天的带宽数据，这就是我们归并计较的代价，第一个是存的数据少了，第二是查察的机能很是高。我做了大致的统计，我们归并可以到达的数据压缩率是1000倍以上，很是很是锋利。 三、提炼数据的代价
这个章节特意标成玄色，首要像声名这一章长短常重要的。这个章节跟其余都纷歧样的缘故起因是，必要跟各人夸大的是我们日记内里的代价你怎么去做二次提炼，由于你不去提炼这些日记的话，着实它是险些没意义的对象。我们适才一开始就说到了，通过IP是可以获得一些归属地的信息，乃至还可以通过这个IP获得一些经纬度的信息，这样的话就可以知道我的会见群体到底在世界、全天下的漫衍状态是怎么样的。第二个就是CDN会用到的机能须要的节点信息，尚有缓存掷中率，由于在适才我们的日记内里就已经有标志了，我当前这次的哀求到底是在当地缓存hits照旧miss，这样就可以做缓存掷中率统计。尚有我们的处事状态和客户相关，由于域名对应的就是客户，本日说要去查察一下客户的带宽行使环境，下载速率怎么样，这时辰是必要域名的。以是这是我们本日所讲的最重要的概念，这些日记它的代价必要我们再次提炼一下，然后存进来才有后头我们将要讲到的这些数据会发生什么样的代价。 一条简朴的日记颠末我们适才的归并计较，尚稀有据代价的提炼，你可以获得后头的这些成就。这里是我在我们平台里截出来的数据，有许多是恍惚的，没有精确的数值。 1、全网汇总信息
第一个我们可以看到全网的带宽，在左下角可以看到全网均匀的下载速率，均匀下载内里着实有两个状态，绿色的是缓存掷中的环境下，蓝色的是miss的环境下。中间的图是我们下载速率在某一个区间的比例是几多，由于我们发明假如你纯粹去看均匀速率的话，其拭魅这个数字的代价还不足。我更但愿可以或许知道的是，我是不是有90%的用户他的下载速率是在500k，可能说在1M阁下，而不是说我有50%是在1500k，可是有50%是在几十k以下，发生了两个极度。以是说中间的下载速率区间的漫衍也长短常有代价的数据浮现。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
