云计较开拓之CoT：云情形的去中心化漫衍式弹性缓存方案

择要

漫衍式缓存被普及应用于以十亿用户局限处事于交际收集和收集应用。然而，典范的事变负载毛病会导致缓存处事器之间的负载不服衡。这种负载不服衡低落了哀求吞吐量，并增进了哀求耽误，从而低落了缓存的甜头。最近的研究从理论上表白，前端一个小的美满缓存对漫衍式缓存的负载均衡有很大的影响。然而，确定在前端处事器上实现近乎美满的缓存的缓存巨细和替代计策是一项挑衅，出格是对付动态变革和不绝变革的事变负载。这篇文章先容了Cache on Track（CoT），这是一个用于云情形的分手、弹性和猜测性的缓存框架。CoT是以下题目的谜底：在缓存处事器端实现负载均衡所需的前端缓存巨细是几多？CoT提出了一个新的缓存替代计策，专门为处事于倾斜事变负载的小型前端缓存量身定制。前端处事器行使重击跟踪算法来持续跟踪top-k热键。CoT从跟踪的密钥中动态缓存最热的C密钥。另外，每个前端处事器独立地监督其对缓存处事器负载不服衡的影响，并响应地调解其跟踪器缓和存巨细。我们的尝试表白，CoT的替代计策在差异的倾斜事变负载下，对付沟通的缓存巨细，始终高出LRU、LFU和ARC的掷中率。另外，CoT的掷中率略高于LRU-2当两个计策的跟踪（汗青）巨细沟通时。CoT实现了处事器巨细的负载均衡，与其他替代计策对比，前端缓存镌汰了50%到93.75%。最后，我们的尝试表白，CoT的巨细调解算法乐成地自动设置了跟踪器缓和存巨细，以在事变负载漫衍产生变革的环境下实现后端负载均衡。

先容

交际收集、收集和移动应用吸引了数亿用户[3，7]。这些用户分享他们的相关，并在实时的本性化体验中互换图像和视频[13]。为了实现这种及时体验，底层存储体系必需提供对大数据的高效、可扩展和高可用性会见。交际收集用户耗损的数据比他们发生的数据多出几个数目级[10]。另外，单页加载必要数百个工具查找，这些工具查找必要在几秒钟内完成[13]。因此，传统的基于磁盘的存储体系不得当处理赏罚这种局限的哀求，由于磁盘的高会见耽误和I/O吞吐量限定[50]。

为了降服这些限定，漫衍式缓存处事被普及地陈设在每个客户存储的顶部，以便高效地为大局限的用户哀求提供处事[49]。Memcached[4]和Redis[5]平漫衍式缓存体系被Amazon Elasti Cache[1]和Azure Redis Cache[2]等云处事提供商普及回收。这些缓存处事为直接会见每一个电阻存储层的体系提供了明显的耽误和吞吐量晋升。Redis和Memcached行使con-sistent散列[35]在多个缓存处事器之间分发密钥。尽量同等散列确保了分派给每个缓存碎片的密钥数目的公等漫衍，但它不思量分派进程中每个密钥的事变负载。实际天下的事变负载凡是是倾斜的，很少有键比其他键更热[30]。这种倾斜导致缓存处事器之间的负载不服衡。

缓存层中的负载不服衡也许会对整个应用措施机能发生明显影响。尤其是，它也许导致在接入频率漫衍的尾部的操纵耽误急剧增进[29]。另外，当事变负载毛病增进时，均匀吞吐量低落，均匀耽误增进[15]。当在依靠数据工具链中执行操纵时，现实事变负载的均匀耽误和尾部耽误的这种增进是放大的[41]。一次Facebook页面加载会在多轮数据获取操纵中检索数百个工具[44，13]。最后，办理方案同样会太过设置缓存层资源，以处理赏罚负载最重的缓存处事器所带来的资源操作率最低的缓存处事器所带来的影响。

为了办理负载不服衡题目，人们提出了多种要领，行使齐集负载监控[9，48]、处事器端负载监控[29]或前端负载监控[24]。Adya等人。[9] 提出将数据处事平面与节制平面疏散的切片器。节制平面是一个齐集化的体系组件，它网络有关碎片会见和处事器事变负载的元数据。它按期运行一个优化算法，该算法抉择从头分派、从头分区或复制密钥空间的片断，以实现更好的后端负载均衡。Hong等人。[29]行使漫衍式处事器端负载监控来办理负载不服衡题目。每个后端处事器都独立地跟踪其热键和打消抉择，以便将其热键的事变负载分派给其他后端处事器。[9，48]和[29]中的办理方案要求后端变动缓存的密钥-处事器映射并将新映射发布到全部的前端处事器。Fan等人。[24]行使漫衍式前端负载监控要领。这种要领表白，在前端处事器中添加一个小缓存对办理后端负载不服衡有很大的影响。在前端处事器上缓存重量级用户可以镌汰缓存处事器提供的密钥之间的毛病，从而实现更好的后端负载均衡。Fan等人。理论上通过说明和仿真表白，每个前端都有一个小的美满缓存，办理了后端负载不服衡的题目。然而，美满的缓存现实上很难实现。为了动态地改变和成长事变负载，确定缓存巨细和在前端实现靠近每影响缓存的替代计策是一项挑衅。

在这篇文章中，我们提出了Cache-on-Track（CoT），它是一种分手的、弹性的、猜测性强的前端处事器缓存。CoT pro提出了一个新的缓存替代计策，专门针对处事于倾斜事变负载的小型前端缓存。CoT行使一个小的前端缓存来办理后端负载不服衡的题目，如[24]中先容的。然而，CoT并不以为前端有美满的缓存。CoT行使节减空间的算法[43]来跟踪top-k重击手。跟踪信息应承CoT从top-k跟踪的近似键中缓存出精确的top-C最热键，以防备长尾的冷键和噪声键替代缓存中的热键。CoT是分手的，由于每个前端独立地按照在这个特定前端处事的密钥会见分派来确定其热键集。这种低本钱的CoT办理了后端负载不服衡的题目，没有引入单一的妨碍点或瓶颈，这些凡是都是齐集办理方案带来的。另外，这使得CoT可以扩展到数千个前端处事器，这是交际收集和当代web应用措施的配合要求。CoT是弹性的，由于每个前端行使其当地负载信息来监督其对后端负载不服衡的孝顺。每个前端弹性地调解其跟踪器缓和存巨细，以镌汰由这个前端引起的负载不服衡。在事变负载产生变革的环境下，CoT除了动态调解跟踪器缓和存巨细之外，还动态调解前端跟踪器与缓存的比率，以消除任何后端负载不服衡。

在传统的架构中，内存巨细是静态的，缓存算法全力实现全部可用资源的最佳操作。然而，在云情形中，理论上存在有限的内存和处理赏罚资源，而云站姿迁徙是一种常态，云最终用户的方针是实现其slo，同时镌汰所需的云资源，从而低落其钱币陈设本钱。CoT的首要方针是在每个前端镌汰须要的前端缓存巨细，以消除处事器端负载不服衡。镌汰前端缓存巨细对付以下方面至关重要：1）它低落了陈设前端缓存的款子本钱。为此，我们引用大卫•洛米特（David Lomet）最近的著作[40，39，38]中的话，他指出本钱/机能凡是比纯粹的机能更重要：“这里的论点不是没有足够的主内存来生涯数据，而是有一种本钱更低的数据打点要领。”。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!