张小峰 Oray技能总监

简介

张小峰专注于高机能收集处事架构，15年C++收集应用开拓和团队打点履历；在DNS架构、C++收集通讯技能、各操纵体系API交互、图像处理赏罚、加密算法等规模都有着深入的研究；在Oray技能团队中认真全部产物的收集处事及图像底层架构计划与开拓；教育团队先后研发了多款花生壳、向日葵长途节制软件万万量级的产物，从事个中的布局计划与要害技能攻关。是Oray技能团队的领头羊与魂灵人物。

应用配景先容

作为提供各类互联网处事且具有海量用户的的Oray，我们也一向在实践各类新技能新架构；缓存方面我们从memcached、ttserver、redis等都有较多应用，个中redis我们的dns系统中有着很深度的集成行使；MySQL InnoDB memcached plugin出来挺久的了，网上还没见到海内有把它用到出产情形的实例，我本日就给各人说下小白鼠体验。

首创产物花生壳是个简朴的动态域名产物，用户可以用它宣布本身的种种处事，从网站到种种专用数据毗连；就算在中国互联网情形云云残忍同时IPv4资源在不绝萎缩的本日，这个产物还在不绝的成长壮大。固然外貌看起来是个简朴的器材软件，但它为中国一代代的互联网人办理了许多基本的毗连题目！

但很大一部门用户行使我们的花生壳也就是为了长途操纵电脑，以是2010年，在我们静心苦干了1年多后推出了向日葵长途节制产物，这个产物的根基成果就是让用户不必要体谅IP端口等技能常识就可以长途打点节制他的全部电脑，这个产物首要依靠以下技能：

1、 通过相关型数据库打点用户主机清单；

2、 行使长毗连维持被控在线状态；

3、 P2P通讯技能传输节制信号以及图像信号；

4、 优化的算法尽也许的低落用户带宽占用以及进步图像质量；

5、 其他周边技能，如HTML5免插件长途节制、长途开机等。

客户端、操纵体系以及相干远控技能题目我们本日先不切磋，向日葵也不是一个简朴的C/S布局软件，我们必要像谈天处事器那样与客户端举办及时交互，而客户端在线量一向在猛烈的增添中，我们的体系以及运维和开拓团队也就不断的迭代并生长。

向日葵长途节制技能的数据需求

上面提到，向日葵行使相关型数据库存贮某一个用户拥有哪些主机，以及这些主机的详细相干信息；在此同时，我们也必要姑且存储一些要害的及时数据：

1、 主机鉴权信息

2、 主机在线状态

3、 怎样毗连主机

着实刚宣布向日葵的几个月我们是把它们同时放在相关数据库里的，谁人时辰首要思量的也不是处事端的机能题目，而是整个体系跑通，只是我们的数据库其后吃不用了，这一段经验不长，嗣魅真的也没啥好讲的。

缓存优化史

既然存在相关数据库中不吻合，我们就开始用各类缓存技能来存储这种及时数据。

从memcached到ttserver

memcached

第一代的主机状态数据缓存化，我们把它放在了memcached，整个客户端的登岸进程是这样的（里头略去了各类错误处理赏罚及非常以及各类隶属架构，好比负载平衡可能备份等）：

把状态等必要频仍会见的数据放到缓存后，这个大框架到此刻也蛔泫本上是这样，API认真全部跟耐久化DB的交互操纵，长毗连只认真跟memcached的通讯，这样也停止了我们的DB有过多脚色参加读写；其它这个时辰我们只有一台memcached处事器，由于我们算过16G内存约莫可以放上亿的主机信息。

但这些数据跑memcached真的吻合吗？

在经验了两次memcached瓦解后我们也瓦解了，memcached的数据是完全放在内存里的，瓦解后全部主机所有会酿成不在线且只能通过重启全部处事器办理，而重启全部处事器意味着全部原先在线客户端都得所有从头登岸一次，这个进程会极其漫长，以小时计的。

ttserver

我们要改造了，灵活烂漫的，我们想到了ttserver，ttserver可以在瓦解重启后规复数据且具备主备同步成果，而丢失那部门数据我们可以在客户端登岸时从DB里自动规复出来；

因为ttserver跟memcached通讯协议上完全兼容，但为了停止全局性的劫难，我们在完成多cache处事优化后，新体系很快就上线了。

新缓存系统的布局长这样的：

完全堆叠式的计划，理论上也是可以无穷扩容的，但我们没意识到ttserver几个大题目：

ttserver不支持key逾期的，必要开启table database模式，并通过lua剧本的方法来实现，但该模式ttserver的运行机能相等差，而且在数据很大的时辰呈现不不变的征象。

这个不不变征象我们不凑巧也碰着了：因为它会自动把不频仍读写的数据swap到磁盘，它倒不会像memcached那样轻易瓦解，但它会无意神经质似的卡；卡到什么水平呢：手工上去敲个get，大提纲几百ms才会获得功效；而我们对ttserver做了许多优化仍旧于事无补。前两次卡死，重启能办理，但其后，我们不得不把它生涯的文件彻底删除才气规复机能，这不又回到了memcached期间吗？怎么办？

MySQL InnoDB memcached plugin

在我们呈现ttserver危急的时辰，已经没有什么能让我更绞尽脑汁的工作了，每天到各社区调研，某个偶尔的机遇，我看到了MySQL居然支持memcached插件，这真是个神奇的组合：

传统相关型数据库在大数据期间的机能与扩展，离不开内存与漫衍式这两大主题。

在传统的相关型数据库中，Oracle的Timesten，SQL Server的Hekaton，都是选择与内存数据库相荟萃，但现实上却少有突出的应用场景。而MySQL嵌入nosql ，在机能与打点、说明上到达互补，则是更为故意义的团结。

MySQL5.6.6后开始内嵌 memcached 的支持，在MySQL 5.7较新的版天机能大幅晋升，有测试表白在48核只读情形下QPS可以到达百万以上。

借用下MySQL官方的布局图：

我们先来看一下memcached plugin的安装：

下载mysql5.7.17 源码包：

wget http://cdn.mysql.com//Downloads/MySQL-5.7/mysql-community-5.7.17-1.el6.src.rpm

由于是一个插件，开启memcached plugin成果，必要在编译安装时添加：

-DWITH_INNODB_MEMCACHED=ON

cmake .

-DCMAKE_INSTALL_PREFIX=/usr/local/mysql5.7/

-DMYSQL_DATADIR=/data1/

-DWITH_INNOBASE_STORAGE_ENGINE=1

-DWITH_PARTITION_STORAGE_ENGINE=1

-DWITH_INNODB_MEMCACHED=ON

-DENABLED_LOCAL_INFILE=1

-DWITH_READLINE=1

-DMYSQL_UNIX_ADDR=/tmp/mysql5.7.sock

-DMYSQL_TCP_PORT=3306

-DEXTRA_CHARSETS=all

-DWITH_EMBEDDED_SERVER=1

-DWITH_DEBUG=1

-DWITH_BOOST=../boost_1_59_0

安装启动后执行设置：

mysql> source /usr/local/mysql5.7/share/innodb_memcached_config.sql

启动memcached插件：

mysql> install plugin daemon_memcached soname "libmemcached.so";

封锁memcached插件：

mysql> uninstall plugin daemon_memcached;

memcached plugin相干设置表：

innodb_memcache.config_options--设置支解符、引用符

innodb_memcache.from cache_policies--按照必要配置缓存计策

innodb_memcache.containers--配置表布局：key、value巨细，逾期时刻等

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!