81个开源大数据处理赏罚器材汇总（上），包罗查询引擎/流式计较/存储

简介：Tachyon是一个漫衍式内存文件体系，可以在集群里以会见内存的速率来会见存在tachyon里的文件。把Tachyon是架构在最底层的漫衍式文件存储和上层的各类计较框架之间的一种中间件。首要职责是将那些不必要落地到DFS里的文件，落地到漫衍式内存文件体系中，来到达共享内存，从而进步服从。同时可以镌汰内存冗余，GC时刻等。

Tachyon架构

Tachyon的架构是传统的Master—slave架构，这里和Hadoop相同，TachyonMaster里WorkflowManager是 Master历程，由于是为了防备单点题目，通过Zookeeper做了HA，可以陈设多台Standby Master。Slave是由Worker Daemon和Ramdisk组成。这里小我私人领略只有Worker Daemon是基于JVM的，Ramdisk是一个off heap memory。Master和Worker直接的通信协议是Thrift。

下图来自Tachyon的作者Haoyuan Li：

下载地点：https://github.com/amplab/tachyon

四、KFS

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!