浪潮FPGA方案 省80%磁盘空间和网络流量

　　【资讯】在数字化转型的配景下，数据量正泛起出爆炸式增添的态势。而传统数据压缩架构存在计较资源需求高，CPU的负载率高，压缩使命吞吐量不敷等题目，海潮FPGA方案对GZip算法举办了专门的开拓和优化，压缩率可以或许到达94.8%，压缩速率到达1.6GB/s，十倍于传统要领的计较服从。

▲海潮FPGA方案，节减80%磁盘空间和收集流量

　　举个实际的例子，我们每年最大的“剁手节”——双十一当天所发生的买卖营业日记就到达了PB级别，而这仅仅是1天、1个网站搜刮发生的数据。

　　那这些数据对付数据中心而言意味着什么?1天内不只多了至少1PB的数据必要存储，而且又有至少1PB收集流量被占用。凭证1块盘8TB的容量来算，必要124块硬盘，凭证1台处事器12块盘来算，必要至少12台处事器来存储这些日记。同时，在双十一后，这些数据仍必要被存储一段时刻用于后续的大数据说明，这时代日记文件会被各个计较机群频仍的会见读取，不只恒久占用大量存储空间，，也会加重数据中心表里部收集承担。

▲数据量发作式增添

　　那么有没有什么要领压缩这些数据?相同我们在电脑上用WinRAR可能其他压缩器材把文件压缩为zip、rar，数据中心的海量数据是否也能被压缩。

　　数据压缩，用计较手段调换更多存储空间

　　今朝，业界常用的压缩算法有基于UNIX体系的文件压缩GZip、高储存密度的计较机文件压缩Zip、无损压缩软件BZIP2等，个中GZip因为具有较好的压缩比、压缩服从僻静台通用性，因此被普及的应用。

▲GZip文件压缩

　　但传统的压缩措施基于CPU，会存在一些题目。好比，压缩使命所必要的计较资源较高，在举办大文件可能多文件压缩使命时，会导致CPU的负载率高，影响其他使命的正常运转。其它，假如压缩使命哀求频仍，好比网站文件的GZip压缩，网站的同时会见人数就根基等同于压缩使命数，这时辰CPU的单核机能高但并行手段弱的特征会导致压缩使命吞吐量不敷。

　　因此，针对数据中心海量数据压缩，用计较手段调换更多存储空间是肯定趋势。好比数据文件中存在许多一再呈现的字符串，假如用更短的标记住代，就能到达收缩字符串的目标。譬喻，有个文本中大量行使“整机柜处事器”这个词，我们用"整机柜"取代，就收缩了3个字符，假如用"整"取代，就收缩了5个字符。究竟上，只要担保对应相关，可以用恣意字符取代那些一再呈现的字符串。而且这一进程是无损的、可逆的。

　　基于FPGA的海潮压缩方案，压缩率达94.8%

　　为了办理传统压缩架构的破绽，海潮基于FPGA来开拓GZip压缩算法，通过充实操作板卡硬件流水计划和使命级并行，来晋升压缩使命的吞吐量，并有用低落CPU的负载。

▲海潮FPGA F10A

　　因为FPGA回收与CPU迥异的运行模式，因此必要举办算法移植。今朝，海潮基于FPGA的GZip算法举办了专门的开拓和优化，在样本压缩测试中，压缩率可以或许到达94.8%，极大低落数据文件所占用的存储空间。

　　举个例子，在大型数据中心，各个营业部分之间的数据也许存在于差异的集群，因此当数据必要被大量的跨集群读取时，纵然各个集群中稀有百G的智能收集专线，可是传输的数据不能把带宽占满，因此也许导致使命的较大延时。而在这些传输的数据中，日记等字符一再率较高的文本文件的数目也是很大的，回收海潮FPGA方案可以或许敏捷将文件缩小90%以上，而且可以或许在传输完成后快速解压，有用低落带宽占用。

　　1.6GB/s压缩服从，10倍于传统压缩方案

　　数据的压缩固然可以节减磁盘空间，可是却也必要更多的计较手段，假如行使原有的CPU来举办处理赏罚，压缩息争压的速率较慢，会影响整个集群的营业服从，这就得不偿失了。而海潮FPGA方案在运行简朴但一再性高的使命时，能省去取指和译码步调，极大的进步了一再运行沟通代码的服从。据实测数据表现，基于高机能的硬件平台和优化的算法，海潮FPGA方案可以到达1.6GB/s的GZip压缩速率，而行使传统x86架构处理赏罚器的机能只能到达60-150MB/s。海潮FPGA为业界带来至少十倍于传统要领的计较服从。

▲数据压缩办理方案GZip

　　举个例子，因为GZip可以压缩Html、JavaScript、Cascading Style Sheets等收集常用的文档，因此今朝大部门的网站会启用GZip压缩来低就逮站会见速率，凡是颠末GZip压缩的网站可以低落2/3以上的巨细，因此从客户端来看，网站的打开速率也许晋升3倍。可是对付极高并发量的大型网站来说，过高的瞬时流量也许导致处事器的高负载，而回收海潮FPGA方案则可以或许支撑更高的并发量。

　　因为GZip无损压缩首要针对有大量一再字符的文件，因此以文本为主的数据，好比日记文件、买卖营业记录、编译陈诉、html文件等都能举办很好的压缩。可是对付已经被压缩过的文件，好比JPEG图片文件等，压缩率也许很低乃至为负。为此在GZip无损压缩之外，海潮还开拓出基于FPGA的WebP有损压缩方案，进一步晋升图片等数据的压缩率和压缩服从。将来，海潮还将推出更多FPGA方案，为更多应用提供更高效的计较平台支撑。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!