加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

记录一次MySQL两万万数据的大表优化办理进程,提供三种办理方案

发布时间:2019-03-01 15:31:48 所属栏目:编程 来源:王帅
导读:题目概述 行使阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保存最近一年的数据量到达4000万,查询速率极慢,一般卡死。严峻影响营业。 题目条件:老体系,其时计划体系的人或许是大学没结业,表计划和sql语句

我开通测试了一下,支持免费mysql的数据迁徙,无操纵本钱,机能晋升在10倍阁下,价值跟rds相差不多,是个很好的备选办理方案!

  1. 阿里云OcenanBase
  2. 淘宝行使的,扛得住双十一,机能卓著,可是在公测中,我无法实行,但值得等候
  3. 阿里云HybridDB for MySQL (原PetaData)
  4. https://www.aliyun.com/product/petadata?spm=a2c4g.11174283.cloudEssentials.54.7a984b5cS7h4wH

官方先容:云数据库HybridDB for MySQL (原名PetaData)是同时支持海量数据在线事宜(OLTP)和在线说明(OLAP)的HTAP(Hybrid Transaction/Analytical Processing)相关型数据库。

我也测试了一下,是一个olap和oltp兼容的办理方案,可是价值太高,每小时高达10块钱,用来做存储太挥霍了,得当存储和说明一路用的营业。

  1. 腾讯云DCDB
  2. https://cloud.tencent.com/product/dcdb_for_tdsql

官方先容:DCDB又名TDSQL,一种兼容MySQL协媾和语法,支持自动程度拆分的高机能漫衍式数据库——即营业表现为完备的逻辑表,数据却匀称的拆分到多个分片中;每个分片默认回收主备架构,提供灾备、规复、监控、不断机扩容等全套办理方案,合用于TB或PB级的海量数据场景。

腾讯的我不喜好用,不多说。缘故起因是出了题目找不到人,线上题目无法办理头疼!可是他价值自制,得当超小公司,玩玩。

方案三具体声名:去掉mysql,换大数据引擎处理赏罚数据

数据量过亿了,没得选了,只能上大数据了。

开源办理方案

hadoop家属。hbase/hive怼上就是了。可是有很高的运维本钱,一样平常公司是玩不起的,没十万投入是不会有很好的产出的!

云办理方案

这个就较量多了,也是一种将来趋势,大数据由专业的公司提供专业的处事,小公司或小我私人购置处事,大数据就像水/电等民众办法一样,存在于社会的方方面面。

海内做的最好的当属阿里云。

我选择了阿里云的MaxCompute共同DataWorks,行使超等惬意,按量付费,本钱极低。

MaxCompute可以领略为开源的Hive,提供sql/mapreduce/ai算法/python剧本/shell剧本等方法操纵数据,数据以表格的情势揭示,以漫衍式方法存储,回收按时使命和批处理赏罚的方法处理赏罚数据。DataWorks提供了一种事变流的方法打点你的数据处理赏罚使命和调治监控。

虽然你也可以选择阿里云hbase等其他产物,我这里首要是离线处理赏罚,故选择MaxCompute,根基都是图形界面操纵,或许写了300行sql,用度不高出100块钱就办理了数据处理赏罚题目。

【编辑保举】

  1. MySQL主从复制虽好,能美满办理数据库单点题目吗?
  2. 开源数据库:PostgreSQL、MariaDB和SQLite的比拟
  3. 聊聊Java数据库开拓的那点事儿
  4. MySQL误删数据救命指南F尕保藏
  5. MySQL每秒570000的写入,怎样实现?
【责任编辑:庞桂玉 TEL:(010)68476606】
点赞 0

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读