Hadoop 不再势力巨子，开源大数据的将来何去何从？
|
屈指算来，Hadoop 已经降生 13 年了。它最早降生于 2006 年，并在 2008 年成为 Apache 顶级项目。降生后没过多久就成为了互联网行业大数据计较的尺度设置，同时也成了 Apache 软件基金会的金牌项目之一。但从 2016 年开始，海表里就开始呈现唱衰 Hadoop 的声音，以 Hadoop 为代表的开源大数据的将来何去何从？ 十年前，三家资金雄厚的初创公司 Cloudera、Hortonworks 和 MapR 开始环绕 Hadoop 开源生态体系中的产物和处事举办贸易化。有关 Hadoop 的炒作在 2014 年头到达了顶峰。其时，Cloudrea 筹集了约莫 9 亿美元的巨额融资，估值为 41 亿美元。 “最近 Cloudrea 和 MapR 的争端上了许多媒体的头条，不由让公家想知道这场争端对大数据的将来意味着什么。”Unravel Data 首席执行官 Kunal Aganwal 暗示。“企业对数据的乐趣是正在削弱吗？完全没有的事。只是因为大数据向公用云快速转型，导致这些公司步履蹒跚，这些专为当地陈设而计划的平台已经没有什么增添潜力了。因为大数据对付高弹性计较的需求，它自然更得当云计较。另外，当代数据体系正变得越来越伟大，它们在当地打点要比在云端打点越发坚苦。 跟着新的数据栈横空出世，Hadoop 不再是势力巨子的大数据技能了 ：像 Spark 和 Kafka 这样的技能正在鼓起，以支持行使人工智能和呆板进修的当代数据应用。 Hadoop 不会消散，也不是全部的数据事变负载城市迁徙到云端 ，但公有云和 Spark 等技能将越来越多地界说大数据，任何不起劲支持它们的供给商将会继承承受丧失。” Hortonworks 于 2014 年面市，Cloudera 紧随厥后，于 2017 年上市。但跟着市场竞争的加剧，客户开始敏捷转向云端，两家公司的股价都呈现了暴跌。客岁秋季，Cloudrea 和 HortonWorks 归并，但归并后的公司股票一连下跌，市值缩水了一半。MapR 在四年多前就公布了上市打算，但从未贯彻执行，而是选择在 2016 年和 2017 年再筹集两轮风险投资。最近有 动静 称，假如 MapR 不能得到更多资金，也许会减少多达 122 个事变岗亭，并封锁位于加利福尼亚州圣克拉拉的总部。 “最近关于 Cloudrea 和 MapR 的消息激发了关于 Hadoop 将来何去何从 的争论，以及全部用于打点大数据事变负载的开源框架。”Clairvoiant 公司的首席执行官 Chandra Ambadipudi 评述道。“一个重要的身分是，Hadoop 在打点和操作它所需的资源方面被市场大大低估了。Hadoop 确实实现了它作为低本钱、可伸缩且结实的开源办理方案的理睬。但打点其伟大性所需的人才和数据工程师的数目，以及他们的欠缺，都已经到达了极点。” 此刻，Cloudrea 成为独一重要的 Hadoop 公司，在经验 MapR 消息风浪之后，以下是关于开源大数据平台将来从当地到云端（以及 Microsoft、AWS、Google 等云计较巨头）的一些看法和设法。 Hadoop 的可行性饱受质疑，并非由于它是一种槽糕的技能（现实上，Hadoop 技能很是好），而是由于将 Hadoop 作为开源产物来打点过分伟大导致面对人才瓶颈。与炒作对比，所需的资源程度被大大低估了。 题目是，云计较巨头是否会完全占有这个规模？Databricks 和 Snowflake 正在着手办理与大数据实现方面的手艺差距。 生态体系中如故会呈现整合举动（就像 Microsoft 收购 MapR 一样），只偶然刻才气汇报我们，这统统对生态体系是否有益（厂商锁定）。 与此相同，正在崛起的其他大数据平台如 Apache Kafka，也也许面对开源办理方案的挑衅（就像 Cloudrea 作为开源 Hadoop 的刊行商面对的挑衅一样）。 “跟着云计较巨头继承‘吞噬天下’，像 Snowflake 和 DataBricks 这样的平台也在崛起，开始实行弥合大数据人才和手艺的鸿沟，”Ambadipudi 增补道，“假如市场呈现进一步的整合，好比有某些云计较公司收购了 MapR 和其他 Hadoop 公司，我将不会感想惊奇。因为低耽误和可伸缩性，Kafka 越来越受接待，并获得了普及的回收。但就像 Cloudera 操作 Hadoop 一样，Confluent 的 Kafka 企业版做的也是同样的工作，以是他们也也许面对与开源平台沟通的挑衅。无论回收哪一种大数据实现方法，今朝所需的手艺都是欠缺的，并且对专家打点处事的需求仍将居高不下。” 相干阅读： 谢邦昌：大数据、人工智能的将来已来 “贵州名誉云”助推贵州省社会名誉系统建树 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
