加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

想转行大数据,怎样开始进修 Hadoop?

发布时间:2018-10-21 04:16:09 所属栏目:大数据 来源:简书
导读:进修大数据起主要相识大数据的进修蹊径,起首搞清晰先学什么,再学什么,大的进修框架知道了,剩下的就是一步一个脚迹踏扎实实从最基 础的开始学起。这里给各人遍及一下进修蹊径:hadoop生态圈StromSpark算法。以是进修hadoop是第一步,在这里声明一下,

1

进修大数据起主要相识大数据的进修蹊径,起首搞清晰先学什么,再学什么,大的进修框架知道了,剩下的就是一步一个脚迹踏扎实实从最基

础的开始学起。这里给各人遍及一下进修蹊径:hadoop生态圈——Strom——Spark——算法。以是进修hadoop是第一步,在这里声明一下,

在进修hadoop之前必要有java基本,由于hadoop底层满是用java写的;还必要体系层面学会行使linux的根基shell呼吁,由于你进修hadoop得首

先会安装hadoop。Hadoop在大数据技能系统中的职位至关重要,Hadoop是大数据技能的基本,对Hadoop基本常识的把握的踏实水平,会决

定在大数据技能阶梯上走多远。

下面谈谈一谈怎样开始进修hadoop。本文的思绪是:以安装陈设Apache Hadoop2.x版本为主线,来先容Hadoop2.x的架构构成、各模块协同事变道理、技能细节。安装不是目标,通过安装熟悉Hadoop才是目标。

Hadoop情形搭建

第一部门:Linux情形安装

Hadoop是运行在Linux,固然借助器材也可以运行在Windows上,可是提议照旧运行在Linux体系上,第一部门先容Linux情形的安装、设置、

Java JDK安装等。

第二部门:Hadoop当地模式安装

Hadoop当地模式只是用于当地开拓调试,可能快速安装体验Hadoop,这部门做简朴的先容。

第三部门:Hadoop伪漫衍式模式安装

进修Hadoop一样平常是在伪漫衍式模式下举办。这种模式是在一台呆板上各个历程上运行Hadoop的各个模块,伪漫衍式的意思是固然各个模块是

在各个历程上分隔运行的,可是只是运行在一个操纵体系上的,并不是真正的漫衍式。

第四部门:完全漫衍式安装

完全漫衍式模式才是出产情形回收的模式,Hadoop运行在处事器集群上,出产情形一样平常城市做HA,以实现高可用。

第五部门:Hadoop HA安装

HA是指高可用,为了办理Hadoop单点妨碍题目,出产情形一样平常都做HA陈设。这部门先容了怎样设置Hadoop2.x的高可用,并简朴先容了HA的事变道理。

安装进程中,会穿插简朴先容涉及到的常识。但愿能对各人有所辅佐。

上面情形的搭建只是讲了一下框架,因为时刻有限,详细怎样操纵可以留言与我交换。

情形搭建好后,然后实行编写mapreduce举办打包运行。当你对hadoop应用编程层面没有疑问的时辰,可以实行去深入相识mapreduce的焦点头脑,尤其是map,shuffle,join,reduce等。

对付新手来说入门会碰着许多题目,这是正常的,不外碰着题目不行怕,只要想步伐办理了本身的手段就会一点一点的进步,在这里预祝在大数据之路上求仙的搭档们学有所成。

相干阅读:

大数据架构的说明应用

大数据进修蹊径(本身拟定,从零开始)

对付进修大数据的新人,面临开拓说话和说明软件时,该怎样选择?

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读