Hadoop中Hive道理及安装

Hive是什么(官网观念)

Apache Hive™数据客栈软件有助于行使SQL读取，写入和打点驻留在漫衍式存储中的大型数据集。可以将布局投影到已存储的数据上。提供呼吁行器材和JDBC驱动措施，用于将用户毗连到Hive。

• Hive是成立在Hadoop (HDFS/MR)上的用于打点和查询功效化/非布局化的数据客栈;
• 一种可以存储、查询和说明存储在Hadoop 中的大局限数据的机制;
• Hive 界说了简朴的类SQL 查询说话，称为HQL，它应承认识SQL 的用户查询数据;
• 应承用Java开拓自界说的函数UDF来处理赏罚内置无法完成的伟大的说明事变;
• Hive没有专门的数据名目(脱离符等可以本身机动的设定);

合用场景

• Hive不合用于在线事宜处理赏罚。 它最合用于传统的数据客栈使命
• Hive的执行耽误较量高，由于hive常用于数据说明的，对及时性要求不高;
• Hive上风在于处理赏罚大数据，对付处理赏罚小数据没有上风，由于hive的执行耽误较量高。

1 Execute Query

Hive接口，如呼吁行或Web UI发送查询驱动措施(任何数据库驱动措施，如JDBC，ODBC等)来执行。

2 Get Plan

在驱动措施辅佐下查询编译器，说明查询搜查语法和查询打算或查询的要求。

3 Get Metadata

编译器发送元数据哀求到Metastore(任何数据库)。

4 Send Metadata

Metastore发送元数据，以编译器的相应。

5 Send Plan

编译器搜查要求，并从头发送打算给驱动措施。到此为止，查询理会和编译完成。

6 Execute Plan

驱动措施发送的执行打算到执行引擎。

7 Execute Job

在内部，执行功课的进程是一个MapReduce事变。执行引擎发送功课给JobTracker，在名称节点并把它分派功课到TaskTracker，这是在数据节点。在这里，查询执行MapReduce事变。

7.1 Metadata Ops

与此同时，在执行时，执行引擎可以通过Metastore执行元数据操纵。

8 Fetch Result

执行引擎吸取来自数据节点的功效。

9 Send Results

执行引擎发送这些功效值给驱动措施。

10 Send Results

驱动措施将功效发送给Hive接口。

Hadoop中现实应用

通过上面流程表明，要想在hadoop中行使hive,至少必要安装hive和Metastore(任何数据库)本文安装mysql 。

1 ， 安装mysql

下载linux情形下的mysql安装包，必要两个，一个是server端的，一个是client端的。

查询linux呆板上默认安装的mysql可能你早年安装的mysql, 暴力卸载之 。

rpm -e mysql-libs-5.xxxxxx_i686 --nodeps 

执行安装呼吁

rpm -ivh Mysql-server-xxx.i386.rpm  
rpm -ivh Mysql-client-xxx.i386.rpm 

执行呼吁初始化配置mysql

/usr/bin/mysql_secure_installation 

行使客户端登岸

mysql -uroot -proot 

登岸乐成后输入呼吁：(授予mysql长途用户毗连的权限)

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; 

行使长途客户端毗连(navicat 或Advanced Query Tools等等器材 )我用的navicat, 如图自行贯通。

到这里hive就安装搭建完成了!

【编辑保举】

1. Hive支持的文件名目与压缩算法
2. 一文看懂HIVE和HBASE的区别
3. 从源码看Spark读取Hive表数据小文件和分块的题目
4. HIVE和HBASE之间，首要的区别是什么？
5. HBase相对Hive查询速率快的比拟

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!