Hadoop 生态之 MapReduce 及 Hive 简介

前面说到 HQL 可以‘转换’为 MapReduce, 下面就来看看：一个 HQL 是怎样转化为 MapReduce 的Hive的基本架构：

通过 Client 向 Hive 提交 SQL 呼吁。假如是 DDL，Hive 就会通过执行引擎 Driver 将数据表的信息记录在 Metastore 元数据组件中，这个组件凡是用一个相关数据库实现，记录表名、字段名、字段范例、关联 HDFS 文件路径等 Meta 信息(元信息)。

假如是DQL，Driver 就会将该语句提交给本身的编译器 举办语法说明、理会、优化等一系列操纵，最后天生一个 MapReduce 执行打算。再按照执行打算天生一个 MapReduce 的功课，提交给 Hadoop 的 MapReduce 计较框架处理赏罚。

好比输入一条 select xxx from a ; 其执行次序为：起首在 metastore 查询--> sql 理会--> 查询优化---> 物理打算--> 执行 MapReduce。

小结

本文大抵叙述了什么是 MapReduce 及其构成和根基道理，同时也先容了Hive。

着实在实践中，并不必要常编写 MapReduce 措施，首要的数据处理赏罚照旧 SQL 说明，因此 Hive 在大数据应用中的拥有很大的浸染。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!