[bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs

1. 假设，myql安装在bigdata2上。我们要在bigdata3上执行sqoop1。

2. 起首，要在mysql上建设一个'b3'@'%'的账户，这个账户限制只能从外部ip地点会见mysql。

3. 在bigdata3上做如下操纵

http://www.cloudera.com/documentation/enterprise/5-7-x/topics/cdh_ig_jdbc_driver_install.html

mkdir -p /var/lib/sqoop
chown sqoop:sqoop /var/lib/sqoop 
chmod 755 /var/lib/sqoop

然后将从oracle官网下载的mysql的jdbc驱动，放到/var/lib/sqoop的目次下，且owner是sqoop，mod是755

4 切换用户到hdfs

su hdfs

5 设定hadoop的目次

export HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce

这里个目次有诸多hadoop的jar包，按照安装目次差异，也许略有差异。

6. 在bigdata3上执行

sqoop import --connect jdbc:mysql://10.14.1.4:3306/b_test --username b3 --password b3 --table t1 --target-dir /tmp/x

留意，这个/tmp/x必需不存在。

很是有也许呈现各类非常，好比，在bigdata2上用b3做import就不能乐成。

假如/tmp/x文件已经存在，也不能乐成。

假如HADOOP_MAPRED_HOME没有配置，也不能乐成。

假如/var/lib/sqoop里没有jdbc驱动，不会乐成。

假如执行呼吁的用户差池，也也许不乐成。

总之，失败的也许是许多的。必要逐一排查。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!