MySQL表數(shù)據(jù)導(dǎo)入到Hive文件【圖文詳解】

如果Hadoop集群中部署了Hive服務(wù)，并且在Sqoop服務(wù)的sqoop-env.sh文件中配置了Hive的安裝路徑，那么也可以通過Sqoop工具將MySQL表數(shù)據(jù)導(dǎo)入Hive表中。

將MySQL表數(shù)據(jù)導(dǎo)入到Hive文件系統(tǒng)中，具體指令示例如下。

$ sqoop import \

--connect jdbc:mysql://hadoop01:3306/userdb \

--username root \

--password 123456 \

--table emp_add \

**--hive-table itcast.emp_add_sp** \

**--create-hive-table** \

**--hive-import** \

--num-mappers 1

上述指令中，“--hive-table itcast.emp_add_sp”用于指定上傳到Hive上的目標(biāo)地址為itcast數(shù)據(jù)倉庫的emp_add_sp表中，這里必須提前創(chuàng)建對(duì)應(yīng)的itcast數(shù)據(jù)倉庫；“--create-hive-table”用于指定自動(dòng)創(chuàng)建指定的目標(biāo)Hive表（即emp_add_sp表），如果表已存在，則執(zhí)行失??；“--hive-import”用于將對(duì)應(yīng)的MySQL表（即emp_add表）導(dǎo)入Hive中進(jìn)行數(shù)據(jù)映射。

執(zhí)行上述指令后，可以連接到Hive客戶端查看Hive數(shù)據(jù)倉庫表數(shù)據(jù)，結(jié)果如圖1所示。

圖1 查看導(dǎo)入Hive表數(shù)據(jù)

從圖1看出，Sqoop成功將MySQL表數(shù)據(jù)導(dǎo)入了Hive中，也可在HDFS UI界面查看，如圖2所示。

圖2 Hive表文件路徑

從圖2可以看出，Hive表數(shù)據(jù)是一個(gè)MapReduce的結(jié)果文件，從命名可以看出，本次MapReduce作業(yè)只進(jìn)行了Map階段。

MySQL基礎(chǔ)視頻教程下載|Python進(jìn)階教程

MySQL數(shù)據(jù)庫怎樣分區(qū)和分表？【數(shù)據(jù)分析面試題】

Spark SQL如何實(shí)現(xiàn)Hive數(shù)據(jù)倉庫的操作？

傳智教育python大數(shù)據(jù)開發(fā)課程