大數(shù)據(jù)遷移方案|實(shí)戰(zhàn)視頻教程【傳智播客】

課程簡介

從零開始講解大數(shù)據(jù)業(yè)務(wù)及數(shù)據(jù)采集和遷移需求，以案例驅(qū)動(dòng)的方式講解基于Sqoop構(gòu)建高性能的分布式數(shù)據(jù)遷移和同步平臺。

課程亮點(diǎn)

1，知識體系完備，從小白到大神各階段讀者均能學(xué)有所獲。

2，生動(dòng)形象，化繁為簡，講解通俗易懂。

3，結(jié)合工作實(shí)踐及分析應(yīng)用，培養(yǎng)解決實(shí)際問題的能力。

4，每一塊知識點(diǎn), 都有配套案例, 學(xué)習(xí)不再迷茫。

適用人群

1、對大數(shù)據(jù)感興趣的在校生及應(yīng)屆畢業(yè)生。

2、對目前職業(yè)有進(jìn)一步提升要求，希望從事大數(shù)據(jù)行業(yè)高薪工作的在職人員。

3、對大數(shù)據(jù)行業(yè)感興趣的相關(guān)人員。

課程內(nèi)容

第一章：企業(yè)數(shù)據(jù)遷移需求及解決方案

1.企業(yè)級數(shù)據(jù)遷移及同步需求

2.Sqoop的設(shè)計(jì)思想

3.Sqoop與Hadoop的關(guān)系

4.Sqoop的分布式實(shí)現(xiàn)原理

5.Sqoop的企業(yè)級版本選型

6.Sqoop1的部署安裝及配置

第二章：Sqoop數(shù)據(jù)導(dǎo)入實(shí)戰(zhàn)開發(fā)

1.Sqoop導(dǎo)入開發(fā)參數(shù)詳解

2.數(shù)據(jù)導(dǎo)入分布式文件系統(tǒng)HDFS

3.數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉庫Hive

4.基于復(fù)雜條件實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入

5.基于訂單案例實(shí)現(xiàn)Increment增量同步數(shù)據(jù)

6.基于訂單案例實(shí)現(xiàn)lastModified增量同步導(dǎo)入數(shù)據(jù)

7.數(shù)據(jù)導(dǎo)入原理詳解

第三章：Sqoop數(shù)據(jù)導(dǎo)出實(shí)戰(zhàn)開發(fā)

1.Sqoop導(dǎo)出開發(fā)參數(shù)詳解

2.基于MySQL實(shí)現(xiàn)數(shù)據(jù)導(dǎo)出

3.基于案例實(shí)現(xiàn)updateonly增量同步導(dǎo)出

4.基于案例實(shí)現(xiàn)allowinsert增量同步導(dǎo)出

5.數(shù)據(jù)導(dǎo)出原理詳解

第四章：Sqoop企業(yè)級任務(wù)管理

1.企業(yè)級數(shù)據(jù)管理業(yè)務(wù)

2.Sqoop Job命令參數(shù)詳解

3.基于訂單案例實(shí)現(xiàn)Sqoop Job實(shí)戰(zhàn)開發(fā)

4.Sqoop Job 任務(wù)管理

概率圖模型

常用的數(shù)據(jù)庫有哪些?

基于Flume設(shè)計(jì)實(shí)現(xiàn)分層日志收集系統(tǒng)有什么好處?