
本套Python+大數(shù)據(jù)的學習線路圖可以幫助大家從小白蛻變成為數(shù)字精英,語言方面不僅有Python的學習,也包含了SQL。黑馬程序員數(shù)據(jù)開發(fā)學習路線圖涵蓋了SQL、Hadoop、Hive、Spark、Flink多個技術(shù)生態(tài)圈。
免費視頻資源請到黑馬程序員官網(wǎng)下載
第一階段:大數(shù)據(jù)開發(fā)入門
從傳統(tǒng)關(guān)系型數(shù)據(jù)庫入手,掌握數(shù)據(jù)遷移工具、BI數(shù)據(jù)可視化工具、SQL,對后續(xù)的學習打下基礎(chǔ)。
MySQL是整個IT基礎(chǔ)課程,俗話說SQL寫的好,工作隨便找。
學習目標:
掌握MySQL數(shù)據(jù)庫的使用掌握SQL語法掌握Kettle數(shù)據(jù)遷移工具的使用熟練使用BI可視化工具對數(shù)據(jù)開發(fā)有一定認知,掌握BI工程師所具備的基本技能第二階段:大數(shù)據(jù)核心基礎(chǔ)
學習Linux、Hadoop、Hive,掌握大數(shù)據(jù)基礎(chǔ)技術(shù)。
大數(shù)據(jù)Hadoop技術(shù)棧
建議學習時長:11天
學習目標:
掌握Linux常用命令,為數(shù)據(jù)開發(fā)后續(xù)學習打下的良好基礎(chǔ)掌握大數(shù)據(jù)的核心框架Hadoop以及其生態(tài)體系,完成HDFS、MapReduce及Yarn機制基本理解與使用;能顧搭建Hadoop高可用HA集群掌握Hive的使用和調(diào)優(yōu)具備Hadoop開發(fā)能力、離線數(shù)據(jù)倉庫開發(fā)能力能夠完成基本構(gòu)建企業(yè)級數(shù)倉Hadoop離線是大數(shù)據(jù)生態(tài)圈的核心與及時,是整個大數(shù)據(jù)開發(fā)的入門,也是為后期的Spark、Flink打下堅實基礎(chǔ)的內(nèi)容。
第三階段:千億級數(shù)倉技術(shù)
本階段主要學習的內(nèi)容應該是結(jié)合真實項目驅(qū)動,掌握離線數(shù)倉技術(shù)。
Pandas技術(shù)棧
建議學習時長:3天
學習目標:
掌握離線數(shù)倉的分層與建模,從需求、設(shè)計、研發(fā)、測試到落地上線的完整項目流程行業(yè)內(nèi)首個深度使用Presto的項目包括海量數(shù)據(jù)場景下如何優(yōu)化配置拉鏈表的具體應用新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析提供新零售大型商超集團的數(shù)據(jù)存儲分析以及服務監(jiān)控方案使用Git對代碼進行管理第四階段:PB內(nèi)存計算
Spark官方已經(jīng)在自己的首頁中將Python作為第一語言,在3.2的版本更新中,高亮提示內(nèi)置捆綁Pandas。所以這里建議各位同學順應社區(qū)和招聘需求的趨勢,學習黑馬程序員Python on Spark的內(nèi)容。
Python基礎(chǔ)編
建議學習時長:8天
學習目標:
掌握Python開發(fā)環(huán)境基本配置掌握運算符、表達式、流程控制語句、數(shù)組等的使用掌握字符串的基本操作初步建立面向?qū)ο蟮木幊趟季S熟悉異常捕獲的基本流程及使用方式Python進階
建議學習時長:10天
學習目標:
.掌握面向?qū)ο缶幊棠芰八枷?/li>掌握Python高級語法特性掌握開發(fā)中的多任務編程實現(xiàn)方式知道多進程多線程的原理掌握網(wǎng)絡編程技術(shù),能夠?qū)崿F(xiàn)網(wǎng)絡通訊知道通訊協(xié)議原理掌握日志的使用能夠使用Python對數(shù)據(jù)進行處理開發(fā)Spark 3.2 相關(guān)內(nèi)容
建議學習時長8天
學習目標:
掌握Spark的RDD、DAG、CheckPoint等設(shè)計思想掌握SparkSQL結(jié)構(gòu)化數(shù)據(jù)處理,Spark On Hive掌握Pandas數(shù)據(jù)處理分析,以及Pandas on Spark掌握Structured Streaming整合多數(shù)據(jù)源完成實時數(shù)據(jù)處理具備Spark全棧開發(fā)能力,滿足大數(shù)據(jù)行業(yè)多場景統(tǒng)一技術(shù)棧的數(shù)據(jù)開發(fā),提供就業(yè)核心競爭力以上內(nèi)容學習完之后,可以通過大數(shù)據(jù)技術(shù)架構(gòu),解決工業(yè)互聯(lián)網(wǎng)制造行業(yè)的數(shù)據(jù)存儲和分析、可視化、個性化推薦問題?;趕parkSQL做數(shù)據(jù)分析。
以上就是最新版的黑馬程序員Python+大數(shù)據(jù)學習路線圖,希望對自學的同學們有所幫助。
鄭重聲明:本文內(nèi)容及圖片均整理自互聯(lián)網(wǎng),不代表本站立場,版權(quán)歸原作者所有,如有侵權(quán)請聯(lián)系管理員(admin#wlmqw.com)刪除。