【課程介紹】

    本專業(yè)擁實戰(zhàn)經(jīng)驗與教學(xué)經(jīng)驗豐富的教師團(tuán)隊，以大數(shù)據(jù)的實訓(xùn)課程為主。階段：Java基礎(chǔ)語法，面向?qū)ο蟪绦蛟O(shè)計，常用工具類。第二階段：電商基礎(chǔ)框架（數(shù)據(jù)庫，靜態(tài)、動態(tài)網(wǎng)站開發(fā)與部署，網(wǎng)站開發(fā)三大框架）。第三階段：爬蟲搜索系統(tǒng)（東京爬蟲開發(fā)，分布式搜索系統(tǒng)）；第四階段：分布式電商系統(tǒng)（電商網(wǎng)站主體架構(gòu)搭建，電商網(wǎng)站商品管理，網(wǎng)頁靜態(tài)化搜索，單點登錄及購物流程實現(xiàn)，百萬級網(wǎng)站部署優(yōu)化）；第五階段：構(gòu)建離線數(shù)據(jù)分析平臺；第六階段：構(gòu)建實時數(shù)據(jù)分析平臺，第七階段：推薦系統(tǒng)算法與源代碼分析。采用學(xué)練測評一體化的教學(xué)方案，**每個學(xué)員都能真真正正學(xué)到技術(shù)，掌握要點。

【課程內(nèi)容】

階段：Java語言入門

• 計算機基礎(chǔ)知識：1.計算機基礎(chǔ)；2.DOS常用命令；3.Java概述；4.JDK環(huán)境安裝配置；5.環(huán)境變量配置；6.Java程序入門
• 編程基礎(chǔ)：常量與變量；2.數(shù)據(jù)類型；3.運算符；4.流程控制語句；5.方法；6.數(shù)組
• 面向?qū)ο螅?.面向?qū)ο笏枷耄?.類與對象；3.成員變量和局部變量；4.封裝；5.this關(guān)鍵字；6.構(gòu)造方法
• 常用類：1.Object類；2.Scanner類；3.Random類；4.String；5.StringBuilder類
• 集合：1.集合概述；2.集合特點；3.ArrayList集合
• IO：1.字符輸入流；2.字符輸出流；3.字符緩沖輸入流；4.字符緩沖輸出流；5.復(fù)制文件；6.集合與文件中數(shù)據(jù)相互讀寫

第二階段：電商基礎(chǔ)架構(gòu)：

• 數(shù)據(jù)庫：Mysql安裝配置、SQL語法入門、數(shù)據(jù)導(dǎo)入導(dǎo)出；數(shù)據(jù)建模、SQL查詢、JDBC入門、SQL注入、事務(wù)管理、批處理、連接池（Druid）、DBUtils框架
• 靜態(tài)網(wǎng)站開發(fā)與部署：HTML、CSS、JavaScript、BootStrap、Linux常用操作、Nginx服務(wù)器 網(wǎng)頁配置
• 動態(tài)網(wǎng)站開發(fā)與部署：Tomcat服務(wù)器、HTTP協(xié)議、servlet、JSP入門、JSTL(forEach)、EL、JQuery基礎(chǔ)、Ajax、Cookie、Session、JavaMail注冊、Redis入門、log4j、Slf4j
• 網(wǎng)站開發(fā)三大框架：1.計算機基礎(chǔ)；2.DOS常用命令；3.Java概述；4.JDK環(huán)境安裝配置；5.環(huán)境變量配置；6.Java程序入門

第三階段：爬蟲搜索系統(tǒng)

• 爬蟲開發(fā)：網(wǎng)絡(luò)爬蟲、Redis、Redis Cluster、Redis Cluster、動態(tài)代理
• 分布式搜索系統(tǒng)：Lucene、Solr、Solr Cloud

第四階段：分布式電商系統(tǒng)

• 電商網(wǎng)站主體架構(gòu)搭建：電商基礎(chǔ)知識、背景分析、項目需求分析、Dubbo、AngularJS、商家管理平臺、網(wǎng)站管理平臺、商家入駐審核
• 電商網(wǎng)站商品管理：電商核心業(yè)務(wù)實現(xiàn)
• 頁面靜態(tài)化及搜索：freemarker靜態(tài)化、首頁輪播圖管理、首頁樓層管理、Solr、商品及店鋪搜索
• 單點登錄及購物流程實現(xiàn)：單點登錄（SSO）、購物車的實現(xiàn)、ActiveMQ消息隊列、支付寶系統(tǒng)對接
• 百萬級網(wǎng)站部署及優(yōu)化：Nginx、Hudson、Solr Cloud、Docker容器部署、熱部署、高并發(fā)

第五階段：構(gòu)建離線數(shù)據(jù)分析平臺

• 大數(shù)據(jù)分析基礎(chǔ)課：數(shù)據(jù)分析、數(shù)據(jù)分析基本步驟、數(shù)據(jù)分析師的職業(yè)發(fā)展、常用的數(shù)據(jù)分析方法論、大數(shù)據(jù)時代的思維變革、商業(yè)變革、管理變革
• 海量數(shù)據(jù)分布式存儲框架：點擊流日志系統(tǒng)解決方案、點擊流日志系統(tǒng)部署及電商項目集成、Hadoop集群搭建、Hadoop HDFS數(shù)據(jù)存儲原理、Flume點擊流日志數(shù)據(jù)采集
• 數(shù)據(jù)倉庫管理與數(shù)據(jù)分析：數(shù)據(jù)倉庫基本概念、數(shù)據(jù)倉庫工具HIVE快速入門、創(chuàng)建點擊流數(shù)據(jù)數(shù)據(jù)倉庫、點擊流數(shù)據(jù)分析（HiveSql）、點擊流數(shù)據(jù)分析結(jié)果導(dǎo)出（Sqoop）、報表平臺開發(fā)及數(shù)據(jù)展示、點擊流數(shù)據(jù)分析需求開發(fā)、調(diào)度系統(tǒng)使用及說明、Sqoop采集Mysql數(shù)據(jù)、跨部門數(shù)據(jù)采集管理之FTP規(guī)范、數(shù)據(jù)質(zhì)量檢測與元數(shù)據(jù)管理
• Hive開發(fā)與分布式計算框架：Hadoop ；HIve ；UDF函數(shù)編寫、Hadoop ；MapReduce計算模型、Hadoop ；MapReduce ；案例開發(fā)；Hadoop ；MapReduce ；案例開發(fā)、HadoopMapReduce原理剖析；Hadoop ；NameNode元數(shù)據(jù)備份、Hadoop ；NameNode ；HA、企業(yè)海量數(shù)據(jù)分析平臺規(guī)劃。
• 分布式內(nèi)存計算框架：升級Hive執(zhí)行引擎為Spark、使用Spark Sql完成點擊流日志業(yè)務(wù)需求、打通Spark數(shù)據(jù)收集、存儲、計算、展示流程、使用Spark處理業(yè)務(wù)數(shù)據(jù)、Spark 核心概念（RDD、DAG）、探討分布內(nèi)存文件系統(tǒng)Alluxio的使用

第六階段：構(gòu)建實時數(shù)據(jù)分析平臺

• 實時計算基礎(chǔ)課：實時計算平臺解決方案、Kafka基礎(chǔ)與常用API、使用Flume收集數(shù)據(jù)到Kafka、使用Storm對數(shù)據(jù)進(jìn)行分析、Flume+Kafka+Storm+Redis+Mysql整合
• 實時分析系統(tǒng)案例：實時日志分析需求、實時日志分析結(jié)構(gòu)說明、實時日志分析代碼開發(fā)
• 推薦系統(tǒng)：Hbase列式數(shù)據(jù)庫、實時用戶行為軌跡、電商網(wǎng)站集成推薦系統(tǒng)介紹、推薦系統(tǒng)開發(fā)流程、使用Mahout的離線計算數(shù)據(jù)MapReduce離線數(shù)據(jù)清洗、Storm實時數(shù)據(jù)清洗、推薦引擎集成
• 大數(shù)據(jù)搜索系統(tǒng)：開源分布式搜索引擎（Elasticsearch、Logstash和Kibana 

第七階段：推薦系統(tǒng)算法與源碼分析

• Python與機器學(xué)習(xí)：Python入門、機器學(xué)習(xí)概論、機器學(xué)習(xí)決策樹與Python案例、機器學(xué)習(xí)KNN與Python案例、機器學(xué)習(xí)SVM與Python案例、機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與Python案例
• Scala語言與Spark核心：Scala基礎(chǔ)、Spark Core
• 分布式框架原理：Spark源碼編譯、Master和Worker啟動流程源碼分析、SparkContext創(chuàng)建過程源碼分析、Master資源調(diào)度源碼分析、DAGScheduler執(zhí)行過程、DAG劃分Stage過程、TaskScheduler提交Task過程等等，Storm源碼編譯、任務(wù)提交機制分析、任務(wù)分配機制分析、任務(wù)執(zhí)行、任務(wù)運行機制等等

【師資介紹】

馬志強    技術(shù)講師

熟悉應(yīng)用部署，熟悉tomcat/weblogic等應(yīng)用服務(wù)器，熟悉Oracle，MySQL等數(shù)據(jù)庫。

工作經(jīng)歷（4年）

廣東發(fā)展銀行信用卡中心

郵政儲蓄銀行數(shù)據(jù)中心

孟曉偉   技術(shù)講師

計算機專業(yè)出身，精通云計算大數(shù)據(jù)的服務(wù)搭建，有多年技術(shù)講師工作經(jīng)驗。

工作經(jīng)歷（4年）

小米科技-中級工程師

軟通動力-技術(shù)培訓(xùn)師

【就業(yè)方向】

大數(shù)據(jù)作為新興行業(yè)之一，人才需求在一直居高不下，技術(shù)方向有Hadoop 大數(shù)據(jù)開發(fā)方向；數(shù)據(jù)挖掘、數(shù)據(jù)分析和機器學(xué)習(xí)方向；大數(shù)據(jù)運維和云計算方向。涉及政府辦公，金融服務(wù)，稅務(wù)管理，社保服務(wù)，醫(yī)療安全，教育等各類行業(yè)。相關(guān)的職位有大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)分析工程師、大數(shù)據(jù)咨詢顧問、大數(shù)據(jù)統(tǒng)計工程師、大數(shù)據(jù)運營經(jīng)理、大數(shù)據(jù)挖掘與處理專員、大數(shù)據(jù)存儲工程師等等。因此學(xué)好了大數(shù)據(jù)，不愁沒就業(yè)，不愁沒高薪。

【專業(yè)前景】

大數(shù)據(jù)時代的出現(xiàn)簡單的講是海量數(shù)據(jù)同完美計算能力結(jié)合的結(jié)果。確切的說是移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)產(chǎn)生了海量的數(shù)據(jù)，大數(shù)據(jù)計算技術(shù)完美地解決了海量數(shù)據(jù)的收集、存儲、計算、分析的問題。大數(shù)據(jù)時代開啟人類社會利用數(shù)據(jù)價值的另一個時代。2015年，國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》，指出信息技術(shù)與經(jīng)濟(jì)社會的交匯融合引發(fā)了數(shù)據(jù)迅猛增長，數(shù)據(jù)已成為基礎(chǔ)性戰(zhàn)略資源。堅持創(chuàng)新驅(qū)動發(fā)展，加快大數(shù)據(jù)部署，深化大數(shù)據(jù)應(yīng)用，已成為穩(wěn)增長、促改革、調(diào)結(jié)構(gòu)、惠民生和推動政府治理能力現(xiàn)代化的內(nèi)在需要和必然選擇。《綱要》提出以企業(yè)為主體，營造寬松公平環(huán)境，加大大數(shù)據(jù)關(guān)鍵技術(shù)研發(fā)、產(chǎn)業(yè)發(fā)展和人才培養(yǎng)力度，著力推進(jìn)數(shù)據(jù)匯集和發(fā)掘，深化大數(shù)據(jù)在各行業(yè)創(chuàng)新應(yīng)用，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展。