追求“極課”精神,探索教育黑科技

每期班課程都在更新迭代,所授技術與企業需求無縫對接,對標BAT等一線大廠

大數據企業的商業項目直接為學員所用,一線大牛工程師親自指導實戰開發
業務覆蓋電商、在線教育、旅游、新聞、智慧城市等主流行業,全程貫穿項目實戰
覆蓋前沿技術:Hadoop,Spark,Flink,實時數據處理、離線數據處理、機器學習
尚硅谷大咖講師+企業導師聯合授課,培養中國更“出彩”的大數據工程師

就業選擇多,薪資增長快,未來發展不可限量

大數據研發
大數據開發
大數據開發
大數據開發

大牛引路,實戰貫穿!

大數據企業的商業項目直接為學員所用,一線大牛工程師親自指導實戰開發

大數據項目谷粒電信

項目名稱 數據采集平臺項目

項目簡介 本項目主要講解大數據技術中的數據采集技術,作為大數據的開源活水,教你從頭搭建高并發、高可靠、可擴展的海量日志采集系統,供離線和在線數據分析系統使用。

項目架構 Centos7.5 + Nginx + SpringBoot + MySQL5.7 + Flume1.9 + Kafka2.4.1 + Sqoop1.4.6 + Hadoop3.1.3 + Zookeeper3.5.7 + Hive3.1.2 + Shell

項目場景 為大多數企業提供用戶行為數據采集、后臺業務數據采集的可擴展、高容錯的日志收集方案

技術點 Hadoop3.1.3安裝、HDFS存儲多目錄、多磁盤數據均衡、LZO壓縮、Hadoop基準測試、Hadoop參數調優;Zookeeper3.5.7安裝配置、啟動停止腳本;Kafka2.4.1集群配置、Kafka壓測、機器數量計算、分區數計算、啟動停止腳本;Flume1.9安裝、Flume組件和配置、自定義Flume攔截器、Flume的內存優化;Sqoop1.4.6數據導入并保證數據一致性、空值處理、LZO壓縮處理;Hive-3.1.2安裝配置、啟動、優化

項目特色 針對多種多樣、數據量大,變化快的數據源搭建數據采集系統、如何保證數據采集的可靠性的性能、如何避免重復數據、保證實現atleast-once消費語義、如何保證數據的質量,基于企業實戰經驗,給出最優解決方案,掌握數據采集核心技術要點

大數據項目谷粒城市

項目名稱 離線數據倉庫項目

項目簡介 該項目以國內電商巨頭實際業務應用場景為依托,緊跟大數據主流需求,對電商數倉的常見實戰指標以及難點實戰指標進行了詳盡講解,讓你迅速成長,獲取最前沿的技術經驗。

項目架構 Flume1.9 + Kafka2.4.1 + Sqoop1.4.6 + MySQL5.7 + Hadoop3.1.3 + Hive3.1.2 + Tez、Spark2.4.5 + Ranger2.0 + Presto + Druid + Kylin3.0 + Azkaban3.0 + Atlas2.0 + Zabbix + Griffin + Superset + Sqoop1.4.6 + Echart + Centos7.5

項目場景 數倉項目廣泛應用于大數據領域,該項目技術可以高度適配電商、金融、醫療、在線教育、傳媒、電信、交通等各領域;

技術點 采集:Flume/Kafka/Sqoop;存儲:MySQL/Hadoop/HBase/;計算:Hive/Tez;查詢:Presto/Druid/Kylin;可視化:ECharts/Superset;任務調度:Azkaban;集群監控:Zabbix;元數據管理:Atlas;腳本:Shell;權限管理:Ranger;

項目特色 本課程結合國內多家企業實際項目經驗,特別加入了項目架構模塊,從集群規模的確定到框架版本選型以及服務器選型,手把手教你從零開始搭建大數據集群。并且總結大量項目實戰中會遇到的問題,針對各個技術框架,均有調優實戰經驗總結。項目中包括:Shell腳本40多個、用戶行為原始表11張、業務表原始表27張、數倉總表近100張、標準的數倉建模理論(確定業務過程、聲明粒度、確定維度、確定事實)、包含的業務指標近100個(日活、周活、月活、新增、沉默、回流、流失、留存數、留存率、最近連續三周活躍、最近七天連續三天活躍、漏斗分析、spu個數、sku個數、商品銷量排名、商品收藏排名、商品加入購物車排名、商品退款率排名、商品差評率、單日下單筆數、單日下單金額、單日下單用戶數、單日支付筆數、單日支付金額、單日支付人數、單日支付商品數、下單到支付的平均時長、單次復購率、多次復購率、購買人數、多次購買人數、累積登錄天數、最近30日登錄天數、累積下單次數、累積下單金額、最近30日下單次數、最近30日下單金額、累積支付次數、累積支付金額、最近30日支付次數、最近30日支付金額、累積退款次數、累積退款件數、累積退款金額、最近30日被加入購物車次數、最近30日被加入購物車件數、累積被加入購物車次數。。。。)。 通過這部分學習,助學生迅速成長,獲取前沿技術經驗,從容解決實戰問題

大數據項目谷粒醫療

項目名稱 實時數據處理項目

項目簡介 對于實時性要求高的應用,如用戶即時訂單查詢,業務量監控等,需要應用實時處理架構。

項目架構 Nginx + SpringBoot + MySQL5.7 + Flume1.9 + Kafka2.4.1 + SparkStreaming2.4.5 + Canal HA + Redis + ElasticSearch + HBase2.2.4 + Phoenix + Echart + MaxWell + ClickHouse + DataV

項目場景 對于實時要求高的應用、有對數據進行實時展示和查詢需求時

技術點 分別使用Canal和Kafka搭建各自針對業務數據庫和用戶行為數據的實時數據采集系統,使用SparkStreaming消費Kafka實現精確一致性消費。搭建高吞吐的數據實時處理模塊,選用ES和HBase作為最終的實時數據處理結果的存儲位置,并從中獲取數據采用DataV進行展示。采用ClickHouse進行數據分析。針對ES和HBase對外發布接口,方便外部查詢。

項目特色 本項目讀取的用戶行為數據11張表、業務表27張、實時業務主題包括(流量、銷售、活動、異常、風控、熱門等)指標30多個。針對不同數據來源的實時數據處理制定相應方案,能廣泛適配大部分企業的實時處理系統

大數據項目谷粒旅游

項目名稱 風險控制項目

項目簡介 使用Flink框架計算各種電商網站指標,如滑動窗口TopN,日志流量統計。使用Flink框架做風控,例如監控訂單失效、 惡意登錄等需求。

項目架構 Flume1.9 + Kafka2.4.1 + Flink1.10 + Elasticsearch6 + Kibana

項目場景 電商各類指標實時計算,風險實時監控

技術點 Flink DataStream各種算子的使用,Flink Low Level API的使用,Flink CEP復雜事件處理庫的使用,Flink的流批處理功能

項目特色 這個項目的特色在于如何使用Flink解決對實時性要求非常高的場景,也就是說通過項目來學習Flink的殺手級應用場景,而非解決Spark,Storm框架等已經解決的問題

大數據項目谷粒旅游

項目名稱 推薦和機器學習項目

項目簡介 尚硅谷打造的電商推薦系統項目,就是以經過修改的中文亞馬遜電商數據集作為依托,并以某電商網站真實的業務架構作為基礎來實現的,其中包含了離線推薦與實時推薦體系,綜合利用了協同過濾算法以及基于內容的推薦方法來提供混合推薦。

項目架構 MongoDB + ElasticSearch + Redia + Spark Core + Spark SQL + Spark Mllib + Flume + Kafka + SparkStreaming + SpringBoot + AngularJS2

項目場景 讓用戶更快更好的獲取到自己需要的內容,讓內容更快更好的推送到喜歡它的用戶手中,讓平臺更有效的保留用戶資源。

技術點 以某電商網站真實的業務架構作為基礎來實現的,其中包含了離線推薦與實時推薦體系,綜合利用了協同過濾算法以及基于內容的推薦方法來提供混合推薦。具體實現的模塊主要有:基于統計的離線推薦、基于隱語義模型的離線推薦、基于自定義模型的實時推薦,以及基于內容的、和基于Item-CF的離線相似推薦

項目特色 整個項目具有很強的實操性和綜合性,對已有的大數據和機器學習相關知識是一個系統性的梳理和整合,通過學習,同學們可以深入了解推薦系統在電商企業中的實際應用,可以為有志于增加大數據項目經驗的開發人員、特別是對電商業務領域感興趣的求職人員,提供更好的學習平臺

大數據項目谷粒旅游

項目名稱 用戶畫像項目

項目簡介 用數字化的標簽描述用戶個性特征、勾畫目標用戶,用以聯系用戶訴求與設計方向。

項目架構 Flume1.9 + Kafka2.4.1 + Hadoop3.1.3 + Hive3.1.2 + SparkSQL2.4.5 + Sqoop1.4.6 + Azkaban3.0 + Zookeeper3.5.7 + MySQL5.7

項目場景 根據用戶標簽快速篩選人群,進行精準營銷

技術點 標簽定義模塊、標簽開發模塊、任務調度模塊、用戶分群UI模塊的搭建,用戶標簽窄表的定義開發,用戶標簽寬表的整合和結構轉換

項目特色 結合目前各種規模企業對于用戶畫像的需求給出最簡解決方案,在最短時間里對整個用戶畫像系統有最全面系統的認知。

大數據項目谷粒旅游

項目名稱 在線教育項目實戰

項目簡介 該項目基于洋蔥教育的實際業務場景,帶你從0到1搭建實現數據采集系統、離線指標統計、實時計算以及用戶畫像等各種實際企業需求場景。緊跟企業前沿新技術,項目在手,天下你有。

項目架構 CDH全套組件:Flume、Kafka、Hadoop、Hive、HUE、SparkSQL、SparkStreaming、Zookeeper、MySQL、DataX、PowerDesigner、IBM HeapAnalyzer、Impala

項目場景 以真實企業在線教育項目為藍圖設計的實操性很高的項目,助你了解大數據從業人員的真實工作流程;

技術點 離線指標計算:課程學習反饋指標、系統版本訪問統計、渠道新用戶統計、訪問次數分布、漏斗分析、七日留存分析;實時數據處理:實時統計VIP用戶新增數、訂單行為異常用戶及時運營、Exactly-Once語義數據消費機制;

項目特色 參照真實企業項目流程打造,從服務器搭建選型到數據處理全流程呈現,主流數據采集系統搭建,常見離線指標需求 多種解決方案,構建高可用高性能的實時流式計算

大數據項目谷粒旅游

項目名稱 實時數倉項目實戰

項目簡介 該項目采用某在線教育公司的脫敏數據,參考美團、OPPO、知乎等大數據實時數倉項目架構,大家當前主流的實時數倉項目。授課方式采用講練結合的方式,篩選出多個經典需求要求學生獨立完成,在項目完成過程中,讓學生從大數據項目的搭建到需求的實現與展示全方位的了解大數據生態,獲取寶貴的項目實戰經驗。

項目架構 Flink1.10 + HBase2.2.4 + Zookeeper3.5.7 + Hadoop3.1.3 + Kafka2.4.1 + MySQL5.7 + 阿里云服務器

項目場景 以互聯網在線教育為背景,多方面了解大數據在各行業的應用。

技術點 基于HBase和Kafka作數倉分層;數據原始層ODS,通Canal或MaxWell監聽數據庫binlog,打入Kafka;通過Flink流式處理清洗數據,并拆分出事實表數據和維度表數據,維度表數據寫入HBase,事實表寫入Kafka;Flink流式處理對接第二層Kafka,進行流與流Join得到聚合數據;流數據聚合后再使用Flink Async IO功能關聯HBase維度表數據,獲得寬表數據;通過Flink將寬表數據寫入HBase中;HBase寬表rowkey設計

項目特色 課程注重學生的實戰經驗累積培養,在項目中對大數據生態中的各個常用框架加強認知,針對不同水平學生制定對應 學習計劃,短時間內提升學生實戰水平。

大數據項目谷粒旅游

項目名稱 阿里云電商項目

項目簡介 本項目以國內電商巨頭實際業務應用場景為背景,整個數倉體系完全搭建在阿里云架構上,詳細解析了數據在整個數倉架構的從采集、存儲、計算、輸出、展示的整個業務流程。讓學員理解并學會運用各個阿里云服務組件,了解各個組件 之間如何配合聯動。

項目架構 ECS + Flume + DataHub + MaxCompute + DataWorks + RDS + QuickBI

項目場景 以真實企業項目為背景,采用阿里云平臺的全套大數據產品重構整個電商項目,其中涵蓋電商平臺的離線數倉阿里云解決方案,實時指標分析阿里云解決方案。

技術點 本項目采用阿里云服務器ECS搭配開源框架Flume進行用戶日志的采集,將采集到的數據推送到阿里云數據總線模塊DataHub,然后將DataHub的數據傳輸到大數據計算平臺MaxCompute中,利用DataWorks數據開發平臺進行數據的集成,計算和開發,得出我們需要統計的業務指標。將統計出的結果存儲到阿里云RDS數據庫中,最后用QuickBI讀取RDS中的數據做出相應的報表,展示數據。

項目特色 本項目采用全套阿里云大數據產品重構了電商平臺大數據項目,實現了電商平臺離線、實時等指標分析的阿里云解決方案。整個項目架構部署在云端,完全脫離了本地服務器,并且項目組件全部采用阿里云大數據產品,各組件之間實現了界面圖形化配置,無縫對接。

沒有對比 就沒有傷害

技術在進步,尚硅谷始終超越平凡

  • 一般機構
  • 較好機構
  • 尚硅谷教育

尚硅谷大數據課程

Java基礎 NIO MySQL JDBC HTML5與CSS3 jQuery AJAX&JSON Servlet JSP Cookie&Session Spring SpringMVC MyBatis Maven Redis Git/Git Hub Shell Linux Hadoop Hive
Zookeeper Java8 Scala Spark Core Spark SQL Spark Streaming ElasticSearch Kafka
大數據培訓機構
HBase Java9 Java10 MySQL優化 JVM原理 JUC多線程 CDH版Hadoop Impala Flume Sqoop Azkaban Oozie HUE Kettle Kylin Spark Mllib機器學習 Flink Python SpringBoot Hadoop3.x新特性 ClickHouse Kudu Presto Druid Ambari DataX Logstash Kibanna 數據結構

看課程就明白,誰才是真正的實力派

授課內容全面深入,直擊核心

第一階段

JavaSE基礎核心

  • Java入門語法
  • 面向對象核心
  • 集合與泛型
  • 線程機制
  • 網絡編程
  • 項目:客戶管理系統/考試管理系統/銀行管理系統
  • 流程控制結構
  • 異常體系
  • 反射體系
  • IO流
  • 設計模式
  • JDK8/9/10新特性
第二階段

數據庫關鍵技術

  • MySql安裝和使用
  • DML(數據操縱語言)
  • DCL(數據控制語言)
  • 存儲過程和函數
  • JDBC核心技術
  • 自定義BaseDAO
  • SQL語言解析
  • DDL(數據定義語言)
  • 觸發器
  • 索引和優化
  • DBUtils
  • 數據庫連接池
第三階段

大數據基礎核心

  • Maven
  • Mysql高級
  • Hadoop
  • Hive
  • Kafka
  • 數據采集平臺項目
  • Linux
  • Shell
  • Zookeeper+HA
  • Flume
  • HBase
第四階段

Spark生態體系框架
&
大數據高薪精選項目

  • Scala語言
  • Spark SQL
  • Kylin
  • Druid
  • Sqoop
  • Spark Core
  • Spark內核
  • Presto
  • 元數據管理
  • 企業級接軌項目:離線數據倉庫項目
第五階段

Spark生態體系框架
&
企業無縫對接項目

  • Spark Streaming
  • Redis緩存數據庫
  • GIT & GIT Hub
  • 在線教育項目實戰(阿里云)
  • JVM優化
  • ElasticSearch
  • Kibana
  • 企業級接軌項目:實時分析項目
  • Spark優化
  • Scala算法&數據結構
第六階段

Flink流式數據處理框架

  • Flink Environment
  • Flink DataSet
  • Flink Window
  • Flink State & Checkpoint
  • 企業級接軌項目:實時分析項目
  • Flink on Yarn
  • Flink DataStream
  • Flink Watermark
  • 企業級實戰項目:風險控制項目
  • CDH數倉項目(impala+Hue+Sentry+Oozie)

管理體系

從心出發,助你學習、求職、晉升一路順暢!

入學
測驗

科學量化開發潛力
從一開始就知道自己的特長,讓學習更明確!

學習小組,自習輔導,階段測評,個人學習分析
講師、助教、班主任時時陪同,讓你從此愛上學習!

實時教學
反饋系統
職業能
力拓展

縱向拓展專業技術,橫向拓展綜合實力
擠進尚硅谷,注定你優秀,不只是說說而已!

就業
指導

知名企業技術大牛分享,老學員分享
在尚硅谷,你永遠不是一個人在奮斗!

尚硅谷java培訓學員風采1
關于尚硅谷
教育理念
名師團隊
學員心聲
資源下載
視頻下載
資料下載
工具下載
加入我們
招聘崗位
崗位介紹
招賢納師
聯系我們
電話:010-56253825
郵箱:[email protected]
地址:北京市昌平區宏福科技園綜合樓6層(北京校區)

 深圳市寶安區西部硅谷大廈B座C區一層(深圳校區)

上海市松江區谷陽北路166號大江商廈6層(上海校區)

易发8键奔驰宝马出分规律 体彩6十1走势图分类 北京pk10走势图怎么分析 福建快3开装结果 佰亿配资 pk10怎么算冠军口诀 上证指数什么股票指数 贵州11选5前二组遗漏 加拿大快乐8域名过期 北京11选5走势 在线配资 杨方配资 湖北快三预测推荐号码 十一选五开奖结果20期 河南22选5大星走势图 彩票可以网上购买么 厦门股票配资公司 排列三坐标连线走势图