大數據就業班課程詳細列表

第一階段:JavaSE

初識Java 數據類型和運算符 控制語句和方法 數組及其查找排序算法

第二階段:Oracle數據庫+MySQL+JDBC

數據庫和Oracle入門 SQL語句:單表select、DDL SQL語句:連接查詢和子查詢 數據庫對象 三大范式 MySQL PowerDesigner JDBC DBC案例:員工管理系統 XML和反射機制 SQL面試題詳解和SQL查詢優化

第三階段:Web前端基礎(HTML5+CSS3+JavaScript+jQuery)

HTML/HTML5 CSS/CSS3 JavaScript jQuery

第四階段:JavaEE階段(Servlet+JSP+JSTL/EL+Ajax+EasyUI)

Servlet JSP MVC模式、JSTL/EL 過濾器和監聽器 分頁和上傳下載技術 jQuery Ajax、JSON、Gson EasyUI JavaEE課上項目

第五階段:企業最流行開發框架SSM(SpringMVC+Spring+MyBatis)

MyBatis Spring SpringMVC SSM項目開發:神州租車平臺

第六階段:高并發集群

Linux Maven Dubbo和Zookeeper VSFTPD和Nginx Redis緩存框架 電商Ego SpringBoot SpringCloud

第七階段:大數據基礎

Linux安裝與配置 系統管理與目錄管理 用戶和用戶組管理 Shell編程 服務器配置 Vi編輯器與Emacs編輯器 Hadoop起源與安裝 MapReduce快速入門 Hadoop分布式文件系統 Hadoop文件I/O詳解 MapReduce工作原理 MapReduce編程開發

第八階段:linux和高并發

Linux基礎 Linux初級 Linux文本操作 Linux文本分析 Linux管理 Linux安裝管理 Linux高級 Linux腳本編程 Linux腳本案例 網絡基礎 四層負載均衡 Keepalived實現高可用 Nginx原理與配置 Nginx的反向代理和負載均衡 Session和緩存

第九階段:Hadoop生態體系

HDFS基本概念 HDFS高級概念 MR MR源碼解析 MapReduce案例 Hive介紹及架構 Hive架構 Hive DDL Hive DML Hive查詢 Hive訪問方式 Hive安全管理 Hive存儲及壓縮 Hbase介紹及架構 Hbase架構及操作 Hbase Java API Hbase壓縮存儲 Flume架構 flume source講解 flume sink講解 Sqoop介紹及架構 Sqoop操作 zookeeper ElasticSearch CDH cloudera manager使用 Hue的使用 Impala的安裝使用 Oozie的使用

第十階段:Spark生態體系

Scala基礎語言應用 Scala函數編程 Scala字符串、集合 Scala高級應用 Spark基礎使用 Spark核心RDD Spark 轉換算子 Spark行動算子 Spark 持久化算子 Spark任務提交方式及參數 Spark術語 Spark計算模式 Spark任務調度 Spark任務提交案例 Spark 高階應用 Spark 核心之Shuffle SparkSQL初級 SparkSQL高級 SparkStreaming流式處理框架 Kafka分布式消息系統應用 SparkStreaming+kafka整合 Redis語法 Storm流式計算 Storm計算詳解

第十一階段:機器學習和算法

Python介紹及安裝 Python基礎知識 Python集合類型 Python函數 Python文件操作 Python類與對象 設計模式與異常 Python模塊及數據庫操作 Numpy庫 機器學習基礎 機器學習算法 機器學習案例

第十二階段:平臺架構師課程體系

Hive優化 hbase優化 Spark核心源碼分析 Spark核心源碼分析 Spark優化 機器學習優化 Kylin介紹及架構 kylin的安裝與部署 kylin的使用及訪問方式 Flink流式處理框架

大數據就業班課程大綱

第一階段

JavaSE
  • 01初識Java

    DOS常見命令

    Java跨平臺原理

    JDK安裝和環境變量配置

    第一個Java程序的編寫和運行

    注釋

    反編譯工具jd-gui

  • 02數據類型和運算符(1)

    進制及其轉換

    標識符

    字符編碼

    常量和變量

    八大基本數據類型

    final常量 / Scanner / 算術運算符

  • 03數據類型和運算符(2)

    賦值運算符

    關系運算符

    邏輯運算符

    位運算符 / 條件運算符

    運算符的優先級關系

    基本數據類型的自動轉換和強制轉換

  • 04控制語句和方法

    if-else選擇結構

    switch多重選擇結構

    while循環

    do-while循環

    for循環 / 多重循環

    循環跳轉break和continue

    方法定義和調用 / 方法重載

  • 05數組及其查找排序算法 (1)

    數組的特點和優缺點

    一維數組及其應用

    for-each循環

    使用數組做方法參數

    順序查找

    數組工具類

    可變參數 / 二維數組及其應用

  • 06數組及其查找排序算法 (2)

    eclipse安裝和使用

    eclipse下調試程序

    遞歸

    折半查找

    冒泡排序

    選擇排序

    直接插入排序

第二階段

Oracle數據庫
+
MySQL+JDBC

第二階段

Oracle數據庫
+
MySQL+JDBC
  • 01數據庫和Oracle入門

    數據庫相關概念

    認識Oracle

    安裝和卸載Oracle

    Oracle目錄和用戶

    配置監聽器和本地網絡服務名

    創建用戶和分配權限

  • 02SQL語句:單表select、DDL

    select子句

    去除重復行

    where條件查詢

    order by排序 / 使用函數

    group by分組 / having分組篩選

    insert / update / delete

  • 03SQL語句:連接查詢和子查詢

    內連接 / 外連接 / 自連接

    集合查詢 / SQL99連接查詢 / SQL92連接查詢

    不相關子查詢

    相關子查詢

    rowid / rownum

    分頁查詢語句

  • 04數據庫對象

    數據庫表table

    五種約束constraints

    索引index / 序列sequence / 視圖view

    存儲過程procedure

    事務transaction / 導入導出數據

  • 05三大范式

    范式及作用

    第一范式

    第二范式

    第三范式

    一對一 / 一對多 / 多對多關系

  • 06MySQL

    MySQL簡介

    數據庫表列類型

    SQL語句

    導入導出數據

    navicat的使用

  • 07PowerDesigner

    認識PowerDesigner

    概念數據模型CDM / 物理數據模型PDM

    反向工程 / 數據庫設計案例

  • 08JDBC(1)

    JDBC及其特點

    使用JDBC完成CRUD

    Connection / Statement / ResultSet

  • 09JDBC(2)

    PreparedStatement的優點和使用

    防止SQL注入

    手動事務操作

  • 10DBC案例:員工管理系統

    分層開發 / 查詢所有員工 / 查詢指定編號員工

    提取工具類DBUtil / 提取業務層

    復用代碼 / 添加員工 / 更新員工 / 刪除員工

    完善DBUtil類

    使用Properties類讀取屬性文件

    后臺數據庫修改為MySQL / log4j

  • 11XML和反射機制

    XML特點和語法

    XML約束 / 反射作用和使用場合

    Class / Constructor / Field / Method

    使用反射完成動態操作

    使用反射模擬Hibernate的查詢操作

    ORM對象關系映射思想

  • 12SQL面試題詳解和SQL查詢優化

    涉及分組

    連接

    子查詢的SQL面試題講解

    SQL查詢優化

第三階段

Web前端基礎
HTML5
+
CSS3
+
JavaScript
+
jQuery
  • 01HTML/HTML5(1)

    HTML入門

    head標簽

    body標簽

    簡單標簽

    圖片img

    超鏈接a

    列表list

  • 02HTML/HTML5(2)

    字符實體

    表格table

    表單form

    框架集frameset

    浮動框架iframe

    圖層div

    行內元素和塊元素

  • 03CSS/CSS3

    CSS樣式基礎

    三種引入方式

    基本選擇器

    復合選擇器

    超鏈接偽類樣式

    常用CSS樣式

    盒子模型 / CSS案例練習

  • 04JavaScript(1)

    JS入門 / JS基本語法

    函數 / 數組 / Date

    String / 事件機制

    瀏覽器開發者工具

    console

    BOM和DOM基礎

    window / location

  • 05JavaScript(2)

    navigator

    history

    DOM獲取元素

    DOM操作屬性

    DOM操作樣式

    DOM操作文本

    DOM操作元素

  • 06jQuery

    jQuery入門

    jQuery對象和DOM對象 / $的作用

    jQuery各種選擇器

    操作屬性 / 操作樣式和文本 / 操作元素

    事件和動畫 / 表單驗證/ 正則表達式

    jQuery案例練習(表格、Tab、菜單等)

    jQuery框架

第四階段

JavaEE階段
Servlet+JSP
+
JSTL/EL+Ajax
+
EasyUI
  • 01Servlet

    HTTP協議 / HTTP請求頭和響應頭 / 理解無狀態協議

    Tomcat安裝使用 / 目錄結構 / 架構原理

    Servlet作用 / Servlet / GenericServlet

    HttpServlet / Servlet生命周期

    HttpServletRequest / HttpServletResponse

    GET和POST區別 / 解決中文亂碼 / 轉發和重定向

    絕對路徑和相對路徑 / HttpSession / Cookie

    ServletContext/ ServletConfig / 注解 / Servlet3.0

  • 02JSP

    Servlet和JSP的關系

    JSP頁面組成

    scriptlet

    表達式

    聲明

    指令標簽 / 動作標簽

    JSP底層原理

    9大內置對象 / 4大作用域

  • 03MVC模式、JSTL/EL

    MVC模式

    合并Servlet

    EL的使用

    JSTL常用標簽

    EL/JSTL底層原理

    多條件查詢

  • 04過濾器和監聽器

    引入過濾器

    解決中文亂碼問題

    進行權限驗證

    職責鏈模式

    過濾器的更多原理細節

    監聽器作用

    類型和使用

  • 05分頁和上傳下載技術

    Web項目分頁的必要性

    分頁工具的創建和使用 / 基本分頁

    基本分頁優化 / 帶查詢條件的的分頁

    理解上傳下載的基本思路

    commons-fileUpload上傳API

    實現上傳文件到指定目錄 / 保存上傳信息到數據庫

    將服務器的圖片在客戶端下載

  • 06Ajax、jQuery Ajax、JSON、Gson

    理解Ajax異步請求和刷新的原理和過程

    使用原生Ajax完成多個操作

    使用jQuery Ajax改造多個操作

    JSON的定義和使用

    Gson的使用

    jQuery Ajax+JSON返回復雜數據

    三級聯動 / 自動提示

  • 07EasyUI

    認識EasyUI

    EasyUI使用入門

    登錄頁面

    后臺主頁面布局

    帶查詢條件分頁操作

    添加

    更新和刪除操作

  • 08JavaEE課上項目

    全面練習JSP/Servlet核心技能

    MVC模式 / Ajax / 數據庫設計和多表SQL操作

    PowerDesigner繪制數據庫模型圖

    業務流程圖 / 多種面向對象模型圖

    使用ThreadLocal實現業務層事務

    RBAC權限管理、URL權限攔截

    POI、Echarts、JUnit

    My97DatePicker、kindeditor等輔助技術

  • 09階段項目

    團隊開發

    SVN的安裝和使用

    豐富的案例庫

    進度控制

    數據庫設計

    FAQ

    日報

    PPT設計 / 項目答辯

第五階段

企業最流行開發框架SSM
SpringMVC
+
Spring+MyBatis
  • 01MyBatis

    基本功能 / 框架原理

    使用環境搭建

    核心配置文件

    數據庫映射文件

    MyBatis配置詳解

    事務 / MyBatis多表查詢

    關聯映射 / 動態SQL

    MyBatis緩存機制

    MyBatis注解式開發

  • 02Spring

    框架特點 / 環境搭建 / 工廠模式

    IoC原理 / IoC容器的基本配置和使用

    多種創建對象的方式 / 多種依賴注入的方式

    靜態代理 / 動態代理

    4種常用的通知類型

    傳統方式實現AOP開發

    AspectJ實現AOP開發

    聲明式事務原理及其實現

    Spring整合MyBatis

  • 03SpringMVC(1)

    MVC模式

    SpringMVC環境搭建

    Spring和SpringMVC區別和聯系

    SpringMVC執行流程

    常見組件講解

    基本配置

    請求映射

    跳轉方式

    視圖解析器

  • 04SpringMVC(2)

    Spring內置對象傳值

    接受和返回JSON數據

    文件上傳和下載

    自定義攔截器

    攔截器棧

    SpringMVC對Date類型進行攔截練習

  • 05SSM項目開發:神州租車平臺(1)

    系統整體的需求分析

    模塊分解

    用戶管理模塊

    車輛管理模塊

    訂單管理模塊

    信息展示模塊

  • 06SSM項目開發:神州租車平臺(2)

    權限管理模塊

    會員管理模塊

    日志管理等

    鞏固SSM項目

    提升項目開發能力

    業務分析能力和團隊協作能力等

第六階段

高并發集群

第六階段

高并發集群

第六階段

高并發集群

第六階段

高并發集群
  • 01Linux

    Linux簡介

    VMWare安裝及CentOS6.5安裝(快照功能)

    Linux系統常用目錄介紹

    Linux中常用命令

    Xshell5安裝 / FileZilla安裝及使用

    JDK解壓版配置

    Tomcat解壓版配置

    MySQL解壓版配置

    部署項目到Linux服務器步驟

  • 02Maven

    Maven簡介 / Maven的優勢

    配置Maven運行環境

    Maven項目創建

    使用Maven構建Web應用

    使用Maven構建SSM應用

    Maven倉庫

    Maven坐標以及依賴管理

    Maven構建聚合項目 / 分布式介紹

    使用Nexus搭建Maven私有倉庫

  • 03Dubbo和Zookeeper

    Dubbo簡介及結構圖

    Dubbo支持的幾種Registry

    Zookeeper簡介

    Zookeeper安裝

    Dubbo支持的幾種Protocol

    Dubbo項目搭建

    Admin管理界面

    Assembly打包

    監控中心搭建

  • 04VSFTPD和Nginx

    FTP協議

    VSFTPD簡介 / VSFTPD安裝

    FTPClient

    Nginx簡介

    Nginx安裝

    反向代理

    Nginx反向代理配置

    Nginx配置負載均衡

  • 05Redis緩存框架

    Redis簡介

    Redis安裝

    配置文件詳解

    數據備份方案

    常用命令

    Jedis

    Redis集群

    Spring整合Redis

  • 06電商Ego-1(1)

    使用Maven搭建SOA架構項目

    電商項目介紹 / 開發環境搭建

    完成后臺商品查詢 / 門戶導航菜單功能

    VSFTPD+Nginx實現上傳及回顯

    電商項目商品新增 / 圖片上傳

    Dubbo+分頁插件+逆向工程實現新增

    規格參數的查詢 / 規則參數的批量刪除

    商品新增時同時新增商品規格參數信息

  • 07電商Ego-1(2)

    基于EasyUI的datagrid實現查詢和規格參數管理

    需求分析

    JSONP

    完成導航菜單功能

    CMS系統實現

    內容分類查詢

    內容分類新增

    內容分類重命名

    內容分類刪除

    內容查詢 / 內容新增 / 內容刪除 / 內容修改

  • 08電商Ego-2(1)

    Redis集群緩存大廣告位數據

    分析門戶中大廣告需求

    Redis集群安裝

    完成門戶大廣告顯示

    完成后臺大廣告緩存數據同步

    Solr+SolrCloud

    Solr簡介 / Solr單機版搭建

    Analyzer配置業務字段

    SolrJ操作Solr / SolrCloud搭建

    Solr實現搜索商品 / 商品搜索功能業務分析

  • 09電商Ego-2(2)

    Solr數據初始化

    編寫Ego-Search項目

    HttpClient

    Redis緩存商品+延遲顯示商品描述

    商品詳情需求分析

    完成商品詳情 / 商品介紹功能

    規格參數顯示功能

    SSO單點登錄系統實現 / SSO簡介

    復習HttpSession和Cookie

    搭建ego-passport并編寫代碼

  • 10電商Ego-3(1)

    Redis存儲購物車信息

    添加購物車信息 / 顯示購物車信息

    添加商品數量

    刪除商品

    Order訂單系統實現

    訂單需求分析 / 訂單系統實現

  • 11電商Ego-3(2)

    虛擬主機+負載均衡+虛擬域名

    部署Dubbo

    部署ego-portal / 部署ego-item

    設置虛擬域名

    配置Nginx負載均衡

    MyCat分庫分表+熱部署實現總體服務器環境

  • 12電商Ego-3(3)

    安裝MySQL

    MySQL主從備份

    MyCat簡介

    MyCat配置

    生產環境搭建

    Maven遠程部署

  • 13SpringBoot(1)

    發展史

    SpringBoot簡介

    環境搭建 / 配置文件

    整合jdbcTemplate / 整合MyBatis

    整合模板引擎 / 整合Redis

  • 14SpringBoot(2)

    結合Dubbo

    創建本地服務器

    文件上傳

    攔截器 / 錯誤處理

    聲明式事務

  • 15SpringCloud(1)

    簡介

    創建注冊中心

    創建服務提供者

    消費者 / 服務消費(feign)

    斷路器 / 過濾器 / zuul路由器

  • 16SpringCloud(2)

    多注冊中心

    服務跟蹤(zipkin-server)

    配置中心(服務器) / 配置引用(客戶端)

    消息總線-rabbitmq安裝

    消息總線-實現配置刷新

  • 17本階段2018年新增加課程(1)

    1.MyCat:Mycat是一款數據庫中間件,其用于分庫分表,還實現了讀寫分離,故障切換等功能。
    2.SpringBoot:目前流行微服務的概念,SpringBoot是其中的實現。SpringBoot同時極大的降低了新手上手難度,提高開發效率。
  • 18本階段2018年新增加課程(2)

    3.SpringCloud:SpringCloud是一系列框架的有序集合。它利用SpringBoot的開發便利性巧妙地簡化了分布式系統基礎設施的開發,如服務發現注冊、配置中心、消息總線、負載均衡、數據監控等。

第七階段

大數據基礎

第七階段

大數據基礎
  • 01Linux安裝與配置

    Linux常見版本及VMware

    安裝Linux至硬盤及虛擬機安裝Linux系統

    虛擬機網絡配置(IP地址、主機名、防火墻)

    超級用戶root

    關于硬盤驅動程序

    進階:配置Grub、CSS預處理器LESS框架使用

    CSS組件框架編寫

  • 02系統管理與目錄管理

    Shell基本命令

    使用命令行補全和通配符(find命令、locate命令)

    查找特定程序

    whereis

    Linux系統文件的架構(移動、復制和刪除)

    文件和目錄的權限

    文件類型與輸入輸出

  • 03用戶和用戶組管理

    軟件包管理

    磁盤基本管理命令

    高級硬盤管理RAID和LVM

    進階:備份你的工作和系統

    用戶與用戶組管理

    內存使用監控命令

    軟件安裝方式 / 進程管理

  • 04Shell編程

    Shell腳本編程概述

    正則表達式(字符集和單詞、字符類)

    Shell腳本編程

    腳本執行命令和控制語句

    Shell定制 / 個性化設置

    修改.bashrc文件

    Shell腳本調試

  • 05服務器配置

    系統引導

    管理守護進程

    通過xinetd啟動SSH服務

    配置inetd

    Apache基礎 / 設置Apache服務器

    PHP基礎

    配置DHCP服務

  • 06Vi編輯器與Emacs編輯器

    vi中的常用命令

    vi中的字符與文件操作

    vi中的窗口操作

    emacs概述

    emacs文本編輯

    emacs緩沖區和窗口

    emacs擴展工具

  • 07Hadoop起源與安裝

    大數據概論

    Google與Hadoop模塊

    Hadoop生態系統

    Hadoop常用項目介紹

    Hadoop環境安裝配置

    Hadoop安裝模式

    Hadoop配置文件

  • 08MapReduce快速入門

    WordCount準備開發環境

    MapReduce編程接口體系結構

    MapReduce通信協議

    導入Hadoop的JAR文件

    MapReduce代碼的實現

    打包

    部署和運行 / 打包成JAR文件

  • 09Hadoop分布式文件系統

    識HDFS及其HDFS架構

    Hadoop的RPC機制

    HDFS的HA機制

    HDFS的Federation機制

    Hadoop文件系統的訪問

    JavaAPI接口與維護HDFS

    HDFS權限管理

  • 10Hadoop文件I/O詳解

    Hadoop文件的數據結構

    HDFS數據完整性

    文件序列化

    Hadoop的Writable類型

    Hadoop支持的壓縮格式

    Hadoop中編碼器和解碼器

    (gzip、LZO和Snappy比較)

  • 11MapReduce工作原理

    MapReduce函數式編程概念

    MapReduce框架結構

    MapReduce運行原理

    Shuffle階段和Sort階段

    任務的執行與作業調度器

    自定義Hadoop調度器

    YARN架構及其工作流程

  • 12MapReduce編程開發

    WordCount案例分析

    輸入輸出格式

    壓縮格式與MapReduce優化

    輔助類與Streaming接口

    MapReduce二次排序

    MapReduce Join算法

    從MySQL讀寫數據 / Hadoop系統調優

第八階段

linux和高并發

第八階段

linux和高并發

第八階段

linux和高并發
  • 01Linux基礎

    操作系統概述

    Linux內核與GNU介紹

    Linux發行版介紹

    虛擬化安裝centos / 虛擬網絡編輯器

    規劃多主機網絡通信

    虛擬化管理快照與克隆

    SSH客戶端使用與配置

  • 02Linux初級

    Linux命令行原理

    help內部命令幫助

    man命令8種幫助手冊

    df/du文件系統分析

    文件系統HFS規范

    文件系統管理命令

    bash的{}、$擴展

  • 03Linux文本操作

    文件內容預覽命令

    管道的使用

    基于管道的文件游標預覽

    日志文件追蹤

    vi命令的快捷操作

    vi命令的編輯模式

    vi命令的末行模式

  • 04Linux文本分析

    grep檢索文件 / 正則表達式

    文本分析命令cut

    文本分析命令sort

    文本分析命令wc

    文本分析命令sed

    sed案例:正則和s命令另類使用

    文本分析命令awk

    awk腳本案例:統計報表

  • 05Linux管理

    系統服務配置文件

    用戶管理

    組管理

    權限管理

    案例:多用戶角色資源綁定

    網絡管理

    進程管理

    后臺服務管理

  • 06Linux安裝管理

    操作系統軟件安裝原理

    源碼編譯安裝及原理

    RPM包管理機制原理

    RPM的查詢、安裝、卸載

    YUM倉庫原理

    YUM本地、局域網倉庫源配置

    案例:維護多個YUM源

    YUM安裝中文幫助文檔

  • 07Linux高級

    shell原理、命令原理

    shell解釋器的4種腳本執行方式

    shell函數、內部命令、外部命令總結

    文件描述符與重定向

    輸出重定向的6種方式

    輸入重定向的4種方式

    案例:重定向http協議到網站請求主頁

  • 08Linux腳本編程

    本地、局部變量 / 位置、特殊變量

    父子進程、環境變量

    linux中for進程原理 / 管道的子進程執行原理

    引用、命令替換擴展

    命令狀態與邏輯判斷

    算數表達式及bash擴展 / 條件表達式

    流程控制語句&bash詞的拆分擴展

  • 09Linux腳本案例

    shell腳本:用戶管理

    shell腳本:文件管理

    shell腳本:增強for循環遍歷文件

    shell腳本:游標for循環遍歷文件

    shell腳本:重定向while循環遍歷文件

    shell腳本:管道+while循環遍歷文件

    bash解釋器的7中命令擴展總結

  • 10網絡基礎

    高并發及解決方案概述

    TCP/IP協議資深講解:應用層

    TCP/IP協議資深講解:傳輸控制層

    TCP/IP協議資深講解:TCP協議/報文/三次握手

    TCP/IP協議資深講解:網絡層

    TCP/IP協議資深講解:路由表和IP協議原理

    TCP/IP協議資深講解:鏈路層

    TCP/IP協議資深講解:ARP協議及交換機原理

  • 11四層負載均衡

    四層負載均衡LVS拓撲

    NAT網絡原理

    LVS的DNAT模式分析

    LVS的DR模式分析

    LVS的TUN模式分析

    LVS的靜態調度算法

    LVS的動態調度算法 / 內核配置ARP協議

    LVS的命令講解 / LVS的DR模式實驗搭建

  • 12Keepalived實現高可用

    高可用概述

    健康檢查及故障遷移策略

    分布式選主策略

    keepalived原理

    keepalived配置文件詳解

    基于keepalived的高可用LVS

    高可用驗證

    后端健康檢查驗證

  • 13Nginx原理與配置

    單點性能壓力下的面向服務開發理論

    反向代理服務器原理

    Nginx介紹 / Nginx和Apache的httpd對比

    IO的阻塞模型和異步非阻塞模型

    Nginx角色框架原理 / Nginx的內核參數配置

    Nginx的內核sendfile零拷貝原理

    Nginx的TCP配置

  • 14Nginx的反向代理和負載均衡

    Nginx的虛擬服務器原理

    Nginx的location匹配規則

    Nginx的自動索引

    Nginx的反向代理服務器配置

    Nginx的upstream負載均衡配置

    Nginx的DNS負載均衡配置

    Nginx負載均衡下數據一致性解決方案

  • 15Session和緩存

    Session一致性問題

    Session復制

    Session共享

    Session同步

    Memcached的緩存

    K-V格式緩存

    Tomcat和Memcache / 緩存服務器

第九階段

Hadoop生態體系

第九階段

Hadoop生態體系

第九階段

Hadoop生態體系

第九階段

Hadoop生態體系

第九階段

Hadoop生態體系
  • 01HDFS基本概念

    1T文件處理

    Hadoop歷史 / Hadoop架構

    NameNode講解

    SecondaryNameNode講解

    DataNode與副本防治策略

    HDFS權限 / HDFS安全模式

    HDFS文件上傳流程 / HDFS讀文件流程

    偽分布式集群搭建

  • 02HDFS高級概念

    hadoop完全分布式集群搭建

    hadoop3新特性

    NameNode的Federation

    NameNode-HA

    NameNode-HA集群搭建

    NameNode-HA手動切換

    NameNode-HA自動切換

    java客戶端操作HDFS

  • 03MR

    MapReduce簡介與原語

    MapReduce執行流程

    二次排序

    MapReduce作業提交流程

    MapReduce作業執行流程

    YARN-ResourceManager-HA搭建

    運行自帶的wordcount程序

    手寫wordcount程序

  • 04MR源碼解析

    MapReduce作業提交流程源碼解析

    作業切片計算的源碼解析

    MapTask輸入方式的源碼解析

    MapTask執行流程源碼解析

    MapTask輸出方式的源碼解析

    MapTask環形緩沖區源碼解析

    RedueTask的shuffle源碼解析

    ReduceTask分組的源碼解析

    ReduceTask輸出的源碼解析

  • 05MapReduce案例

    天氣案例需求分析 / 天氣案例映射為MR原語

    天氣案例鍵值對設計 / 天氣案例開發和運行

    天氣案例排序比較器分組比較器設計

    好友推薦需求分析 / 好友推薦映射為MR原語

    好友推薦鍵值對設計 / 好友推薦開發和運行 / 好友推薦TopN

    PageRank簡介及算法介紹 / PageRank映射為MR原語

    PageRank鍵值對設計 / PageRank編碼和運行

    TFIDF簡介及算法 / TFIDF映射為MR原語

    TFIDF鍵值對設計 / TFIDF編碼和運行

    itemCF簡介及算法 / itemCF鍵值對設計 / itemCF編碼和運行

  • 06Hive介紹及架構

    hive的介紹

    數據倉庫概念講解

    數據倉庫與數據庫區別

    Hive的架構原理

    Hive元數據講解

    Hive的使用場景

    Hive的優缺點

    Hive的執行引擎

    Hive操作符

    Hive語法解析

  • 07Hive架構

    linux環境下mysql安裝

    mysql登錄權限修改

    Hive三種安裝搭建模式

    Hive元數據存儲到mysql

    基于內存數據庫模式搭建

    基于遠程數據庫模式搭建

    基于遠程數據庫服務搭建

    Hive配置文件講解 / Hive命令操作

  • 08Hive DDL1

    Hive基礎數據類型

    Hive復雜數據類型

    Hive數據類型轉換

    Hive創建數據庫

    Hive創建表三種方式

    Hive創建管理表

    Hive創建外部表

    Hive數據讀取規則Row Format

  • 09Hive DDL2

    Hive數據讀取規則 Serde

    Hive靜態分區管理

    Hive動態分區管理

    Hive刪除表

    Hive修改表

    Hive分桶表管理

    Hive視圖

    Hive索引

  • 10Hive DML

    Hive從本地加載數據

    Hive從hdfs加載數據

    Hive通過查詢插入數據

    Hive插入數據到指定目錄

    Hive insert values插入操作

    Hive事務管理

    Hive事務特性

    Hive事務配置

    Hive修改數據 / Hive刪除數據 / Hive清空數據

  • 11Hive查詢

    Hive全表查詢

    Hive條件查詢

    Hive分組查詢

    Hive運算符

    Hive內置函數

    Hive自定義函數

    Hive表連接

    Hive排序方式

    Hive嵌套查詢 / Hive行轉列

  • 12Hive訪問方式

    Hive命令行方式

    Hive元數據管理

    Hiveserver2講解

    Hive beeline客戶端講解

    Hive JDBC操作

    Hive參數

    Hive變量

    Hive腳本運行方式

    Hive GUI方式

  • 13Hive安全管理

    Hive授權模式

    Hive Legacy Mode

    Hive 基于SQL標準授權模型

    Hive 基于元數據授權模型

    Hive角色管理

    Hive授權命令

    Hive回收權限命令

  • 14Hive存儲及壓縮

    Hive存儲壓縮管理

    Hive列式存儲 / Hive行式存儲

    Hive textfile

    Hive sequencefile

    Hive orc file

    Hive parquet file

    Hive map端輸出 / Hive reduce端輸出

  • 15Hbase介紹及架構

    hbase介紹 / NoSQL介紹

    Hbase特點 / Hbase存儲數據結構

    Hbase數據模型 / Hbase表結構介紹

    Hbase架構圖 / Hbase角色

    Hbase內存結構介紹

    Hbase存儲數據結構LSM樹

    Hbase寫數據流程 / Hbase讀數據流程

  • 16Hbase架構及操作

    Hbase standalone模式安裝

    Hbase 完全分布式安裝

    Hbase 高可用

    Hbase搭建注意

    Hbase基本命令

    Hbase DDL命令 / Hbase DML命令

    Hbase命名空間命令

  • 17Hbase Java API

    Hbase創建表 / Hbase刪除表

    Hbase插入數據 / Hbase更新數據

    Hbase刪除數據

    Hbase獲取一條數據

    Hbase獲取某個范圍的數據

    Hbase過濾器

    Hbase與MR集成 / Hbase與hive集成

  • 18Hbase壓縮存儲

    Protobuffer講解

    Protobuffer安裝

    Protobuffer配置基本類型

    Protobuffer配置集合類型

    Protobuffer生成Java類

    Hbase讀取Protobuffer生成的類

    Hbase壓縮存儲

  • 19Flume架構

    Flume日志收集工具

    Flume agent架構

    Flume組件

    Flume集群講解

    flume不同架構介紹

    flume安裝 / flume配置信息

    flume單臺安裝 / flume集群安裝

    flume高可用講解

  • 20flume source講解

    Avro source

    Thrift source

    Exec source

    Spooling directory source

    Kafka source

    Netcat source

    自定義Source

    Source的分類

  • 21flume sink講解

    Hdfs sink

    Hive sink

    Hbase sink

    Avro sink

    Thrift sink

    Logger sink

    Kafka sink

    自定義Sink

  • 22Sqoop介紹及架構

    Sqoop簡介

    ETL講解

    Sqoop架構圖

    Sqoop架構設計

    Sqoop版本介紹

    Sqoop導入

    Sqoop導出

    Sqoop安裝 / Sqoop配置

  • 23Sqoop操作

    Sqoop導入數據到hdfs

    Sqoop導入數據到hive

    Sqoop導入數據到hbase

    Sqoop通過查詢語句到hdfs

    Sqoop導出數據到mysql

    導出配置

    Hdfs配置 / Hbase配置

    數據庫配置

  • 24zookeeper

    分布式協調框架

    Zookeeper背景與介紹

    分布式zookeeper環境及安裝

    Zookeeper源語命令操作

    關于節點類型、版本、元數據信息的意義

    Zookeeper 的api 環境java操作集群演示

    事件注冊與節點的變更

    基于zookeeper的分布式協調案例

  • 25ElasticSearch

    ElasticSearch的現狀與前景

    Lucene框架與倒排索引原理

    Lucene框架在el search搜索引擎中的作用

    ElasticSearch全分布式特性

    ElasticSearch的環境要求與安裝

    Curl命令與rest風格的使用

    Api搜索項目演示1

    Api搜搜項目演示2

  • 26CDH

    國內外大數據平臺介紹

    Cloudera產品介紹

    什么是CDH

    什么是cloudera manager

    什么是cloudera manager service

    cloudera manager框架原理

    集群基礎設施配置

    純手工安裝cloudera manager

  • 27cloudera manager使用

    cloudera manager部署CDH

    cloudera manager管理主機

    cloudera manager管理集群、管理服務

    cloudera manager管理實例、管理配置

    cloudera manager管理監控、管理資源

    cloudera manager service圖表使用

    cloudera manager service圖表創建

    cloudera manager service的dashboard

  • 28Hue的使用

    Hue介紹

    Hue安裝

    Hue的HDFS管理與使用

    Hue的YARN管理與使用

    Hue的HIVE管理與使用

    Hue的Oozie管理與使用

    Hue的metadata管理與使用

    Hue的用戶管理與使用

  • 29Impala的安裝使用

    Impala介紹 / 內存計算與MR,SPARK計算的比較

    impala框架角色講解 / impala的安裝

    impala的命令行使用 / impala的命令參數詳解

    impala的內部命令詳解 / impala的SQL的ddl

    impala的SQL的dml / impala的SQL的dql

    impala的文件格式與壓縮

    impala的hbase整合

    impala的配置與監控 / impala的調優

  • 30Oozie的使用

    Oozie介紹

    Oozie的基于hadoop的分布式調度原理

    Oozie框架角色原理

    Oozie的xml配置文件

    Oozie的job配置文件

    Oozie的命令

    Oozie的配置與監控

    Oozie的開發

第十階段

Spark生態體系

第十階段

Spark生態體系

第十階段

Spark生態體系

第十階段

Spark生態體系

第十階段

Spark生態體系
  • 01Scala基礎語言應用

    Scala背景介紹

    Scala語言六大特性

    Scala下載安裝配置

    Scala IDE開發Scala配置

    IDEA 開發Scala配置

    Scala類型推斷機制

    Scala數據類型

    Scala基本語法

    Scala類和對象 / Scala 循環、判斷

  • 03Scala函數編程

    Scala函數定義

    Scala遞歸函數

    Scala默認值函數

    Scala可變參數函數

    Scala匿名函數

    Scala嵌套函數

    Scala偏應用函數

    Scala高階函數

    Scala柯里化函數

  • 04Scala字符串、集合

    Scala String操作

    Scala Array 操作

    Scala可變數組操作

    Scala List 操作

    Scala 可變列表操作

    Scala Set 操作

    Scala 可變Set操作

    Scala map 操作 / Scala 可變map操作

    Scala 元組操作及要點

  • 05Scala高級應用

    Scala伴生類 / Scala伴生對象

    Scala樣例類 / Scala樣例類案例

    Scala Trait要點 / Scala Trait 案例

    Scala match匹配

    Scala隱式值操作 / Scala隱式參數操作

    Scala隱式函數操作 / Scala隱式類操作

    ScalaActor通信模型

  • 06Spark基礎使用

    Spark技術介紹 / Spark技術站詳解

    Spark演變歷史 / Spark與MR的區別

    Spark 基于eclipse配置

    Spark基于IDEA配置

    Spark運行模式介紹

    Spark集群搭建 / Spark配置選項詳解

    Spark Pi 任務提交運行 / Spark客戶端搭建

  • 07Spark核心RDD

    Spark編程核心RDD

    SparkRDD原理及使用

    RDD結構及注意點

    RDD五大特性

    RDD彈性原理

    RDD分布式原理

    RDD容錯原理

  • 08Spark 轉換算子

    map算子使用 / flatMap算子使用

    filter算子使用 / sample算子使用

    reduceByKey算子使用 / SortByKey算子使用

    Join、union算子使用

    Cogroup算子使用

    distinct使用

    repartition算子使用

    coalesce算子使用

    zip,zipWithIndex使用

  • 09Spark行動算子

    Foreach算子使用

    Take算子使用

    SaveAsTextFile使用

    Count算子使用

    Take算子使用

    Collect算子使用

    First算子使用

    CountByKey使用

    CountByValue使用 / Reduce使用

  • 10Spark 持久化算子

    持久化數據級別分類

    持久化算子cache使用

    Cache要點注意事項

    持久化算子persist使用

    Persist要點注意事項

    持久化算子Checkpoint

    Checkpoint執行流程

    Checkpoint注意事項

    Checkpoint使用優化

  • 11Spark任務提交方式及參數

    Standalone-client模式原理 / 模式流程詳解

    Standalone-cluster模式原理

    Standalone-cluster模式流程詳解

    Yarn-client模式原理 / Yarn-client模式流程詳解

    Yarn-cluster模式原理 / Yarn-cluster模式流程詳解

    Client模式提交命令和特點

    Cluster模式提交命令和特點 / Spark任務提交參數詳解

  • 12Spark術語

    Spark-ClusterManager

    Spark-Driver

    Spark-Master

    Spark-Worker

    Spark-Executor / Spark-線程池

    Spark-Application / Spark-job

    Spark-Stage / Spark-task

  • 13Spark計算模式

    SparkRDD窄依賴

    SparkRDD寬依賴

    SparkStage切割劃分

    SparkStage計算模式

    Pipeline管道數據落地

    Stage并行度劃分

    提高Stage并行度方式

  • 14Spark任務調度

    任務調度角色劃分 / 資源調度角色劃分

    Spark資源調度過程

    Spark任務調度過程

    SparkDAG有向無環圖

    粗粒度資源申請特點 / 細粒度資源申請特點

    Spark推測執行機制

  • 15Spark任務提交案例

    Spark pv,uv案例

    Spark WordCount案例

    Spark二次排序案例

    Spark分組取topN案例

    Spark分組取topN優化

    Spark處理數據思路轉換

  • 16Spark 高階應用

    廣播變量及注意事項 / 累加器及注意事項

    自定義累加器 / 版本對比變化

    Spark-WebUI詳解 / Spark日志查看

    Pipeline計算模式驗證 / 歷史日志服務器配置

    MasterHA高可用原理 / MasterHA高可用配置

    MasterHA搭建注意點

  • 17Spark 核心之Shuffle

    SparkShuffle概念

    Spark-HashShuffle普通機制、優化機制

    Spark-SortShuffle普通機制

    Spark-SortShufflebypass機制

    HashShuffle執行流程詳解 / SortShuffle執行流程詳解

    HashShuffle與SortShuffle對比

    Shuffle文件尋址詳解 / Spark oom問題處理

    Spark統一內存管理劃分 / Spark靜態內存管理劃分

  • 18SparkSQL初級

    Shark原理分析

    SparkSQL原理分析 / SparkSQL演變過程

    DataFrame與DataSet

    SparkSQL數據源 / SparkSQL底層架構

    SparkSQL謂詞下推 / Json格式數據轉DataSet

    普通RDD和DataSet互操作

    Parquet數據轉DataSet

    JDBC數據轉DataSet / aS

  • 19SparkSQL高級

    SparkSQL序列化問題

    Hive On Spark原理

    Spark On Hive原理

    Spark On Hive配置詳解

    SparkSQL DataSet存儲

    SparkSQL之UDF

    SparkSQL之UDAF

    SparkSQL之over函數

  • 20SparkStreaming流式處理框架

    SparkStreaming介紹

    SparkStreaming&Strom

    SparkStreaming接受數據原理

    SparkStreaming之Dstream

    SparkStreaming讀取Socket數據

    foreachRDD算子使用

    transform算子使用

    updateStateByKey算子使用

    window窗口操作

    reduceByKeyAndWindow使用

    DriverHA原理及搭建

  • 21Kafka分布式消息系統應用

    Kafka分布式消息系統介紹

    Kafka應用場景

    Kafka生產消息原理

    Kafka存儲消息原理

    Kafka Topic、partition原理

    Consumer消費消息原理

    Kafka集群搭建 / Kafka命令使用

    Kafka消息系統特點

    KafkaLeader均衡機制

    Kafka版本更改對比

    KafkaTopic更改、刪除

  • 22SparkStreaming+kafka整合

    Receiver模式整合原理

    Receiver模式問題及優化

    Direct模式整合原理

    Direct模式Api使用

    WAL機制配置及使用

    Receiver模式并行度設置

    Direct模式并行度設置 / Direct模式offset管理

    新版本Direct模式使用 / 新版本Direct模式對比

    新版本Direct模式offset管理

    SparkStreaming配置參數詳解

    SparkStreaming反壓機制

  • 23Redis語法

    Redis介紹

    String1類型 / String2類型

    List1類型 / List2類型

    Set類型 / Sorted set類型

    Rdb 與aof類型

    無主架構模型 / 主從架構模型

    Redis集群搭建

  • 23Storm流式計算

    Storm應用場景

    Storm架構模型

    Storm框架介紹

    Storm單詞統計練習

    Storm分組策略

    Storm分組實踐

    Storm偽分布式安裝

  • 24Storm計算詳解

    Storm異步與同步實時分析框架和實例

    Storm全分布式

    drpc實現

    kafka 與storm

    flume+kafka+storm

    Storm容錯 / Storm事務

    Storm電信項目

第十一階段

機器學習和算法

第十一階段

機器學習和算法

第十一階段

機器學習和算法
  • 01Python介紹及安裝

    Python介紹

    Python歷史

    Python優缺點

    Python應用場景

    Python下載 / Python安裝

    Python ide安裝

    Python helloworld

    Python交互式窗口

  • 02Python基礎知識

    Python注釋及亂碼

    Python變量 / Python類型

    Python標識符 / Python關鍵字

    Python輸入 / Python輸出

    Python運算符

    Python分支結構

    Python input陷阱

    Python 循環結構

  • 03Python集合類型

    字符串

    列表

    元組

    字典

    可變類型

    不可變類型

    集合的迭代

    集合排序 / 集合嵌套

  • 04Python函數

    Python函數介紹

    函數的定義與調用

    Python參數

    Python返回值

    Python遞歸函數

    Python匿名函數

    高階函數 / 高階函數和遞歸計算

    斐波拉契數列

  • 05Python文件操作

    Python文件的打開與關閉

    Python的讀寫

    Python的定位讀寫

    Python文件操作

    Os模塊

    文件批量處理

    Mp3音樂播放

    文件批量處理

  • 06Python類與對象

    面向對象編程介紹

    類與對象

    定義類與創建對象

    Self

    保護對象的屬性

    繼承 / 多繼承 / 多態

    類屬性與實例屬性

    類方法與靜態方法

  • 07設計模式與異常

    單例模式

    工廠模式

    異常簡介

    異常捕獲

    異常的傳遞

    自定義異常

    異常處理中排除異常

    異常的分類

  • 08Python模塊及數據庫操作

    模塊的使用與安裝

    模塊制作

    Python中的模塊

    模塊的發布

    模塊安裝及使用

    Python連接mysql

    Python查詢數據庫

    數據API / API的封裝

  • 09Numpy庫

    numpy介紹 / numpy特點

    numpy安裝 / numpy基礎

    矩陣的創建 / 矩陣的屬性

    矩陣的基本運算

    矩陣的常用函數

    矩陣的切片

    矩陣的索引

    矩陣的迭代 / 矩陣的形狀操作

  • 08機器學習基礎

    PySpark基礎配置

    Python開發工具配置

    PySpark運行開發原理

    Python模塊安裝方式

    機器學習數學基礎 / 線性回歸原理

    梯度下降迭代確定模型

    多元線性回歸原理 / 參數優化

    模型過擬合問題 / 模型欠擬合問題

    線性回歸案例分析

  • 09機器學習算法一

    貝葉斯分類算法

    貝葉斯概率分類原理

    貝葉斯公式推廣

    拉普拉斯估計原理

    模型保存

    KNN算法原理

    KNN問題

    機器學習中的歸一化

    距離度量方式

  • 10機器學習算法二

    Kmeans聚類算法原理

    Kmeans聚類問題

    Kmens++算法

    K值的選擇策略

    TF-IDF原理

    邏輯回顧分類算法原理

    傅里葉變化

    最大似然估計思想

    邏輯回歸構造損失函數

  • 11機器學習算法三

    邏輯回顧損失函數公式推導

    邏輯回歸歸一化

    混淆矩陣

    ROC&AUC評估指標

    推薦系統原理

    推薦系統架構

    lambda架構處理數據

  • 12機器學習算法四

    實時和離線場景應用

    ML下python在Hive中應用

    dubbo使用zookeeper協調應用

    dubbo服務提供端原理

    dubbo服務消費端原理

    dubbo在推薦系統中應用

    實時在線推薦app

  • 13機器學習案例

    垃圾郵件分類案例

    數據點基于貝葉斯分類案例

    手動實現KNN算法 / 數據點基于KNN算法分類

    數據點Kmeans聚類案例

    基于Python的KMeans可視化

    微博聚類案例 / 音樂分類案例

    道路擁堵預測案例 / 推薦系統

第十二階段

平臺架構師課程體系

第十二階段

平臺架構師課程體系

第十二階段

平臺架構師課程體系
  • 01Hive優化

    hive優化思想 / hive查詢計劃

    hive本地模式 / hive并行計算

    hive嚴格模式 / hive排序

    hive map join / hive大表join

    hive map-side聚合

    hive合并小文件

    hive map與reduce個數

    hive-jvm重用

    Hive數據傾斜 / Hive腳本編程

    Hive腳本執行架構 / Hive的任務的監控

  • 02hbase優化

    預分區 / Rowkey設計 / 列族個數

    Compact合并優化

    Split優化

    多htable并發寫

    Htable參數設置

    批量寫 / 批量讀

    多線程并發寫 / 多htable并發讀

    多線程并發讀

    緩存查詢結果

    Blockcache / Htablepool / Hbase索引

  • 03Spark核心源碼分析

    Spark-pipeline iter 源碼分析

    map源碼分析

    flatMap源碼分析

    reduceByKey源碼分析

    combineByKey源碼分析

    aggregateByKey源碼分析

    sortByKey源碼分析

    repartition源碼分析

    coalesce源碼分析

    distinct源碼分析

  • 04Spark核心源碼分析

    Spark-Master啟動源碼分析

    Spark-Worker啟動源碼分析

    Spark-Driver啟動源碼分析

    Spark-Application注冊源碼分析

    Spark-Executor啟動源碼分析

    Spark-資源調度源碼分析、任務調度源碼分析

    Spark-Shuffle-Write源碼分析

    Spark-Shuffle-Read源碼分析

  • 05Spark優化

    Spark分配更多的資源

    Spark并行度調優 / Spark 代碼調優

    Spark 算子選擇使用

    Spark 自定義分區器

    Spark數據結構優化 / Spark數據本地化調優

    Spark內存調優 / Spark對外內存調優

    SparkShuffle調優

    Spark數據傾斜不同解決方案

  • 06機器學習優化

    有無截距

    線性不可分問題

    調整分類域值

    魯棒性調優

    歸一化數據

    均值歸一化

    邏輯回歸訓練方法選擇

    機器學習中python腳本優化

  • 07Kylin介紹及架構

    kylin的背景介紹 / kylin的應用場景

    kylin的發展歷史 / kylin的工作原理

    kylin的體系架構

    kylin的核心,cube構建

    kylin的sql查詢原理 / kylin的特性和生態圈

    kylin事實表 / kylin維度表

  • 08kylin的安裝與部署

    kylin的下載 / kylin的安裝準備

    kylin的部署方式 / kylin安裝部署

    KyLin和Hive / KyLin和hbase

    KyLin和Zookeeper

    OLAP分類

    星型模型 / 雪花模型

  • 09kylin的使用及訪問方式

    simple cube描述

    cube構建

    kylin的視圖

    kylin的元數據存儲

    kylin JDBC訪問方式

    kylin rest方式

  • 10Flink流式處理框架一

    Flink架構原理

    Flink與Storm的區別

    Flink與SparkStreaming的區別

    Flink編程模型抽象層次

    Flink無界數據流

    Flink有界數據流

    Flink程序和數據流

    Flink保存點

  • 11Flink流式處理框架二

    窗口和時間

    有狀態算子操作

    容錯檢查點原理

    Flink任務和算子鏈

    Flink-TaskManager

    Flink-JobManager

    任務槽和資源

    Flink下載安裝使用

  • 12Flink流式處理框架三

    Flink-DataStream Api操作

    Flink與Kafka整合

    基于本地模型部署Flink

    基于Yarn模式部署Flink

    TableApi 及SQL查詢使用

    網頁排名案例實現

    數據類型和序列化

    Flink高可用 / Flink狀態和容錯

大牛引路,實戰貫穿!

  • 智慧交通項目
  • 電商日志分析項目
  • 游戲運營分析項目
  • App個性化推薦項目
  • 聯盟廣告分析項目

阿里巴巴基于杭州智慧交通項目

智慧交通是指在交通領域中充分運用大數據、云計算、互聯網、機器學習、等技術,通過高新技術匯集交通信息,對交通管理、交通運輸、公眾出行等等交通領域全方面以及交通建設管理全過程進行管控支撐,使交通系統在區域、城市甚至更大的時空范圍具備感知、互聯、分析、預測、控制等能力,以充分保障交通安全、發揮交通基礎設施效能、提升交通系統運行效率和管理水平,為通暢的公眾出行和可持續的經濟發展服務。

項目模塊:

天網搜車,智能研判,軌跡分析,套牌分析,稽查布控,跟車分析,晝伏夜出,統計分析等15大模塊。

技術架構:

hdfs +spark +kafka +flume + spark Streaming +spark MLlib+redis

某大型電商日志分析項目

日志分析項目是以數據為驅動,關注電商運營每一個環節,貫穿不同運營階段,隨時發現運營問題,調整運營計劃。一般來說電商平臺每天會產生100G到50T左右的日志數據。有了海量的數據就可以挖掘出有價值的決策依據。

需求模塊:

用戶分析,流量分析,活動效果分析,渠道分析和訂單分析等8八模塊

技術架構:

nginx + HDFS+ mapreduce +Hive+hbase +spark +flume +sqoop+mysql +D3

大型游戲運營分析項目

大型網絡游戲每天會產生10G—100G的數據,通過大數據分析可以幫助追蹤注冊轉化率數據、快速定位注冊刷號行為。通過對關卡的訪問數,成功率,失敗原因進行分析,來合理調整難易度。游戲生產虛擬物品,而不是印鈔。您需要找到玩家在不同階段對哪類物品有最強依賴,才能刺激痛點策劃拉收。

項目模塊:

玩家在線分析,等級分析,任務難度分析,收入分析,虛擬消費分析等7大模塊。

技術架構:

linux+hdfs+spark+mapreduce+hive+hbase。

App個性化推薦項目

推薦系統是利用 大數據和數據挖掘技術向客戶提供商品信息和建議,幫助用戶決定應該購買什么產品,模擬銷售人員幫助客戶完成購買過程。個性化推薦是根據用戶的興趣特點和購買行為,向用戶推薦用戶感興趣的信息和商品。

功能模塊:

清洗數據,構建訓練集,訓練模型,評估模型,推薦APP等

技術架構:

hdfs +hive +hbase +kafka +spark +spark MLlib+ python+redis +dubbo

聯盟廣告分析項目

廣告分析是指用大數據來分析和測定廣告促進商品或勞務銷售的效果??梢詸z驗廣告目標是否正確、廣告媒體運用是否得當、廣告分布時間與頻率是否適宜、投入的廣告費用是否合理等,從而進一步檢驗出廣告決策是否正確、廣告創意設計是否需要改進等。廣告分析,能較客觀地測定廣告效果所取得的效益,提高廣告主對廣告的信心,也有利于廣告公司的業務發展。

項目模塊:

聯盟廣告分析項目-項目模塊:這塊沒有提供文案

技術架構:

nginx + HDFS+ mapreduce +Hive+hbase +spark +flume +sqoop+mysql +D3

其他培訓機構一直在模仿我們的項目,卻講不明白項目的思路,大數據實戰項目,思路還是原裝的好

領取hadoop實戰書一本 >>

領取機器學習數據(100課時) 平臺架構師(140課時)
大數據174.35G視頻

  • 關注獲取海量免費視頻(深圳中心)

  • 關注獲取海量免費視頻(廣州中心)

深圳校區電話:18948349646(陳老師) / 18902484256(劉老師)
Copyright 2007-2020 深圳市百戰程序員科技有限公司 粵ICP備17017511號
深夜福利啪啪片_韩国19禁深夜福利视频_久久综合狠狠综合久久