大数据培训课程_大数据课程培训_大数据开发培训课程

光环大数据开发再度升级9.0

宗旨：光环大数据自成立起，只专注大数据就业培训，紧跟行业发展趋势和企业需求，每1-2月升级完善课程，定期访问名企及已就业学员，确保课程前沿、专业、实用！

课程价值： 1. 所有课程均为全新课程，其中hadoop课程为全新3.0版本，spark课程为全新2.2版本
　　　　　 2. 超大集群调优、机器学习、Docker容器引擎、ElasticSearch、Python实战开发、并发编程等均为光环大数据研发课程！

授课模式： 1. 拒绝纸上谈兵，所有上课代码全部手敲，现场实战演练！（其他机构大都只教授理论，学生无任何实战能力）
　　　　　 2. 为保障学员吸收效果，课程中所有模块、流程、原理、阶段等均由老师现场原创画图解读！（其他机构大都按照PPT照本宣读）

课程设置

阶段一：JavaSE开发
阶段二：JavaEE开发
阶段三：并发编程
阶段四：Linux精讲
阶段五：Hadoop生态体系
阶段六：Python实战开发
阶段七：Storm实时开发
阶段八：Spark生态体系
阶段九：Elastic Search
阶段十：Docker容器引擎
阶段十一：机器学习
阶段十二：超大集群调优

查看完整课程大纲

课程一阶段

学习目标：

掌握Java面向对象、访问权限、抽象类与接口、异常处理、I/O流与反射、Java网络编程。

完成项目：

Java多线程模拟多窗口售票，Java集合框架管理。

第一阶段主要内容:

初识Java

1、Java发展简史
2、Java运行机制
3、第一个Java程序
4、Javac,Java等命令
5、标识符与关键字
6、变量的声明

流程与控制

1、if-else
2、switch-case
3、while
4、do-while
5、循环标签
6、数组的声明与初始化

面向对象及方法重载

1、面向对象的基本思想
2、类与对象
3、成员变量与默认值
4、方法的声明，调用
5、参数传递和内存图
6、方法重载的概念

访问权限和继承

1、包的声明与使用
2、Import与Import Static
3、访问权限修饰符
4、类的封装性
5、static（静态成员变量）
6、final（修饰变量，方法）

课程二阶段

学习目标：

掌握Mysql数据库，JDBC，JavaWeb开发、Servlet JSP、Java三大框架核心框架开发。

完成项目：

京东电商网站项目、2048游戏项目、智能图书管理系统。

第二阶段主要内容:

Mysql

1、数据库基础知识
2、SQL理论基础和数据类型
3、DDL、DML、DQL语句
4、函数和关联查询
5、子查询、约束、视图
6、编程存储过程，触发器

Jdbc

1、Jdbc基本概念
2、使用Jdbc连接数据库
3、使用Jdbc进行crud操作
4、使用Jdbc进行多表操作
5、Jdbc驱动类型
6、Jdbc异常和批量处理

HTML

1、HTML基本介绍
2、HTML语法规范
3、基本标签介绍
4、表单介绍
5、Table标签
6、DIV布局介绍

CSS

1、CSS简介及文字样式
2、盒子模型
3、布局及定位
4、CSS选择器
5、CSS3动画效果
6、CSS3新增选择器

课程三阶段

学习目标：

掌握Socket编程模型、NIO与AIO编程模型Buffer API与通信框架Netty。

完成项目：

类QQ聊天室、RPC模拟实现。

第三阶段主要内容:

Socket编程

1、网络中进程之间通信
2、Socket是什么
3、Socket的基本操作
4、Socket类型讲解
5、Socket基本函数
6、Socket高级函数

伪异步IO编程

1、用户空间和内核空间
2、同步/异步/阻塞/非阻塞
3、伪异步IO编程基础
4、伪异步IO模型图
5、创建TimeServer
6、伪异步IO弊端分析

NIO与AIO编程模型

1、网络编程模型基本认识
2、BIO、NIO、AIO场景
3、同步阻塞 I/O
4、同步非阻塞 I/O
5、异步阻塞 I/O
6、异步非阻塞 I/O（AIO）

Buffer API讲解

1、缓冲区的四个属性
2、相对存取和绝对存取
3、翻转与释放
4、创建缓冲区
5、缓冲区类型与操作
6、缓冲区比较

课程四阶段

学习目标：

掌握搭建负载均衡、高可靠的服务器集群，增大网站并发访问量，保证服务不间断。

完成项目：

公司网络拓扑实战、构建企业网站和邮件应用平台、构建服务器管理监控系统。

第四阶段主要内容:

Linux安装与配置

1、安装Linux至硬盘
2、获取信息和搜索应用程序
3、进阶：修复受损的Grub
4、关于超级用户root
5、依赖发行版本的管理工具
6、关于硬件驱动程序

系统管理与目录管理

1、Shell基本命令
2、使用命令行补全和通配符
3、find命令、locate命令
4、查找特定程序：whereis
5、Linux文件系统的架构
6、移动、复制和删除

用户与用户组管理

1、软件包管理
2、磁盘管理
3、高级硬盘管理
4、备份你的工作和系统
5、用户与用户组基础
6、管理、查看、切换用户

Shell编程

1、SHELL变量
2、传递参数
3、数组与运算符
4、SHELL的各类命令
5、SHELL流程控制
6、SHELL函数

课程五阶段

学习目标：

掌握HDFS原理、操作和应用开发，掌握分布式运算、Hive数据仓库原理及应用。

完成项目：

微博数据大数据分析项目、用户行为分析项目、精准广告投放项目。

第五阶段主要内容:

Hadoop起源与安装

1、Google与Hadoop模块
2、Hadoop生态系统
3、Hadoop常用项目介绍
4、Hadoop环境安装配置
5、Hadoop安装模式
6、Hadoop配置文件

HDFS分布式文件系统

1、认识HDFS及其架构
2、Hadoop的RPC机制
3、HDFS的HA机制
4、HDFS的Federation机制
5、Hadoop文件系统的访问
6、JavaAPI接口与维护

Hadoop文件I/O详解

1、Hadoop文件的数据结构
2、HDFS数据完整性
3、文件序列化
4、Hadoop的Writable类型
5、Hadoop支持的压缩格式
6、Hadoop中编码和解码

MapReduce工作原理

1、MapReduce编程概念
2、MapReduce框架结构
3、MapReduce运行原理
4、Shuffle阶段和Sort阶段
5、任务的执行与作业调度器
6、自定义Hadoop调度器

课程六阶段

学习目标：

能够编写网络爬虫、Python进行网络编程、PythonWeb全栈开发、Python机器学习。

完成项目：

Python微博数据爬取、MapReduce设计ETL、Hive计数统计分析、SSM框架可视化分析。

第六阶段主要内容:

Python入门开发

1、Python对象、数字
2、Python映像和集合类型
3、Python条件和循环
4、Python文件和输入输出
5、Python错误和异常
6、函数和函数式编程

Python核心编程

1、Python正则表达式
2、Python函数编程
3、Python多线程编程
4、Python用户界面编程
5、Python数据库编程
6、创建Python扩展

Python网络编程

1、客户端/服务器架构
2、客户端/服务器网络编程
3、Python连接与无连接
4、TCP服务器与客户端
5、UDP服务器与客户端
6、Socket模块属性

Python Web全栈开发

1、创建Web客户端
2、urlparse/urllib模块
3、高级Web客户端
4、建立CGI应用程序
5、建立Web服务器
6、全面交互的Web站点

课程七阶段

学习目标：

掌握Storm程序的开发及底层原理，具备开发基于Storm的实时计算程序的能力。

完成项目：

实时处理新数据和更新数据库，处理密集查询并行搜索处理大集合的数据。

第七阶段主要内容:

Storm简介与基本知识

1、Storm的诞生诞生与成长
2、Storm的优势与应用
3、Storm基本概念和配置
4、序列化与容错机制
5、保证消息处理
6、Storm开发与生产环境

拓扑详解与组件详解

1、流分组和拓扑运行
2、拓扑的常见模式
3、本地模式与Stormsub
4、非JVM语言操作Storm
5、Hook、组件基本接口
6、基本抽象类

Spout详解与Bolt详解

1、Spout获取数据的方式
2、常用的Spout
3、学习编写Spout类
4、Bolt概述
5、可靠的与不可靠的Bolt
6、复合流与复合Anchoring

Storm安装与集群搭建

1、Storm集群安装与准备
2、本地模式Storm配置命令
3、配置Hosts、安装Jdk
4、Zookeeper集群的搭建
5、部署节点
6、Storm集群的搭建

课程八阶段

学习目标：

熟练使用Scala快速开发、Spark进行深入编程，以及spark大数据调优。

完成项目：

使用Spark处理离线数据、使用SparkStreaming完成实时计算。

第八阶段主要内容:

Scala编程开发

1、Scala语法基础
2、Idea工具安装
3、Maven工具配置
4、条件结构、循环
5、数组、映射、元组
6、类、样例类、对象

Scala深入解析

1、柯里化、闭包
2、模式匹配、偏函数
3、类型参数
4、协变与逆变
5、隐式转换、隐式参数
6、Actor机制

SparKcore编程

1、Spark四大特性
2、Wordcount案例演示
3、什么是RDD
4、Spark架构
5、Spark集群/HA集群搭建
6、Spark任务提交

Sparkcore深入编程

1、算子演示
2、RDD持久化
3、宽依赖和窄依赖
4、累加变量和共享变量
5、Spark运行模式
6、二次排序

课程九阶段

学习目标：

能够熟练查询DSL、掌握底层索引控制、索引段统计与故障处理。

完成项目：

实时索引存储节点，elasticsearch建立索引精准搜索分析。

第九阶段主要内容:

ElasticSearch简介

1、Lucene的总体架构
2、Lucene查询语言
3、ElasticSearch简介
4、ElasticSearch基本概念
5、ElasticSearch关键
6、ElasticSearch工作流程

查询DSL进阶

1、ApacheLucene评分公式
2、何时文档被匹配上
3、TF/IDF评分公式
4、查询改写与二次评分
5、前缀查询与改写属性
6、数据更新API

底层索引控制

1、相似度模型配置
2、实时更新事务日志
3、深入理解数据处理
4、控制索引合并
5、分布式索引架构
6、调整默认分片分配行为

索引段统计与故障处理

1、Segments API简介
2、索引段信息的可视化
3、过滤器与字段数据缓存
4、处理垃圾回收问题
5、UNIX中避免内存交换
6、关于I/O调节与热点线程

课程十阶段

学习目标：

熟练Docker安装配置、掌握Docker核心开发、Docker镜像与数据管理。

完成项目：

Docker镜像与容器存储结构分析，使用Docker容器搭建Jenkins集群。

第十阶段主要内容:

初识容器与Docker

1、基本容器认识
2、虚拟化技术与容器
3、容器关键技术介绍
4、Docker 基本认识
5、Docker 特征
6、Docker 组件与元素

核心概念与安装配置

1、Docker核心概念
2、使用脚本安装 Docker
3、启动docker 后台服务
4、CentOS Docker 安装
5、使用脚本安装 Docker
6、Windows Docker 安装

Docker镜像使用

1、Docker镜像关键概念
2、Docker镜像操作解析
3、Docker容器的迁移方法
4、存储驱动的功能与管理
5、Docker架构概览
6、Client与Daemon模式

Docker数据管理

1、数据卷与数据卷容器
2、Docker数据容器
3、挂载本地目录到容器
4、挂载数据卷
5、定义数据卷容器
6、数据卷的备份与恢复

课程十一阶段

学习目标：

熟练模型评估与选择，熟练使用机器学习各种算法，掌握机器学习与大数据的结合。

完成项目：

广告CTR预估及投放，智能数据实时监测项目社交图谱大数据分析。

第十一阶段主要内容:

模型评估与选择

1、机器学习基本认识
2、经验误差与过拟合
3、评估方法
4、性能度量
5、比较检验
6、偏差与方差

线性模型与决策树

1、基本形式与线性回归
2、对数几率回归
3、线性判别与多分类学习
4、决策树基本流程
5、决策树划分选择与处理
6、连续与缺失值

K邻算法

1、K邻算法概念介绍
2、K邻算法偏差与方差
3、K邻算法邻搜索
4、K邻算法K近邻搜索
5、K邻算法算法原理
6、K邻算法各类算法实现

贝叶斯分类器

1、贝叶斯决策论
2、极大似然估计
3、朴素贝叶斯分类器
4、半朴素贝叶斯分类器
5、贝叶斯网
6、EM算法

课程十二阶段

学习目标：

能够熟练进行版本调优、压缩调优、文件调优、参数调优等八大集群调优。

完成项目：

大数据并发超大集群调优，服务器大集群架构调优，超大数据资源调优。

第十二阶段主要内容:

版本调优

压缩调优

文件格式调优

参数调优

操作系统调优

代码调优

资源调优

架构调优

项目再次升级：阿里云项目+企业项目+项目案例

8大阿里云项目
6大合作企业项目
24个项目案例

企业数据质量核查
基于机器学习精细化营销
制作实时数据可视化大屏
使用时间序列分解模型
构建企业级数据分析平台
搭建个性化推荐系统
制作企业数据分析报表
MOOC网站日志分析

阿里云项目：《企业数据质量核查》

基于阿里云MaxCompute计算服务，针对销售行业特定业务模型，分析各类影响数据质量的原因，及各自数据质量的特点和影响，对各类交易数据进行有效监控，并输出数据质量监控报告

项目实战体系

1. 数据质量基本介绍
2. 数据质量影响因素
3. 数据质量问题类型
4. 阿里云相关产品套件开发
5. 阿里云产品操作演示
6. 电商分析平台数据核查
7. MaxCompute数据核查

阿里云项目：《基于机器学习精细化营销》

基于阿里云分布式计算引擎的机器学习PAI算法平台，利用非结构化处理场景和各种预测场景，以及文本分析与关系挖掘场景，对企业综合数据深度挖掘，全方位精细化为企业提供更准确的营销判断。

项目实战体系

1. 精细化营销方法和流程
2. 精细化营销案例
3. 精细化营销算法实现
4. 机器学习平台PAI算法
5. 机器学习平台PAI分析
6. 使用PAI实现精细化营销
7. 机器学习实现精细化营销

阿里云项目：《制作实时大数据可视化大屏》

基于阿里云DataV，通过图形化的界面轻松搭建天猫双十一专业水准的可视化大屏，可实时监控当日交易支付金额，成交会员分析、热销商品排行等品牌全域核心数据，实现精细化运营。项目四：制作企业级数据分析报表

项目实战体系

1. 数据可视化分析及案例
2. Data V功能及特性
3. Data V模板及数据添加
4. 可视化大屏设计方法
5. 销售数据可视化实战项目
6. 制作销售数据可视化大屏

阿里云项目：《使用时间序列分解模型预测商品销售》

使用时间序列分析模型，结合DataIDE和机器学习PAI，利用弹性时间序列分解法，根据企业业务数据及企业历史日常交易数据来预测企业后续销售，并根据结果分析来指导企业运营策略。

项目实战体系

1. 内容和学习目标
2. 商品销量预测特点及流程
3. 商品销量预测方法
4. 时间序列分解
5. 阿里云产品介绍及操作
6. 阿里云在线项目讲解
7. 价格弹性时间序列分解

阿里云项目：《构建企业级数据分析平台》

基于阿里云DataIDE数据管理控制台，将企业各类场景及数据进行同步和开发，能迅速将公司重要业务数据集成展现在公司的管理系统中，为各业务线／各区域的人员提供数据支持。

项目实战体系

1. 学习内容和学习目标
2. 数据分析步骤及平台搭建
3. 阿里云数加里介绍
4. 常用的数加产品功能
5. 熟悉数加管理控制台
6. DataIDE数据管理平台
7. QuickBI数据管理平台

阿里云项目：《搭建个性化推荐系统》

基于阿里云RecEng系统，对于企业所有用户日志数据，包括离线数据及在线数据，建立基本业务数据模型，根据企业业务特点及用户精准行为分析搭建企业个性化的业务及需求推荐系统。

项目实战体系

1. 推荐系统概念和应用场景
2. 推荐引擎的算法原理
3. 推荐引擎产品RecEng
4. 推荐引擎RecEng操作
5. 搭建电商推荐系统平台
6. 搭建推荐系统上线测试

阿里云项目：《制作企业级数据分析报表》

基于阿里云Quick BI 实战平台，搭建专业级业务数据化运营报表，对用户留存率、活跃率等进行数据报表分析，数据展现丰富，操作便捷，满足企业决策层全程数据的即时分析与即时决策快节奏。

项目实战体系

1. 内容和学习目标介绍
2. 数据可视化与图形报表
3. 智能BI服务平台Quick BI
4. Quick BI管理控制台操作
5. 常见图表-柱图、饼图等
6. 制作企业数据分析报表

阿里云项目：《MOOC网站日志分析》

使用服务器容器收集用户访问日志，利用MaxComputer将收集到的海量用户访问日志进行处理分析，使用BI编辑数据并展现分析，根据分析后的结果提出解决方案，为企业提供高价值的策略参考。

项目实战体系

1.用户访问日志收集
2.网站常见的分析指标
3.阿里云产品介绍
4.数据预处理和上传
5.数据处理
6.Data IDE实验操作演示
7.MOOC网站访问日志分析

互联网电商数据爬虫
高频数据实时处理项目
某大型网站日志分析项目
移动业务感知项目
用户画像分析系统项目
非法网站监测系统项目

企业实战项目：《互联网电商数据爬虫项目》

该项目使用hadoop分布式爬虫爬取互联网各大电商网站数据，通过各类海量数据的爬行抓取，前台实现实时对数据的快速精准查询和商品对比以及业务分析。

项目实战体系

该项目包含商品页面抓取和解析，分布式爬虫设计细节，分析URL链接和页面内容如何存储，分布式爬虫监控功能。爬虫频繁爬取数据IP被封问题解决方案，爬虫爬取失败URL如何处理。使用solr实现海量数据精准查询，使用hbase实现海量数据精准快速查询。本项目包含的大数据技术有：Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChart、HTMLEmail。

企业实战项目：《高频数据实时处理项目》

该项目实现对数据系统的高频日志数据进行实时收集和业务处理，在高峰期每秒钟会有近万HTTP请求发送到服务器上，这些请求包含了用户行为和个性化推荐请求。从这些数据中快速挖掘用户兴趣偏好并作出效果不错的推荐。

项目实战体系

Web应用云包含了所有直接面对用户的Web服务，每个Web应用都会产生Web日志以及其他实时数据，这些数据一方面会及时交由实时计算框架进行处理，另一方面也会定期同步至离线计算框架；实时计算框架会处理接收到的实时数据，并将处理结果输出到数据查询框架或者离线计算框架。

企业实战项目：《某大型网站日志分析项目》

通过大数据工具将互联网中的日志采集、清洗、分析统计出常见的互联网指标；开发出各种维度UV的分析报表、各个指标每日、每月指标报表分析，用于对产品做出正确的决策，数据的正确性校对问题，临时性图标的开发。

项目实战体系

使用hadoop、mapreduce、hive清理和分析UV、PV、登陆、留存等常见指标，使用storm实时分析充值、消费等趋势，各个维度的趋势对比、各个指标每日、月指标报表生成，使用kettle数据的正确性校对问题和邮件报警。日志数据的实时采集优先采用Flume-Ng组件，Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

企业实战项目：《移动业务感知项目》

该项目主要利用hadoop集群强大的计算能力对移动的大批量离线话单数据进行分析，统计移动使用业务（流量套餐、话费套餐、铃声套餐等）情况，达到感知用户行为和使用习惯，确定移动业务推广走向的一套系统。

项目实战体系

使用MR对多个小区GN口五类数据进行分析完成和移动用户通话时长、2G/3G业务流量使用进行一级汇总，列出小区流量使用排名，使用hive完成用户维度关联汇总，统计话单使用情况，使用spark完成APP下载top排名统计，使用sparkstreaming实时处理，根据用户使用APP，实时统计排名，使用sqoop导入oracle完成的web页面2G/3G业务使用排名和流量排名。

企业实战项目：《用户画像分析系统项目》

通过jdbc的方式连接spark的thriftserver，通过集群进行HDFS上的大宽表的运算求count。这样便可以定位相应的客户数量，从而进行客户群、标签的分析，产品的策略匹配从而精准营销。

项目实战体系

1. 数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,或者spark的jdbc连接传统数据库进行数据的cache。
2. 通过hive编写UDF 或者hiveql 根据业务逻辑拼接ETL，使用户对应上不同的用户标签数据，生成相应的源表数据,以便于后续用户画像系统，通过不同的规则进行标签宽表的生成。