Spark大数据技术与应用

电子与信息大类 (51)/计算机类 (5102)

课程介绍申请学校选课

    本课程为高职高专大数据技术专业的必修课、专业核心课程，108学时,5.5学分。课程主要包括Spark概述与工作原理、Spark集群环境搭建、Spark Core、Spark SQL、Spark Streaming等Spark核心技术，通过教学逐步培养学生的专业认知能力、岗位核心能力、岗位扩展能力、岗位综合能力、工匠精神等职业素养。课程内容对接大数据开发工程师、数据分析师、华为大数据工程师认证、大数据分析与应用“1+x”证书等。
本课程核心内容主要有：Spark的、组成、特点及应用场景，Spark的运行架构与运行模式； Spark 在不同模式下的运行环境搭建；Spark Core核心数据集RDD及其创建、转换算子及行动算子的操作及使用、RDD文件操作、RDD实战演练；Spark SQL核心编程模型DataFrame的创建、数据查看操作、数据查询与数据输出操作、DataFram应用实战演练；Spark SQL 扩展编程模型 Dataset的原理及创建；Spark Streaming核心编程模型DStream的创建、转换、窗口及输出操作、DStream实战演练等。
    本课程的前序课程主要有Linux操作系统、MySQL数据库、Java程序设计等，后续课程有数据挖掘基础、岗位实习等。