SPOC学校专有课程
Spark编程基础
分享
spContent=本课程属于进阶级大数据课程,由全国高校知名大数据教师厦门大学林子雨老师主讲,采用林子雨等编著的《Spark编程基础(Scala版)》作为课程教材。课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming和Spark MLlib等
—— 课程团队
课程概述

Spark是当前热门的大数据处理技术,本课程重点介绍Spark的技术原理与编程方法。课程由全国高校知名大数据教师厦门大学林子雨老师主讲,采用林子雨等编著的《Spark编程基础(Scala版)》作为课程教材。Spark支持采用ScalaJavaPythonR语言进行编程,本课程采用Scala语言编写Spark应用程序。课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQLSpark StreamingSpark MLlib等。通过本课程的学习,将帮助学生形成基础的Spark应用程序编程能力,为学生使用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础。

授课目标

Spark是当前热门的大数据处理技术,本课程重点介绍Spark的技术原理与编程方法。本课程采用Scala语言编写Spark应用程序。课程内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQLSpark StreamingSpark MLlib等。通过本课程的学习,将帮助学生形成基础的Spark应用程序编程能力,为学生使用Spark技术解决实际科研问题和未来从事大数据相关工作奠定基础

成绩要求

课程总成绩是由平时成绩(30%)和考试(70%)组成。成绩包含“不合格”、“合格”和“优秀”三个档次。总成绩小于60分为“不合格”,大于等于60分并且小于85分为“合格”,大于等于85分为“优秀”。

课程大纲
预备知识

面向对象编程(比如Java)、数据库、操作系统、大数据技术基础

参考资料

林子雨,赖永炫,陶继平.Spark编程基础(Scala版),人民邮电出版社,2018年8月(教材官网)。

林子雨.大数据技术原理与应用(第2版),人民邮电出版社,2017年2月(教材官网)。

林子雨-大数据基础编程、实验和案例教程,清华大学出版社,2017年8月(教材官网)。

高校大数据课程公共服务平台:https://dblab.xmu.edu.cn/post/8197/

大数据学习路线图:https://dblab.xmu.edu.cn/post/10164/