课程概述

本课程面向数据科学与大数据技术专业的本科生和对大数据技术感兴趣的学生讲授大数据的应用背景、大数据的应用价值、数据思维、基本概念、基本原理、相关技术和应用案例,让学生了解大数据分析、处理、和可视化的方法和过程,掌握数据分析的基本技术和方法,初步具备结合专业知识和行业知识进行大数据分析的思维意识。

本课程以大数据处理流程为线索,以大数据的应用背景、大数据的应用价值和大数据的基本概念切入,分别介绍数据感知与获取、数据存储与管理、开源大数据计算平台、数据分析、数据可视化、隐私保护等内容。更为重要的是,课程设计了完整的与理论课程配套的大数据实践课程体系,在云平台上提供了实验手册,实验案例,大家可以在学习理论知识的同时,按照实验手册,自行搭建实验环境,亲自动手实践,理解大数据相关的概念和基本技术,体验各种算法和工具,体验大数据分析的快乐。

证书要求

为积极响应国家低碳环保政策, 2021年秋季学期开始,中国大学MOOC平台将取消纸质版的认证证书,仅提供电子版的认证证书服务,证书申请方式和流程不变。

 

电子版认证证书支持查询验证,可通过扫描证书上的二维码进行有效性查询,或者访问 https://www.icourse163.org/verify,通过证书编号进行查询。学生可在“个人中心-证书-查看证书”页面自行下载、打印电子版认证证书。

 

完成课程教学内容学习和考核,成绩达到课程考核标准的学生(每门课程的考核标准不同,详见课程内的评分标准),具备申请认证证书资格,可在证书申请开放期间(以申请页面显示的时间为准),完成在线付费申请。

 

认证证书申请注意事项:

1. 根据国家相关法律法规要求,认证证书申请时要求进行实名认证,请保证所提交的实名认证信息真实完整有效。

2. 完成实名认证并支付后,系统将自动生成并发送电子版认证证书。电子版认证证书生成后不支持退费。


预备知识

Python语言程序设计 

授课大纲

第1章 引论

1.1 大数据技术引论(一)

1.2 大数据技术引论(二)

1.3 大数据技术引论(三)

第1章 单元测验

第2章 大数据感知与获取

2.1 大数据感知与获取概述(一)

2.2 大数据感知与获取概述(二)

2.3 数据来源的分布

2.4 内部数据及获取方法(一)

2.5 内部数据及获取方法(二)

2.6 外部数据及获取方法(一)

2.7 外部数据及获取方法(二)

2.8 深网数据采集方法

2.9 实时数据采集

第2章单元测验

第3章 大数据存储与管理

3.1 大数据存储与管理(一)

3.2 大数据存储与管理(二)

3.3. 大数据存储与管理(三)

3.4 HDFS与HBase实验

第3章 单元测验

第4章 大数据分析与可视化

4.1 大数据分析(一)

4.2 大数据分析(二)

4.3 大数据分析(三)

4.4 大数据分析(四)

4.5 数据可视化(一)

4.6 数据可视化(二)

4.7 数据可视化(三)

4.8 数据可视化实验

第4章单元测验

第5章 大数据处理

5.1 大数据处理(一)

5.2 大数据处理(二)

5.3 大数据处理(三)

5.4 Spark实验

第5章 单元测验

第6章 大数据安全与隐私保护

6.1 大数据隐私保护(一)

6.2 大数据隐私保护 (二)

6.3 大数据隐私保护 (三)

6.4 大数据隐私保护(四)

第6章 单元测验

第7章 大数据技术应用

7.1 大数据思维

7.2 Google 流感预测

7.3 大数据分析的挑战

第7章 单元测验

大数据与机器学习讨论区

第一次课程讨论

第二次课程讨论

第三次课程讨论

第四次课程讨论

第五次课程讨论

参考资料

梅宏,《大数据导论》第2版 高等教育出版社