本课程面向数据科学与大数据技术专业的本科生和对大数据技术感兴趣的学生讲授大数据的应用背景、大数据的应用价值、数据思维、基本概念、基本原理、相关技术和应用案例,让学生了解大数据分析、处理、和可视化的方法和过程,掌握数据分析的基本技术和方法,初步具备结合专业知识和行业知识进行大数据分析的思维意识。
本课程以大数据处理流程为线索,以大数据的应用背景、大数据的应用价值和大数据的基本概念切入,分别介绍数据感知与获取、数据存储与管理、开源大数据计算平台、数据分析、数据可视化、隐私保护等内容。更为重要的是,课程设计了完整的与理论课程配套的大数据实践课程体系,在云平台上提供了实验手册,实验案例,大家可以在学习理论知识的同时,按照实验手册,自行搭建实验环境,亲自动手实践,理解大数据相关的概念和基本技术,体验各种算法和工具,体验大数据分析的快乐。
本课程是数据科学与大数据技术专业学生认识本学科的“第一张地图”,以数据生命周期(获取→管理→计算→分析→应用→治理)为主线组织知识体系,目标是建立全景认知、培养数据思维,而非训练具体系统工具的操作技能。设计理念:
•建立全景认知:让学生对大数据技术栈形成结构化认知框架,为后续所有专业课提供“挂钩点”;重型实操(HBase命令、MapReduce编程、Spark MLlib API等)下沉至后续课程,导论保留“模拟体验”层级。
•培养数据思维:从“经验驱动”转向“数据驱动”的问题求解范式,理解相关与因果、样本与总体、精确与近似的取舍。
•理解AI与大数据的共生关系:大数据是AI的燃料(Data for AI),AI是大数据分析的新引擎(AI for Data)——这条双向关系贯穿全课程。
•隐私与治理:隐私保护技术脉络(匿名化→K-匿名→L-多样性→差分隐私)与数据治理体系,以概念与直觉方式讲授,并衔接AI时代新问题。
•树立负责任的AI使用习惯:所有实验允许并要求使用AI助手,同时提交《AI使用说明》,训练验证与批判能力。
从概念到原理,从原理到方法,体系化、系统化讲授,学生学完课程后,能够建立起大数据技术的概念体系、原理体系和方法体系。
课程目标:
• 目标1(知识):能描述大数据的基本概念、5V特征、数据生命周期各环节的核心问题与代表性技术;能解释ETL、五种数据模型、分布式存储与MapReduce计算的基本思想。
• 目标2(知识):能说明机器学习、大语言模型的基本原理框架及其与大数据的双向关系,能按四层成熟度剖析行业应用。
• 目标3(能力):能使用Python及AI辅助工具完成小规模数据的获取、清洗、探索性分析与可视化,并对结果做出合理解读与验证。
目标4(素养):能解释K-匿名、差分隐私等隐私保护模型的基本思想,识别数据应用中的隐私、偏见与伦理风险;了解数据治理体系与相关法规的基本要求。
Python语言程序设计
建议先修:程序设计基础(Python或Java)、高等数学、线性代数(可并行)
主教材:自编讲义《大数据导论》(2026混合教学版)
参考书:
1. 梅宏主编.《大数据导论》. 北京:高等教育出版社, 2018. ISBN: 978-7-04-059860-5.
2. 张尧学, 胡春明.《大数据导论》. 北京:机械工业出版社, 2018.
3. Viktor Mayer-Schönberger.《大数据时代》(通识阅读).
4. 冯登国等.《大数据安全与隐私保护》(相关章节).
5. 金海, 石宣化编.《大数据处理》. 北京:高等教育出版社, 2018.
6. 王宏志编.《大数据分析原理与实践》. 北京:机械工业出版社, 2017.
7. 陈为等.《数据可视化的基本原理与方法》. 北京:科学出版社, 2013.