对于很多非IDT类的学习者来说,特别是文史、经管类学习者,往往是谈“工”色变,总觉得工程技术类课程与自己有“代沟”。但在数据驱动业务、数据驱动创新的新时代,信息理论与技术(IT)、数据理论与技术(DT)已经与管理理论和技术(MT)融合成为一个个生态圈了。许多产业、行业,以及企业、政府、事业等组织机构的业务增效、业务创新、业务优化等需要IDMT的协同驱动。数据驱动已经融合在众多的大学专业课程中,因此,掌握一定的数据分析理论与技术能力成为大学生提升创新创业及职业竞争能力的重要一环。
《商务数据分析与可视化》课程主要围绕以下几个主题开展教学研讨:
1. 商务数据分析基础理论及环境准备。包括数据定义、组织、管理、分析、挖掘等及数据工作流,以及如何在Windows 8.1/10基础上进行Excel 2013/2016/2019/O365、数据挖掘插件、MS SQL Server、MySQL、Python、Anaconda、pyCharm、R等应用软件的安装和配置;
2. 数据获取与管理。利用常用的软件,比如Excel、Python等进行数据爬取,从结构化和非结构化数据对象中如何提取数据,并使用MS SQL Server、MySQL等数据库进行存储管理;
3. 数据的整理。利用Excel函数、Power Query、Pyton、R等对已采集的数据进行整理,包括数据清洗、数据集成、数据变换、数据规约等,使得进行分析和挖掘前的数据质量得到提高;
4. 数据分析。利用Power Pivot、Python、R等对数据进行由浅入深的全方位分析,包括统计分析、YTD/QTD/MTD、YOY/QOQ/MOM、RFM、ABC分类、TOPN等分析。
5. 数据挖掘。利用SQL Server DM add-inns、Python、R等数据进行分类、聚类、关联和预测分析。
6. 数据可视化。利用Power View、Power Map、Power BI以及Python下的Matplotlib、seaborn等对数据分析过程和结果进行可视化,
7. 分享与决策支持。利用文档、报表等动静态载体,将分析的结果及建议进行可控分享,并对业务创新和决策支持形成支撑。
精益创业有三个主要工具是“最小可用品”、“客户反馈”、“快速迭代”,包括如何区分数据指标的好坏、如何远离虚荣指标、如何关注关键指标和确立关键指标,其核心是对数据的理解和应用。本课程的主要目的是培养文史、经管以及与非IDT相关专业学生的数据管理、创新与辅助决策的能力,特别是通过数据的驱动进行有效创新创业机会的评估和介入。
通过本课程的教学,使学生掌握数据获取、数据管理和处理、分析和挖掘以及结果可视化的一般原理和处理方法,能使用主流数据分析工具对数据进行获取、处理、分析、挖掘和呈现,为文史、经管相关专业学生学习数据科学和大数据技术提供预备,以及为大学生创新创业的精准性提供知识和技术保障。
本课程虽然计划学时只有32课时,但在有限的课时内,教学团队将充分利用中国大学MOOC平台、学习交流群等
1. “全过程”。在对本课程的学习过程中,将通过对数据的“玩”、“知”、“挖”、“用”等步骤,构建对数据管理、分析和应用的全流程理念。
2. “全方位”。在对本课程的学习过程中,将在数据管理意识、数据敏感性、数据创新能力等方面得到全方位的提升,包括数据资源管理意识、问题发现与发现问题的能力和价值转换能力等多方面。
3. “全数据”。在对本课程的学习过程中,学习者将树立起“数据无大小”的意识,形成不唯“大数据论”,即珍惜自己手中的小数据,并养成管理数据的习惯,提升数据分析的能力,强化从小数据概念向大数据思维平滑过渡的能力。
4. “全资源”。数据管理、分析和应用的工具千百种,而且很多都是免费提供的,和数据一样,很多人并没有养成“物尽其用”的意识,更没有学习这方面的能力。通过本课程的学习,你不仅会学习到切实可用的IDT技术,而且也会养成数据资源、工具资源意识,并且掌握针对不同的数据应用不同的工具,以及工具间的协同应用。
欢迎你加入这个学习小队!学海无涯,在数据大洋中,掌握手中浆,才能更好地把握自己的未来!加油!
通过实际的项目、场景案例,在帮助学习者全面理解数据与大数据之间关系的同时,掌握数据管理、分析和创新的理论和实践技能,为学习者其他相关课程的继续学习提供支撑,并为提升综合竞争力提供帮助。
本课程考核内容及成绩占比参考如下:
1、课程单元在线测试。本课程需要参与在线测试的共有7个单元,每个单元的测试总分值在10分左右。7个单元在线测试总分值占课程总分值的60%;
2、课程期末考试(第8单元在线测试)。本课程课程期末考试总分值35分,总课程总分值35%;
3、课程讨论。鼓励学生参与课程讨论,在“课堂讨论”模块中恢复数量达到5个是才能获得5%的课堂讨论分数。
4、*域外成绩。根据本课程的特性,设置了域外成绩,域外成绩主要是采用O2O方式(即不在SPOC平台上完成测试的电子化作业,最终结果要提交.DOCX报告或者.XLS*等电子文档),域外成绩占课程总分值的20%。【此项考核依据疫情防控情况而定】
01 预备课程*
01.01 课程简介 [47:16]
01.02 基础软件准备[12:51]
01.03 数据准备[13:44]
01.04 软件安装调试—Office篇[29:45]
01.05 *软件安装调试—MS SQL Server篇[26:02]
01.06 *软件安装调试—Python篇[24:14]
01.07 *软件安装调试—R语言篇[08:30]
02 数据分析概述
02.01 数据.信息.大数据(I)[24:17]
02.02 数据.信息.大数据(II)[29:10]
02.03 数据分析的重要性[13:24]
02.04 数据分析的基本流程[07:37]
02.05 数据分析的发展趋势[09:23]
03 数据获取
03.01 数据存储位置[16:14]
03.02 数据获取流程[09:39]
03.03 数据获取技术[09:17]
03.04 数据获取工具[15:51]
03.05 数据获取实践(本地数据)[44:06]
03.06 数据获取实践(获取互联网数据)[72:49]
03.07 数据获取实践(获取非结构化对象数据 I)[12:47]
03.08 数据获取实践(获取非结构化对象数据 II)[09:42]
03.09 数据获取实践(获取非结构化对象数据 III)[15:08]
04 数据处理(基础篇)
04.01 数据处理概念[09:49]
04.02 数据处理流程[09:01]
04.03 Excel常规数据处理-录入与定位
04.04 Excel常规数据处理-拆分与合并
04.05 Excel常规数据处理-分类与重置
04.06 Excel常规数据处理-计算基础与格式化
04.07 Excel常规数据处理-函数基础[I]
04.08 Excel常规数据处理-函数基础[II]
04.09 Excel常规数据处理-函数基础[III]
04.10 Excel常规数据处理-数组进阶[13:48]
05 数据处理(高级篇)
05.01 Excel高级函数典型案例
05.02 VBA高级数据处理典型案例
06 数据分析(基础篇)
06.01 Excel统计分析基础
06.02 Power Pivot数据分析基础
07 数据分析(快速挖掘篇)
07.01 数据快速挖掘——Excel数据挖掘插件典型案例
08 数据可视化与分享概述
08.01 数据可视化漫谈
08.02 数据可视化案例01 R语言绘制社会网络关系
08.03 数据可视化案例02 Python数据分析与可视化基础
先修课程包括大学信息技术基础,有一定的网络应用理论与技能,最好有一定的面向对象编程的能力(即有动手写过一些代码,哪怕一点点的...)。
数据分析原理与应用 吴海东、陈可嘉、骈文景主编 北京大学出版社 2023.1
Q1 : 计算机硬件要达到什么样的配置?A : 建议内存在8GB及以上,固态硬盘容量在128GB或以上,最好有机械硬盘作为辅助。
Q2 : 计算机软件要如何配置?A : 建议安装Windows 8.1 专业版/ 10专业版。并且安装Excel 2013专业版及共享工具(属于Office 2013专业版的一个模块))单独模块,以及Office 2016专业版完整安装;有条件的可以安装Office 365专业版或者Office 2019专业版(但目前测试,Office 2019上无法加载数据挖掘插件);努力完成MS SQL Server 2016 开发者版本的安装(主要用户数据存储和数据分析服务);安装MySQL最新社区版及Navicat forMySQL客户;安装Python 3.7或更高版本;安装Anaconda 2019.10或更高版本;安装R语言 3.5或更高版本。软件的安装和配置请参考本课程的预备课程。
Q3 : 文史经管类学习者有必要学吗,能学好吗?A : 有必要;实践告诉我们,经过努力都会学好。