课程概述

        近年来,移动计算、物联网、云计算等一系列新兴技术相继兴起与发展,以及它们在社交媒体、协同创造、虚拟服务等新型模式中的广泛运用,使得全球数据量呈现出前所未有的爆发式增长态势,数据复杂性也急剧增加,客观上要求新的分析方法和技术来挖掘数据价值,大数据技术应运而生,并得到迅速发展和应用,大数据是时代发展和技术进步的产物。学习大数据肯定需要学习Hadoop技术,Hadoop大在数据技术体系中的地位至关重要,Hadoop是大数据技术的基础。

      本课程采用理论和实践相结合的方式全面介绍Hadoop技术,是学生系统地学习当前广泛使用的大数据Hadoop平台及其主要组件的作用及使用,使学生具备一定的动手及问题分析能力,使用掌握的知识应用到实际的项目实践中,通过本课程的学习,引导学生养成工程师逻辑思维、系统思维的思维方式及习惯,培养学生分析及解决问题的能力。

       本课程为各个组件设计若干实验,帮助学生在学习理论知识的同时,提高学生的实践能力,系统地掌握Hadoop主要组件的原理及应用,为其他相关课程的学习提供必要的帮助。


证书要求

本课程采用闭卷考试形式,平时成绩(包括平时考勤、课堂表现)占总分10%,实验成绩(包括上机实验情况、实验报告、作业、测试)占总分30%,期末考试成绩占总分60%。

预备知识

Java、Linux、数据库操作等基础知识。

授课大纲

初识Hadoop大数据技术

1.了解大数据技术的背景、有哪些大数据技术2.理解Google三篇论文的思想、基本架构3.了解Hadoop的简史、版本差异、发行版本、特点4.了解Hadoop的生态圈5.了解Hadoop的使用场景、典型应用架构

课时

  • 1.1 大数据技术概述
  • ,
  • 1.2 Google的”三驾马车”
  • ,
  • 1.3 Hadoop概述
  • ,
  • 1.4 Hadoop生态圈
  • ,
  • 1.5 Hadoop的典型应用场景与应用架构

参考资料

1.Tom WhiteHadoop权威指南:大数据的存储与分析(第4版)》,清华大学出版社,2017年7月。

2.林子雨:《大数据技术原理与应用:概念、存储、处理、分析与应用(第2版)》,人民邮电出版社,2017年1月。