课程

中国大学MOOC,为你提供一流的大学教育

hi,小mooc
期末考试会员
SPOC学校专有课程
Hadoop操作与应用
第1次开课
开课时间: 2024年02月29日 ~ 2024年06月29日
学时安排: 待定
当前开课已结束 已有 1 人参加
老师已关闭该学期,无法查看
spContent=
—— 课程团队
课程概述

是大数据技术专业的核心课程,专注于培养学生掌握Hadoop平台及其关键组件的应用能力。课程内容涵盖Hadoop基础概念、环境搭建,以及HDFS、YARN、MapReduce等核心技术的深入实践。通过学习,学生将了解Hadoop在大数据处理中的重要作用,掌握分布式文件系统的数据存储原理,熟悉资源调度和任务分配机制,并能够运用MapReduce编写高效数据处理程序。本课程旨在为学生打下坚实的大数据技术基础,提升他们在大数据领域的就业竞争力。通过理论与实践相结合的教学方式,本课程将帮助学生建立起对大数据Hadoop平台的全面认识,为他们未来的职业发展铺平道路。无论是对于初学者还是已有基础的学生,本课程都将提供宝贵的学习资源和实战经验。

成绩 要求

一、知识目标

  1. 掌握大数据的基本概念、特征及应用领域。
  2. 深入理解Hadoop平台及其生态系统组件(如HDFSYARNMapReduce)的基本原理和工作机制。
  3. 熟悉Linux操作系统的基本操作及其在大数据环境中的应用。
  4. 了解分布式数据库HBase和数据仓库Hive的基本知识及用途。
  5. 学习大数据平台的安全管理、性能优化及故障处理等相关知识。

二、能力目标

  1. 能够独立部署和配置Hadoop集群环境,包括基础环境设置和集群搭建。
  2. 能够使用HDFS进行数据的存储和管理,包括通过Shell命令和Java API进行文件操作。
  3. 能够利用YARN进行资源调度和任务管理,实现集群资源的有效利用。
  4. 能够编写MapReduce程序进行基本的数据处理和分析。
  5. 能够安装和配置HBaseHive,进行基本的数据存储和查询操作。
  6. 具备对大数据平台进行性能监控、故障排查和优化调整的能力。

三、素质目标

  1. 培养学生的团队协作精神和创新意识,能够在项目实践中与他人有效沟通与合作。
  2. 培养学生的问题解决能力,能够独立思考并解决实际问题。
  3. 培养学生的终身学习态度,不断跟进大数据技术的发展动态,持续提升自身专业素养。
  4. 培养学生的职业道德和社会责任感,能够合法合规地处理和使用大数据资源。
  5. 提升学生的抗压能力,能够在面对复杂问题时保持冷静,积极寻求解决方案。


课程大纲

Hadoop介绍

课时目标:1.知识学习:大数据概述2.知识学习:Hadoop介绍3.技能实践:Linux操作系统

大数据概述:此部分将介绍大数据的基本概念、特征、应用场景以及面临的挑战。

Hadoop介绍:Hadoop作为处理大数据的开源框架,此部分将概述其历史、核心组件、工作原理及其在大数据领域的重要性。

技能实践:Linux操作系统:由于Hadoop通常部署在Linux上,因此学生将通过实践了解Linux的基本操作,为后续Hadoop的部署和运维打下基础。

基础环境配置及Hadoop集群搭建

课时目标:1.知识学习:基础环境配置2.技能实践:Hadoop集群搭建

基础环境配置:介绍搭建Hadoop集群所需的硬件、网络、软件等环境要求。

技能实践:Hadoop集群搭建:学生将实际操作,配置并搭建一个Hadoop集群,加深对集群架构和配置的理解。

分布式文件系统HDFS

课时目标:1.知识学习:HDFS简介2.知识学习:HDFS原理3.知识学习:HDFS Shell命令4.技能实践:HDFS Java API编程

HDFS简介与原理:介绍HDFS(Hadoop Distributed FileSystem)的基本概念、架构、工作原理以及其在大数据存储中的作用。

HDFS Shell命令:学习使用HDFS提供的Shell命令进行文件操作。

技能实践:HDFS Java API编程:通过编程实践,学生将掌握如何使用HDFS Java API进行文件的读取和写入。

分布式资源调度YARN

课时目标:1.知识学习:YARN简介2.知识学习:YARN工作原理3.技能实践:YARN资源调度器

YARN简介与工作原理:介绍YARN(Yet Another Resource Negotiator)的基本概念、架构、工作原理及其在Hadoop集群中的资源调度和管理作用。

技能实践:YARN资源调度器:学生将通过实践了解如何使用YARN进行资源调度和任务管理。

分布式计算框架MapReduce

课时目标:1.知识学习:MapReduce简介2.知识学习:MapReduce工作原理3.技能实践:MapReduce编程

MapReduce简介与工作原理:介绍MapReduce的基本概念、编程模型、工作原理及其在大数据处理中的应用。

技能实践:MapReduce编程:通过编写MapReduce程序,学生将掌握如何使用这一框架进行大数据处理和分析。

分布式数据库HBase

课时目标:1.知识学习:HBase简介2.知识学习:HBase系统架构3.知识学习:HBase shell命令4.技能实践:HBase安装与配置

HBase简介与系统架构:介绍HBase的基本概念、数据模型、架构及其在大数据存储中的应用。

HBase shell命令:学习使用HBase提供的shell命令进行数据操作。

技能实践:HBase安装与配置:学生将通过实践了解如何安装和配置HBase,并进行基本的数据操作。

数据仓库Hive

课时目标:1.知识学习:Hive简介2.知识学习:Hive体系结构3.知识学习:Hive数据类型4.技能实践:Hive安装与配置

Hive简介与体系结构:介绍Hive的基本概念、数据模型、架构及其在大数据查询和分析中的应用。

Hive数据类型:学习Hive支持的数据类型及其使用。

技能实践:Hive安装与配置:学生将通过实践了解如何安装和配置Hive,并进行基本的查询操作。


展开全部
天津职业大学
1 位授课老师
管理员

管理员

管理员

下载
下载

下载App