当前位置:网站首页>漫画:什么是MapReduce?
漫画:什么是MapReduce?
2022-07-05 15:35:00 【小灰】
————— 第二天 —————
————————————
什么是MapReduce?
MapReduce是一种编程模型,其理论来自Google公司发表的三篇论文(MapReduce,BigTable,GFS)之一,主要应用于海量数据的并行计算。
MapReduce可以分成Map和Reduce两部分理解。
1.Map:映射过程,把一组数据按照某种Map函数映射成新的数据。
2.Reduce:归约过程,把若干组映射结果进行汇总并输出。
让我们来看一个实际应用的栗子,如何高效地统计出全国所有姓氏的人数?
我们可以利用MapReduce的思想,针对每个省的人口做并行映射,统计出若干个局部结果,再把这些局部结果进行整理和汇总:
这张图是什么意思呢?我们来分别解释一下步骤:
1.Map:
以各个省为单位,多个线程并行读取不同省的人口数据,每一条记录生成一个Key-Value键值对。图中仅仅是简化了的数据。
2.Shuffle
Shuffle这个概念在前文并未提及,它的中文意思是“洗牌”。Shuffle的过程是对数据映射的排序、分组、拷贝。
3.Reduce
执行之前分组的结果,并进行汇总和输出。
需要注意的是,这里描述的Shuffle只是抽象的概念,在实际执行过程中Shuffle被分成了两部分,一部分在Map任务中完成,一部分在Reduce任务中完成。
Hadoop如何实现MapReduce?
Hadoop是Apache基金会开发的一套分布式系统框架,包含多个组件,其核心就是HDFS和MapReduce。
由于篇幅原因,文本不会对Hadoop做完整的介绍,只是简单介绍一下Haddoop框架当中如何实现MapReduce。
下面这张图是Hadoop框架执行一个MapReduce Job的全过程:
这里需要对几种实体进行解释:
HDFS:
Hadoop的分布式文件系统,为MapReduce提供数据源和Job信息存储。
Client Node:
执行MapReduce程序的进程,用来提交MapReduce Job。
JobTracker Node:
把完整的Job拆分成若干Task,负责调度协调所有Task,相当于Master的角色。
TaskTracker Node:
负责执行由JobTracker指派的Task,相当于Worker的角色。这其中的Task分为MapTask和ReduceTask。
最后,祝愿有志向成为大数据工程师的小伙伴们,以及小灰的所有读者们,在新的一年顺利达成梦想!
—————END—————
边栏推荐
- ES6深入—ES6 Generator 函数
- vulnhub-Root_ this_ box
- 程序员如何提升自己的格局?
- Exception com alibaba. fastjson. JSONException: not match : - =
- Reproduce ThinkPHP 2 X Arbitrary Code Execution Vulnerability
- 对象和类的关系
- 记录一下树莓派搭建环境中遇到的坑。。。
- Information collection of penetration test
- Fundamentals of data communication - Principles of IP routing
- 19.[STM32]HC_SR04超声波测距_定时器方式(OLED显示)
猜你喜欢
定义严苛标准,英特尔Evo 3.0正在加速PC产业升级
Cs231n notes (medium) -- applicable to 0 Foundation
Value series solution report
ES6深入—ES6 Class 类
abstract关键字和哪些关键字会发生冲突呢
18.[stm32] read the ROM of DS18B20 temperature sensor and realize multi-point temperature measurement
obj集合转为实体集合
Data communication foundation ACL access control list
OceanBase社区版之OBD方式部署方式本地安装
Example project: simple hexapod Walker
随机推荐
21.[STM32]I2C协议弄不懂,深挖时序图带你编写底层驱动
Data communication foundation smart_ Link_&_ Monitor_ Link
Example project: simple hexapod Walker
项目sql中批量update的时候参数类型设置错误
事务回滚异常
list去重并统计个数
18.[STM32]读取DS18B20温度传感器的ROM并实现多点测量温度
Cs231n notes (top) - applicable to 0 Foundation
Pits encountered in the use of boolean type in development
基于OpenHarmony的智能金属探测器
Exception com alibaba. fastjson. JSONException: not match : - =
Example of lvgl display picture
单商户 V4.4,初心未变,实力依旧!
《MongoDB入门教程》第04篇 MongoDB客户端
Obj resolves to a set
【毕业季】作为一名大二计科在校生,我有话想说
Parameter type setting error during batch update in project SQL
力扣今日题-729. 我的日程安排表 I
Relationship between objects and classes
This article takes you through the addition, deletion, modification and query of JS processing tree structure data