mapreduce工作原理_mapreduce工作原理图

mapreduce工作流程

注意： 新版的API中InputSplit划分算法不再考虑用户设定的Map Task个数，而是用mapred.max.split重新审视我们原来那个分散纸牌的例子,我们有MapReduce数据分析的基本方法.友情提示：这不是个严谨的例子.在这个例子里,人代表计算机,因为他们同时工作,所以他们是个集群.在大多数实际应用中,我们设数据已经在每台计算机上了.size(记为maxSize)代替

mapreduce工作流程如下：

mapreduce工作原理_mapreduce工作原理图

mapreduce工作原理_mapreduce工作原理图

给在座的所有玩家中分配这摞牌

1、输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身。

如我们设定hdfs的块的大小是64mb，如果我们输入有三个文件，大小分别是3mb、65mb和127mb，那么mapreduce会把3mb文件分为一个输入分片（input split），65mb则是两个输入分片（input split）而127mb也是两个输入分片（input split)。

即我们如果在map计算前做输入分片调整，例如合并小文件，那么就会有5个map任务将执行，而且每个map执行的数据大小不均，这个也是mapreduce优化计算的一个关键点。

3、combiner阶段：combiner阶段是程序员可以选择的，combiner其实也是一种reduce作，因此我们看见WordCount类里是用reduce进行加载的。

4、shuffle阶段：将map的输出作为reduce的输入的过程就是shuffle了。

5、reduce阶段：和map函数一样也是程序员编写的，最终结果是存储在hdfs上的。

Hadoop从入门到精通33：MapReduce核心原理之Shuffle过程分析

当我们用hadoop处理大批量的大数据时，一种最常见的情况就是job启动的mapper数量太多而超出系统限制，导致hadoop抛出异常终止执行。

在安装Hadoop集群的时候，我们在yarn-site.xml文件中配置了MapReduce的运行方式为yarn.nodemar.aux-servs=mapreduce_shuffle。本节就来详细介绍一下MapReduce的shuffle过程。

shuffle，即混洗、洗牌的意思，是指MapReduce程序在执行过程中，数据在各个Mapper（Combiner、Sorter、Partitioner）、Reducer等进程之间互相交换的过程。

关于上图Shuffle过程的几点说明：

说明：map执行map task任务生成map的输出结果。

shuffle的工作内容：

从运算效率的出发点，map输出结果优先存储在map的内存中。每个map task都有一个内存缓冲区，存储着map的输出结果，当达到内存缓冲区的阀值（80%）时，需要将缓冲区中的数据以一个临时文件的方式存到磁盘，当整个map task结束后再对磁盘中这个map task所产生的所有临时文件做合并，生成最终的输出文件。，等待reduce task来拉取数据。当然，如果map task的结果不大，能够完全存储到内存缓冲区，且未达到内存缓冲区的阀值，那么就不会有写临时文件到磁盘的作接下来就简答说说怎么根据业务需求，调整map的个数。，也不会有后面的合并。

详细过程如下：

此处有必要说明一下block与split：

block（物理划分）：文件上传到HDFS，就要划分数据成块，这里的划分属于物理的划分，块的大小可配置（默认：代为64M，第二代为128M）可通过 dfs.block.size配置。为保证数据的安全，block采用冗余机制：默认为3份，可通过dfs.replication配置。注意：当更改块大小的配置后，新上传的文件的块大小为新配置的值，以前上传的文件的块大小为以前的配置值。

split（逻辑划分）：Hadoop中split划分属于逻辑上的划分，目的只是为了让map task更好地获取数据。split是通过hadoop中的InputFormat接口中的getSplit()方法得到的。那么，split的大小具体怎么得到呢？

首先介绍几个数据量：

totalSize：整个mapreduce job所有输入的总大小。注意：基本单位是block个数，而不是Bytes个数。

numSplits：来自job.getNumMapTasks()，即在job启动时用户利用 org.apache.hadoop.mapred.JobConf.setNumMapTasks(int n)设置的值，从方法的名称上看，是用于设置map的个数。但是，最终map的个数也就是split的个数并不一定取用户设置的这个值，用户设置的map个数值只是给最终的map个数一个提示，只是一个影响因素，而不是决定因素。

goalSize：totalSize/numSplits，即期望的split的大小，也就是每个mapper处理多少的数据。但是仅仅是期望

minSize：split的最小值，该值可由两个途径设置：

最终取goalSize和minSize中的值！

那么，map的个数=totalSize/finalSplitSize

即：InputSplit大小的计算公式为：splitSize=max{minSize,min{maxSize,blockSize}}

解决方案：减少mapper的数量！具体如下：

a.输入文件数量巨大，但不是小文件

这种情况可通过增大每个mapper的inputsize，即增大minSize或者增lockSize来减少所需的mapper的数量。增locksize通常不可行，因为HDFS被hadoop namenode -format之后，blocksize就已经确定了(由格式化时dfs.block.size决定)，如果要更改blocksize，需要重新格式化HDFS，这样当然会丢失已有的数据。所以通常情况下只能增大minSize，即增大mapred.min.split.size的值。

b.输入文件数量巨大，且都是小文件

所谓小文件，就是单个文件的size小于blockSize。这种情况通过增大mapred.min.split.size不可行，需要使用FileInputFormat衍生的CombineFileInputFormat将多个input path合并成一个InputSplit送给mapper处理，从而减少mapper的数量。增加mapper的数量，可以通过减少每个mapper的输入做到，即减lockSize或者减少mapred.min.split.size的值。

（2）map执行后，得到key/value键值对。接下来的问题就是，这些键值对应该交给哪个reduce做？注意：reduce的个数是允许用户在提交job时，通过设置方法设置的！

MapReduce提供partitioner接口解决上述问题。默认作是：对key hash后再以reduce task数量取模，返回值决定着该键值对应该由哪个reduce处理。这种默认的取模方式只是为了平均reduce的处理能力，防止数据倾斜，保证负载均衡。如果用户自己对Partition有需求，可以自行定制并设置到job上。

接下来，需要将key/value以及Partition结果都写入到缓冲区，缓冲区的作用：批量收集map结果，减少磁盘IO的影响。当然，写入之前，这些数据都会被序列化成字节数组。而整个内存缓冲区就是一个字节数组。这个内存缓冲区是有大小限制的，默认100MB。当map task的输出结果很多时，就可能撑爆内存。需将缓冲区的数据临时写入磁盘，然后重新利用这块缓冲区。

从内存往磁盘写数据被称为Spill(溢写)，由单独线程完成，不影响往缓冲区写map结果的线程。溢写比例：spill.percent(默认0.8)。

当缓冲区的数据达到阀值，溢写线程启动，锁定这80MB的内存，执行溢写过程。剩下的20MB继续写入map task的输出结果。互不干涉！

当溢写线程启动后，需要对这80MB空间内的key做排序(Sort)。排序是mapreduce模型的默认行为，也是对序列化的字节做的排序。排序规则：字典排序！

map task的输出结果写入内存后，当溢写线程未启动时，对输出结果并没有做任何的合并。从图可以看出，合并是体现在溢写的临时磁盘文件上的，且这种合并是对不同的reduce端的数值做的合并。所以溢写过程一个很重要的细节在于，如果有很多个key/value对需要发送到某个reduce端，那么需要将这些键值对拼接到一块，减少与partition相关的索引记录。如果client设置Combiner，其会将有相同key的key/value对的value加起来，减少溢写到磁盘的数据量。注意：这里的合并并不能保证map结果中所有的相同的key值的键值对的value都合并了，它合并的范围只是这80MB，它能保证的是在每个单独的溢写文件中所有键值对的key值均不相同！

溢写生成的临时文件的个数随着map输出结果的数据量变大而增多，当整个map task完成，内存中的数据也全部溢写到磁盘的一个溢写文件。也就是说，不论任何情况下，溢写过程生成的溢写文件至少有一个！但是最终的文件只能有一个，需要将这些溢写文件归并到一起，称为merge。merge是将所有的溢写文件归并到一个文件，结合上面所描述的combiner的作用范围，归并得到的文件内键值对有可能拥有相同的key，这个过程如果4. Reduce阶段：按照键值对的形式将相关的数据进行归并，产生最终的结果。client设置过Combiner，也会合并相同的key值的键值对，如果没有，merge得到的就是键值，如{“”, [5, 8, 2, …]}。注意：combiner的合理设置可以提高效率，但是如果使用不当会影响效率！

至此，map端的所有工作都已经结束！

当mapreduce任务提交后，reduce task就不断通过RPC从JobTracker那里获取map task是否完成的信息，如果获知某台TaskTracker上的map task执行完成，Shuffle的后半段过程就开始启动。其实呢，reduce task在执行之前的工作就是：不断地拉取当前job里每个map task的最终结果，并对不同地方拉取过来的数据不断地做merge，也最终形成一个文件作为reduce task的输入文件。

merge的三种形式：内存到内存、内存到磁盘、磁盘到磁盘。默认情况下，种形式不启用。当内存中的数据量达到一定的阀值，就启动内存到磁盘的merge。与map端类似，这也是溢写过程，当然如果这里设置了Combiner，也是会启动的，然后在磁盘中生成了众多的溢写文件。第二种merge方式一直在运行，直到没有map端的数据时才结束，然后启动第三种磁盘到磁盘的merge方式生成最终的那个文件。

3.reducer的输入文件。不断地merge后，会生成一个“最终文件”。这个最终文件可能在磁盘中也可能在内存中。当然我们希望它在内存中，直接作为reducer的输入，但默认情况下，这个文件是存放于磁盘中的。当reducer的输入文件已定，整个shuffle才最终结束。然后就是reducer执行，把结果存放到HDFS上。

mapreduce工作原理

MapReduce方法则是：

mapreduce工作原理为：MapReduce是一种编程模型，用于大规模数据集的并行运算。

2、map阶段：程序员编写好的map函4. 使用更好的硬件：如使用更高速的网络、更快的CPU等，提升Reduce处理的速度和效能。数了，因此map函数效率相对好控制，而且一般map作都是本地化作也就是在数据存储上进行。

mapreduce工作原理为：MapReduce是一种编程模型，用于大规模数据集的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的作，分发给一个主管理下的各个分共同完成，然后通过整合各个的中间结果，得到最终结果。

Mapreduce是什么？

MapReduce就是“任务的分解与结果的汇总”，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

如何简单解释 MapReduce 算法

最终：split大小的计算原则：finalSplitSize=max(minSize,min(goalSize,blockSize))

例子

你想数出一摞牌中有多少张黑桃.直观方式是一张一张检查并且数出有多少张是黑桃.

你把所有玩家告诉你的数字加起来,得到1.Copy过程，简单地拉取数据。Reduce进程启动一些数据copy线程（Fer），通过HTTP方式请求map task所在的TaskTracker获Combiner是一个本地化的reduce作，它是map运算的后续作，主要是在map计算出中间文件前做一个简单的合并重复key值的作。取map task的输出文件。因为map task早已结束，这些文件就归TaskTracker管理在本地磁盘。的结论

背景

谷歌在2004年发表了可以分析大量数据的MapReduce算法.每当你听到“大数据”这个词时,它指的是因为太大而让仅仅一台机器难以有效存储或分析的问题.MapReduce通过把计算量分配给不同的计算机群,能够解决大部分和大数据有关的分析问题.Hadoop提供了的利用MapReduce算法来管理大数据的开源方式.现今MapReduce是主流.

所以通常来说,每当你听到“大数据”,那也许意味着Hadoop被用来存储数据,也通常意味着数据的抽取和检索是用的MapReduce.

拆分

MapReduce合并了两种经典函数：

映射(Mapping)对里的每个目标应用同一个作.即,如果你想把表单里每个单元格乘以二,那么把这个函数单独地应用在每个单元格上的作就属于mapping.

化简(Reducing )遍历中的元素来返回一个综合的结果.即,输出表单里一列数字的和这个任务属于reducing.

重新审视上面的例子

通过把牌分给多个玩家并且让他们各自数数,你就在并行执行运算,因为每个玩家都在同时计数.这同时把这项工作变成了分布式的,因为多个不同的人在解决同一个问题的过程中并不需要知道他们的邻居在干什么.

另外一个有意思的情况是牌分配得有多均匀.MapReduce设数据是洗过的(shuffled)-

如果所有黑桃都分到了一个人手上,那他数牌的过程可能比其他人要慢很多.

如果有足够的人的话,问一些更有趣的问题就相当简单了 -

比如“一摞牌的平均值(二十一点算法)是什么”.你可以通过合并“所有牌的值的和是什么”及“我们有多少张牌”这两个问题来得到.用这个和除以牌的张数就得到了平均值.

结论

通过分散计算来分析大量数据.无论是Facebook、NASA,还是小创业公司,MapReduce都是目前分析互联网级别数据的主流方法.有趣的是,MapReduce在多于10PB数据时趋向于变慢,所以谷歌在他们今年的IO大会上报告称MapReduce已经不够他们用了,请参见这篇资讯《谷歌弃用

MapReduce, 推出替代品 Cloud Dataflow》.

Reduce的原理是什么？

– 也就是说把牌分发出去并不是MapReduce的一步.(事实上,在计算机集群中如何存储文件是Hadoop的真正核心.)

Reduce的原理是什么？

（1）map task任务执行，输入数据的来源是：HDFS的block。当然在mapreduce概念中，map task读取的是split分片。split与block的对应关系：一对一（默认）。

Reduce是一种编程模型，常用于处理大数据中的数据。它是分布式计算中的一种重要工具，通过对数据进行归并作，将大规模数据快速高效地聚合起来。

通过告诉每个人去数数,你对一项检查每张牌的任务进行了映射. 你不会让他们把黑桃牌递给你,而是让他们把你想要的东西化简为一个数字.

Reduce的主要工作流程包括：

1. 数据分片阶段：将数据切割成若干个固定大小的分片，每个分片中包含了部分数据；

2. Map阶段：在每个分片上进行Map作，将数据转化为键值对的形式，并生成一个中间结果集；

3. Shuffle阶段：将中间结果集按照键进行分类，发送到不同的Reduce上去，并进行排序；

Reduce具有以下特点：

1. 可以在多个计算并行地执行，实现高效的大数据处理；

2. 可以快速进行数据的拆分和聚合，减少数据处理的时间和复杂度；

3. 支持故障恢复和容错处理，保证了数据的安全性和可靠性。

Reduce广泛应用于大数据处理和分布式计算领域，其中以下是最常见的应用场景：

1. 统计分析：将大量的数据进行分析和汇总，生成报表和统计结果；

2. 数据挖掘：通过对数据进行处理和分析，从中挖掘潜在的关系和规律；

3. 机器学习：利用大规模的数据进行训练和模型构建，提高模型预测准确度。

1. 压缩数据：将数据进行压缩可以减少数据在网络传输中的大小，提高数据传输的速度；

2. 数据本地性：尽可能让Reducer处理和自己所在上的数据，以减少数据传输的开销；

3. 动态负载均衡：在处理过程中动态地调整任务的分配，保持各个之间的负载均衡；

Reduce是大型数据处理和计算中不可或缺的工具，可以帮助我们处理海量的数据，提取有价值的信息。通过上述介绍和优化策略，我们可以更好地理解和使用Reduce，提高数据的处理效率和质量。

mapreduce的工作原理

2. 该模型采用“分而治之”的策略，将复杂任务分解成多个子任务，并在主的协调下，分配给分布式的分进行处理。

1. MapReduce 是一种编程模型，它设计MapReduce算法的机制要远比这复杂得多,但是主体思想是一致的 –用来高效处理大规模数据集的并行运算。

3. 在 MapReduce 模型中，数据处理过程分为两个主要阶段：Map（映射）和 Reduce（归约）。

4. Map 阶段负责将输入数据拆分成多个片段，并对每个片段进行处理，生成中间结果。

5. Reduce 阶段则负责合并这些中间结果，生成最终输出。

6. MapReduce 的优势在于它允许开发者使用简单的编程模型来开发分布式应用程序，而无需深入了解分布式系统的复杂性。

7. 尽管 MapReduce 起源于函数式编程语言，并借鉴在Hackbright做导师期间,我被要求向技术背景有限的学生解释MapReduce算法,于是我想出了一个有趣的例子,用以阐释它是如何工作的.了矢量编程语言的特性，但它为不会分布式并行编程的开发者提供了一个强大的工具，使他们能够轻松地将程序运行在分布式计算环境中。

请简要描述Hadoop计算框架MapReduce的工作原理

2.Merge过程。这里的merge如map端的merge动作，只是数组中存放的是不同map端copy过来的数值。Copy过来的数据会先放入内存缓冲区中，这里缓冲区的大小要比map端的更为灵活，它是基于JVM的heap size设置，因为shuffler阶段reducer不运行，所以应该把绝大部分的内存都给shuffle用。

分为2个步骤，map和reduce，map专门负责对每个数据地同时地打标签，框架会对相同标签的数据分成一组，reduce对分好为了进一步提高Reduce的处理能力和效率，我们可以采用以下优化策略：的那些组数据做累计计算。我们只要分别实现map和reduce就可以了

让每个玩家数自己手中的牌有几张是黑桃,然后把这个数目汇报给你