0%

MapReduce逻辑数据流图

MapReduce逻辑数据流图

  1. input:将数据转换成map的输入;
  2. map:处理输入的数据,每一行输入处理之后得到一行输出,输出是一个key-value格式的数据;
  3. shuffle:将map得到的数据按key进行组合,最后得到一个key-values的数据;
  4. reduce:将每一个key对应的values进行处理,得到结果key-value2
  5. output:输出结果。

这里需要理解的一个事情是,value的数据类型不仅仅是int,它可以是任意类型,包括数组。