下列描述中符合Map/Reduce的是()
A.Map是将数据映射成Key/Value再交给Reduce
B.Reduce先运行,然后运行Map
C.Map/Reduce是函数式的设计思想
D.Map结束后,Partitioner会将相同Key分到同一个组交给Reduce进程
A.Map是将数据映射成Key/Value再交给Reduce
B.Reduce先运行,然后运行Map
C.Map/Reduce是函数式的设计思想
D.Map结束后,Partitioner会将相同Key分到同一个组交给Reduce进程
A.文件的每个分片对应一个Map
B.Map函数输出为键值对
C.Reduce函数对同一键的数值进行求和运算
D.Reduce阶段根据键值降序排序
关于Hadoop Map Reduce,以下描述中正确的是()。
A.reduce()函数的输入是value集
B.reduce()函数将最终结果写到HDFS系统中
C.用户可以自己定义reduce()函数
D.reduce()函数的输入数据是经过map()函数处理之后的数据
下列关于新旧Map Reduce API的描述错误的是()。
A.新API放在org.apache.hadoop.mapreduce包中,而旧API则是放在org.apache.hadoop.mapred中
B.新API倾向于使用接口方式,而旧API倾向于使用抽象类
C.新API使用Configuration,而旧API使用JobConf来传递配置信息
D.新API可以使用Job对象来提交作业
A.一个Map函数就是对一部分原始数据进行指定的操作
B.一个Map操作就是对每个Reduce所产生的一部分中间结果进行合并操作
C.Map与Map之间不是相互独立的
D.Reduce与Reduce之间不是相互独立的
A.合并value值,形成较小集合
B.采用迭代器将中间值提供给reduce函数
C.map()函数处理后结果才会传输给reduce()
D.内存中不会存储大量的value值
A.Worker故障和Master故障的处理方法不相同
B.Map和Reduce的处理结果都存储在本地文件系统
C.一个Worker发生故障时,该节点上执行完的Map任务需要再次执行
D.MapReduce具有很强的容错机制
A.降低了Map作业的计算负载
B.减少传输到Redcue数据量
C.实现本地key的聚合,对map输出的key排序,value进行迭代
D.Combiner是一个本地化的reduce操作
A.Partitioner负责控制map输出结果key的分割
B.Reporter用于MapReduce应用程序报告进度
C.OutputCollector收集Mapper或Reducer输出数据
D.Reduce的数目不可以是0