题目内容
(请给出正确答案)
[单选题]
在MapReduce中Shuffle的主要作用是()。
A.将数据进行拆分
B.对映射后的数据进行排序,然后输入到Reducer
C.经过映射后的输出数据会被排序,然后每个映射器会进行分区
D.通过实现自定义的Partitioner来指定哪些数据进入哪个Reducer
查看答案
如果结果不匹配,请 联系老师 获取答案
A.将数据进行拆分
B.对映射后的数据进行排序,然后输入到Reducer
C.经过映射后的输出数据会被排序,然后每个映射器会进行分区
D.通过实现自定义的Partitioner来指定哪些数据进入哪个Reducer
A.远程提交
B.本地提交
C.阻塞方式
D.非阻塞方式
A.宽依赖指的是多个子RDD的分区会依赖同一个父RDD的分区,关系是一对多
B.窄依赖指的是每一个父RDD的分区最多被子RDD的一个分区使用,是一对一的
C.宽依赖中会有shuffle的产生
D.窄依赖中会有shuffle的产生
A.io.sort.mb
B.mapred.compress.map.output
C.mapred.map.output.compression.codec
D.io.sort.spill.percent
MapReduce执行过程中,数据存储位置不是在GFS上的是()
A、Map处理结果 B、Reduce处理结果
C、日志
A.Perl
B.C++
C.Python
D.Java
A.Partitioner负责控制map输出结果key的分割
B.Reporter用于MapReduce应用程序报告进度
C.OutputCollector收集Mapper或Reducer输出数据
D.Reduce的数目不可以是0
A.将这个字典与源代码一起进行打包,直接执行即可
B.每次都将字典文件作为资源上传到大数据计算服务上,然后MR中通过资源的方式来访问
C.将字典打包jar包,使用jar命令执行MR程序时,通过resources参数指定该jar包
D.将字典文件保存在本地,在MR中通过访问本地最新的字典文件实现