Hadoop 测试

2017年08月31日 09:56 | 680次浏览

MRUnit单元测试Mapper和Reducer类在内存上独立运行, PipelineMapReduceDriver单线程运行.

LocalJobRunner单线程运行, 且仅有一个 Reducer能够启动

conf.set("mapred.job.tracker", "local"); 

conf.set("fs.default.name", "file:////"); 

FileSystem fs = FileSystem.getLocal(conf);

MiniMRCluster, MiniYarnCluster, MiniDFSCluster 多线程



感觉本站内容不错,读后有收获?小额赞助,鼓励网站分享出更好的教程


上一篇:Hadoop IO 下一篇:Hadoop 安装
^