如何对自定义 RecordReader 和 InputFormat 类进行单元测试?

时间:2023-05-04
本文介绍了如何对自定义 RecordReader 和 InputFormat 类进行单元测试?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着跟版网的小编来一起学习吧!

问题描述

限时送ChatGPT账号..

我开发了一个 map-reduce 程序.我编写了自定义 RecordReaderInputFormat 类.

I have developed one map-reduce program. I have written custom RecordReader and InputFormat classes.

我正在使用 MR UnitMockito 对 mapper 和 reducer 进行单元测试.

I am using MR Unit and Mockito for unit testing of mapper and reducer.

我想知道如何对自定义 RecordReaderInputFormat 类进行单元测试?测试这些类的首选方法是什么?

I would like to know how to unit test custom RecordReader and InputFormat classes? What is the most preferred way to test these classes?

推荐答案

感谢user7610

来自answer

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.InputFormat;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.TaskAttemptID;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl;
import org.apache.hadoop.util.ReflectionUtils;
import java.io.File;

Configuration conf = new Configuration(false);
conf.set("fs.default.name", "file:///");

File testFile = new File("path/to/file");
Path path = new Path(testFile.getAbsoluteFile().toURI());
FileSplit split = new FileSplit(path, 0, testFile.length(), null);

InputFormat inputFormat = ReflectionUtils.newInstance(MyInputFormat.class, conf);
TaskAttemptContext context = new TaskAttemptContextImpl(conf, new TaskAttemptID());
RecordReader reader = inputFormat.createRecordReader(split, context);

reader.initialize(split, context);

这篇关于如何对自定义 RecordReader 和 InputFormat 类进行单元测试?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持跟版网!

上一篇:Hadoop 选项没有任何效果(mapreduce.input.lineinputformat.linespermap、 下一篇:如何(在 Hadoop 中)将数据放入正确类型的 map 和 reduce 函数中?

相关文章