如何通过 API 访问 Hadoop 计数器值?

时间:2023-05-05
本文介绍了如何通过 API 访问 Hadoop 计数器值?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着跟版网的小编来一起学习吧!

问题描述

限时送ChatGPT账号..

在 Hadoop 中,我们可以在 map/reduce 任务中增加计数器,如下所示:

In Hadoop we can increment counter in map/reduce task, it looks like this:

...
context.getCounter(MyCountersEnum.SomeCounter).increment(1);
...

你可以在日志中找到它们的值.

Than you can find their value in log.

作业完成后如何从代码中访问它们?

How do you access them from code after job completes?

什么是读取计数器值的 Hadoop API?

What is Hadoop API to read counter value?

推荐答案

我刚刚找到了答案 这里.

您需要一个作业对象来访问计数器:

You need a job object to access the counters:

Counters counters = job.getCounters();
Counter counter = counters.findCounter(MyCountersEnum.SomeCounter);
System.out.println(counter.getDisplayName() + ": " + counter.getValue());

这篇关于如何通过 API 访问 Hadoop 计数器值?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持跟版网!

上一篇:HADOOP :: java.lang.ClassNotFoundException: WordCount 下一篇:Hadoop:reducer 的数量不等于我在程序中设置的数量

相关文章