Java MapReduce Job配置指南

1. Job基础属性设置

创建一个新的Job实例，并配置其基础属性。可以通过以下步骤实现：

Job job = new Job();job.setJarByClass(YourClass.class);job.setJobName("your_job_name");job.setNumReduce(2); // 设置并行度

2. Map/Reduce类设置

配置Map和Reduce的类，提供默认的处理类或自定义类：

job.setMapperClass(YourMapperClass.class);job.setReducerClass(YourReducerClass.class);

3. 输入输出格式设置

指定Job的输入和输出格式，默认为TextInputFormat和FileOutputFormat：

job.setInputFormatClass(InputFormat.class);job.setOutputFormatClass(OutputFormat.class);

4. 输入输出路径设置

当使用文件输入或输出时，指定相应路径：

FileInputFormat.addInputPath(job, new Path("输入路径"));FileOutputFormat.setOutputPath(job, new Path("输出路径"));

5. 输出键值类型设置

配置Map和Reduce的输出键值类型，提供四个主要类别：

// Map输出job.setOutputKeyClass(YourKeyClass.class);job.setOutputValueClass(YourValueClass.class);// Reduce输出（默认与Map输出一致）

6. 运行程序

提交Job进行处理，并等待完成：

job.waitForCompletion();

示例代码

import org.apache.hadoop.fs.Path;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class MaxTemperature {    public static void main(String[] args) throws Exception {        // 1. 设置Job基础属性        Job job = new Job();        job.setJarByClass(MaxTemperature.class);        job.setJobName("Max temperature");        job.setNumReduce(2);        // 2. 设置Map/Reduce类        job.setMapperClass(MaxTemperatureMapper.class);        job.setReducerClass(MaxTemperatureReducer.class);        // 3. 设置输入输出格式        job.setInputFormatClass(FileInputFormat.class);        job.setOutputFormatClass(FileOutputFormat.class);        // 4. 设置输入输出路径        FileInputFormat.addInputPath(job, new Path(args[0]));        FileOutputFormat.setOutputPath(job, new Path(args[1]));        // 5. 设置输出键值类型        job.setOutputKeyClass(Text.class);        job.setOutputValueClass(IntWritable.class);        // 6. 运行程序        System.exit(job.waitForCompletion(true) ? 1 : 0);    }}

注意：上述示例为伪代码，实际开发中需根据需要导入相应的类和包。

转载地址：http://gqnk.baihongyu.com/

你可能感兴趣的文章