Hadoop读取环境变量及setup函数-创新互联

setup 函数原码:（摘自《hadoop实战》）
*Called once at the start of the task.
protected void setup(Context context) throws IOException,InterruptedException{}

从注释可得知，setup函数在Task启动时就调用。
在MapReduce中作业会被组织成MapTask和ReduceTask。
每个Task都以Map类或Reduce类为处理方法主体，
输入分片为处理方法的输入，自己的分片处理完后Task就销毁了。
从这里看出，setup函数在task启动后数据处理前就调用一次
而覆盖的Map函数和Reduce函数会针对输入分片的每个Key调用一次，
所以setup函数可以看作Task上一个全局处理。
利用setup函数的特性，可以将Map或Reduce函数中的的重复处理放到setup函数中。
如老师给的Exercise_2中的"name"
但需要注意的是，调用setup函数只是对应的Task上全局操作，而不是整个作业的全局操作。

十年的陕西网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。成都全网营销推广的优势是能够根据用户设备显示端的尺寸不同，自动调整陕西建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。成都创新互联公司从事“陕西网站设计”,“陕西网站推广”以来，每个客户项目都认真落实执行。

可以先用api把本地的文件传到hdfs中的 /user/hadoop/test 里去
//本地文件上传到HDFS上
public static void upload(String src,String dst) throws FileNotFoundException,IOException{

  InputStream in = new BufferedInputStream(new FileInputStream(src));
  //得到配置对象
  Configuration conf = new Configuration();
  //文件系统
  FileSystem fs = FileSystem.get(URI.create(dst), conf);
  //输出流
  OutputStream out = fs.create(new Path(dst), new Progressable() {

  public void progress() {
      System.out.println("上传完一个设定缓存区大小容量的文件！");
      }
  });
  //连接两个流，形成通道，使输入流向输出流传输数据
  IOUtils.copyBytes(in, out, 4096,true);
  }
上传的时候调用这个函数就可以了
例如
upload("/home/jack/test/test.txt","/user/hadoop/test/test");
前面的是本地目录中的文件，后面是hdfs中的文件
注意必须两者都必须是“路径+文件名”  不能没有文件名

Configuration conf = new Configuration();

conf.setStrings("job_parms", "aaabbc"); //关键就是这一句
       Job job = new Job(conf, "load analysis");
       job.setJarByClass(LoadAnalysis.class);
       job.setMapperClass(LoadMapper.class);
       job.setReducerClass(LoadIntoHbaseReduce.class);
       job.setMapOutputKeyClass(Text.class);
       job.setMapOutputValueClass(Text.class);

       FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

@Override
       protected void setup(Context context)
               throws IOException, InterruptedException {
           try {

               //从全局配置获取配置参数
               Configuration conf = context.getConfiguration();
               String parmStr = conf.get("job_parms"); //这样就拿到了

              ......

           } catch (SQLException e) {

               e.printStackTrace();
           }

       }

全局文件：hadoop有distributed cache来保存全局文件，保证所有node都可以访问，使用类名为DistributedCache

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站栏目：Hadoop读取环境变量及setup函数-创新互联
标题来源：http://scjbc.cn/article/dspghh.html

Hadoop读取环境变量及setup函数-创新互联

其他资讯