前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >用MapReduce分析Hbase将结果插入mysql中

用MapReduce分析Hbase将结果插入mysql中

作者头像
Albert陈凯
发布2018-04-04 14:19:11
1.5K0
发布2018-04-04 14:19:11
举报
文章被收录于专栏:Albert陈凯Albert陈凯Albert陈凯

从HBASE读取清洗过的数据,写入到mysql的表中

NewInstallUserRunner.java

计算新增用户入口类

NewInstallUserRunner的所有属性方法

main方法:

public static void main(String[] args)

只有一个方法ToolRunner.run

org.apache.hadoop.util.ToolRunner.run(new Configuration(), new NewInstallUserRunner(), args);

入口类implements Tool接口

public class NewInstallUserRunner implements Tool

Tool定义run方法

int run(String [] args) throws Exception;

Tool 继承Configurable

public interface Tool extends Configurable 

Configurable定义两个方法

/** Set the configuration to be used by this object. */
void setConf(Configuration conf);

/** Return the configuration used by this object. */
Configuration getConf();

所以入口类需要实现3个方法

int run(String [] args) throws Exception;
void setConf(Configuration conf);
Configuration getConf();

setConf方法实现

@Override
public void setConf(Configuration conf) {
    conf.addResource("output-collector.xml");
    conf.addResource("query-mapping.xml");
    conf.addResource("transformer-env.xml");
    conf.set("fs.defaultFS", "hdfs://master:8020");
    conf.set("yarn.resourcemanager.hostname", "master");
    conf.set("hbase.zookeeper.quorum", "master");
    this.conf = HBaseConfiguration.create(conf);
}

定义output-collector的类,反射用的

output-collector.xml
    <property>
        <name>collector_new_install_user</name>
        <value>com.sxt.transformer.mr.nu.StatsUserNewInstallUserCollector</value>
    </property>

输出到mysql的时候,组成insert语句的

query-mapping.xml
    <property>
        <name>new_install_user</name>
        <value>
        INSERT INTO `stats_user`(
        `platform_dimension_id`,
        `date_dimension_id`,
        `new_install_users`,
        `created`)
        VALUES(?, ?, ?, ?) ON DUPLICATE KEY UPDATE `new_install_users` = ?
        </value>
</property>

输出到mysql的链接信息

transformer-env.xml

getConf方法实现

@Override
public Configuration getConf() {
return this.conf;
}

run方法的实现

public int run(String[] args) throws Exception {
        Configuration conf = this.getConf();
        // 处理参数
        this.processArgs(conf, args);

        // Job job = Job.getInstance(conf, "new_install_user");
        System.out.println("KpiType.NEW_INSTALL_USER.toString()===="
                + KpiType.NEW_INSTALL_USER.name);
        Job job = Job.getInstance(conf, KpiType.NEW_INSTALL_USER.name);

        // job.setJarByClass(NewInstallUserRunner.class);
        // 本地运行
        TableMapReduceUtil.initTableMapperJob(initScans(job),
                NewInstallUserMapper.class, StatsUserDimension.class,
                TimeOutputValue.class, job, false);

        // 集群运行:本地提交和打包(jar)提交
        // TableMapReduceUtil.initTableMapperJob(initScans(job),
        // NewInstallUserMapper.class, StatsUserDimension.class,
        // TimeOutputValue.class, job);
        job.setReducerClass(NewInstallUserReducer.class);
        job.setOutputKeyClass(StatsUserDimension.class);
        job.setOutputValueClass(MapWritableValue.class);
        // job.setInputFormatClass(KeyValueTextInputFormat.class);
        job.setOutputFormatClass(TransformerOutputFormat.class);
        if (job.waitForCompletion(true)) {
            // 执行成功, 需要计算总用户
            this.calculateTotalUsers(conf);
            return 0;
        } else {
            return -1;
        }
    }
run方法的第一条命令processArgs处理参数

processArgs调用处理参数的方法

this.processArgs(conf, args);

processArgs方法解读

run方法第一条 this.processArgs(conf, args); 执行结束,

返回结果默认是昨天,或者运行时加入-d yyyy-DD-mm 格式输入的日期。

run方法的第二条命令
run方法的第二条语句
Job job = Job.getInstance(conf, "new_install_user");

是不是应该这么写更好?
Job job = Job.getInstance(conf, KpiType.NEW_INSTALL_USER.name);

参数中用到的枚举方法

public enum KpiType {

    NEW_INSTALL_USER("new_install_user"), // 统计新用户的kpi
    BROWSER_NEW_INSTALL_USER("browser_new_install_user"), // 统计浏览器维度的新用户kpi
    ACTIVE_USER("active_user"), // 统计活跃用户kpi
    BROWSER_ACTIVE_USER("browser_active_user"), // 统计浏览器维度的活跃用户kpi
    ;
run方法的第三条命令TableMapReduceUtil.initTableMapperJob设置job执行参数
TableMapReduceUtil.initTableMapperJob(initScans(job),
                            NewInstallUserMapper.class, 
                            StatsUserDimension.class,
                            TimeOutputValue.class, job, 
                            false);

addDependencyJars 如果在服务器运行,需要设置为true 如果在本地运行 设置成false

  /**
   * Use this before submitting a Multi TableMap job. 
   * It will appropriately setup the job.
   *
   * @param scans The list of {@link Scan} objects to read from.
   * @param mapper The mapper class to use.
   * @param outputKeyClass The class of the output key.
   * @param outputValueClass The class of the output value.
   * @param job The current job to adjust. Make sure the passed job is carrying
   *          all necessary HBase configuration.
   * @param addDependencyJars upload HBase jars and jars for any of the
   *          configured job classes via the distributed cache (tmpjars).
   * @throws IOException When setting up the details fails.
   */
  public static void initTableMapperJob(List<Scan> scans,
      Class<? extends TableMapper> mapper,
      Class<? extends WritableComparable> outputKeyClass,
      Class<? extends Writable> outputValueClass, Job job,
      boolean addDependencyJars) throws IOException {
    initTableMapperJob(scans, mapper, outputKeyClass, outputValueClass, job,
      addDependencyJars, true);
  }

第一个参数initScans(job)

http://www.jianshu.com/p/fd25d036d4dc

第二个参数NewInstallUserMapper.class

NewInstallUserMapper.class

http://www.jianshu.com/p/1493de43dbf7

第三、四个参数是输出的K,V
run方法的下一条命令job.setReducerClass

job.setReducerClass(NewInstallUserReducer.class); NewInstallUserReducer.class

run方法的下一条命令job.setOutputFormatClass

job.setOutputFormatClass(TransformerOutputFormat.class); TransformerOutputFormat.class

run方法的下一个分支执行MR成功后,执行计算总用户
if (job.waitForCompletion(true)) {
 // 执行成功, 需要计算总用户
 this.calculateTotalUsers(conf);
 return 0;
 } else {
 return -1;
 }
private void calculateTotalUsers(Configuration conf)
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017.03.30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • run方法的第一条命令processArgs处理参数
  • run方法的第二条命令
  • run方法的第三条命令TableMapReduceUtil.initTableMapperJob设置job执行参数
    • 第一个参数initScans(job)
      • 第二个参数NewInstallUserMapper.class
        • 第三、四个参数是输出的K,V
        • run方法的下一条命令job.setReducerClass
        • run方法的下一条命令job.setOutputFormatClass
        • run方法的下一个分支执行MR成功后,执行计算总用户
        相关产品与服务
        云数据库 SQL Server
        腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档