Hadoop数据分析平台实战——260用户数据ETL离线数据分析平台实战——260用户数据ETL

离线数据分析平台实战——260用户数据ETL

ETL目标

解析我们收集的日志数据,将解析后的数据保存到hbase中。 这里选择hbase来存储数据的主要原因就是: hbase的宽表结构设计适合我们的这样多种数据格式的数据存储(不同event有不同的存储格式)。 在etl过程中,我们需要将我们收集得到的数据进行处理,包括ip地址解析、userAgent解析、服务器时间解析等。

ETL存储

etl的结果存储到hbase中, 由于考虑到不同事件有不同的数据格式, 所以我们将最终etl的结果保存到hbase中, 我们使用单family的数据格式, rowkey的生产模式我们采用timestamp+uuid.crc编码的方式。 hbase创建命令:create 'event_logs', 'info'

操作步骤

  1. 修改pom文件,添加hadoop和hbase依赖
  2. 添加LoggerUtil类,中间设计到EventLogConstant常量类和TimeUtil工具类 LoggerUtil主要作用就是解析日志,返回一个map对象 EventLogConstants主要作用就是描述hbase的event_logs表的信息(表名,列簇名,列名)以及日志收集的日志中的数据参数name。其实列名和name是一样的。 TimeUtil主要作用解析服务器时间以及定义rowkey中的timestamp时间戳格式。
  3. 编写mapper类和runner类
  4. 添加环境变量文件,core-site.xml hbase-site.xml log4j.properties 根据不同的运行情况,修改源码将修改后的源码放到代码中。
  5. 添加pom编译代码,并进行测试 本地运行测试: 需要注意的就是windows环境可能会导致出现access方法调用异常,需要修改nativeio这个java文件。 使用TableMapReduceUtil的时候如果出现异常:*****/htrace-core-2.04.jar from hdfs://***/htrace-core-2.04.jar is not a valid DFS filename. 就需要将addDependencyJars参数设置为false。
本地提交job,集群运行测试:
    本地需要知道提交的job是需要提交到集群上的,所以需要指定两个参数mapreduce.framework.name和yarn.resourcemanager.address,value分别为yarn和hh:8032即可,但是可能会出现异常信息,此时需要将参数mapreduce.app-submission.cross-platform设置为true。
参数设置:
        mapreduce.framework.name=yarn
        yarn.resourcemanager.address=hh:8032
        mapreduce.app-submission.cross-platform=true
异常:
        1. Permission denied: user=gerry, access=EXECUTE, inode="/tmp":hadoop:supergroup:drwx------
            解决方案:执行hdfs dfs -chmod -R 777 /tmp
        2. Stack trace: ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control
            解决方案:添加mapreduce.app-submission.cross-platform=true
        3. ExitCodeException exitCode=1:
            解决方案:habse指定输出reducer的时候必须给定addDependencyJars参数为true。
        4. Class com.beifeng.etl.mr.ald.AnalyserLogDataMapper not found
            解决方案:引入EJob.java文件,然后再runner类中添加代码
                File jarFile = EJob.createTempJar("target/classes");
                ((JobConf) job.getConfiguration()).setJar(jarFile.toString());
集群提交&运行job测试:
package com.bjsxt.ae.util;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.commons.lang.StringUtils;

/**
 * 时间控制工具类
 * 
 * @author ck
 *
 */
public class TimeUtil {
    
    
    public static final String DATE_FORMAT = "yyyy-MM-dd";

    /**
     * 获取昨日的日期格式字符串数据
     * 
     * @return
     */
    public static String getYesterday() {
        return getYesterday(DATE_FORMAT);
    }

    /**
     * 获取对应格式的时间字符串
     * 
     * @param pattern
     * @return
     */
    public static String getYesterday(String pattern) {
        SimpleDateFormat sdf = new SimpleDateFormat(pattern);
        Calendar calendar = Calendar.getInstance();
        calendar.add(Calendar.DAY_OF_YEAR, -1);
        return sdf.format(calendar.getTime());
    }

    /**
     * 判断输入的参数是否是一个有效的时间格式数据
     * 
     * @param input
     * @return
     */
    public static boolean isValidateRunningDate(String input) {
        Matcher matcher = null;
        boolean result = false;
        String regex = "[0-9]{4}-[0-9]{2}-[0-9]{2}";
        if (input != null && !input.isEmpty()) {
            Pattern pattern = Pattern.compile(regex);
            matcher = pattern.matcher(input);
        }
        if (matcher != null) {
            result = matcher.matches();
        }
        return result;
    }

    /**
     * 将yyyy-MM-dd格式的时间字符串转换为时间戳
     * 
     * @param input
     * @return
     */
    public static long parseString2Long(String input) {
        return parseString2Long(input, DATE_FORMAT);
    }

    /**
     * 将指定格式的时间字符串转换为时间戳
     * 
     * @param input
     * @param pattern
     * @return
     */
    public static long parseString2Long(String input, String pattern) {
        Date date = null;
        try {
            date = new SimpleDateFormat(pattern).parse(input);
        } catch (ParseException e) {
            throw new RuntimeException(e);
        }
        return date.getTime();
    }

    /**
     * 将时间戳转换为yyyy-MM-dd格式的时间字符串
     * @param input
     * @return
     */
    public static String parseLong2String(long input) {
        return parseLong2String(input, DATE_FORMAT);
    }

    /**
     * 将时间戳转换为指定格式的字符串
     * 
     * @param input
     * @param pattern
     * @return
     */
    public static String parseLong2String(long input, String pattern) {
        Calendar calendar = Calendar.getInstance();
        calendar.setTimeInMillis(input);
        return new SimpleDateFormat(pattern).format(calendar.getTime());
    }

    /**
     * 将nginx服务器时间转换为时间戳,如果说解析失败,返回-1
     * 
     * @param input
     * @return
     */
    public static long parseNginxServerTime2Long(String input) {
        Date date = parseNginxServerTime2Date(input);
        return date == null ? -1L : date.getTime();
    }

    /**
     * 将nginx服务器时间转换为date对象。如果解析失败,返回null
     * 
     * @param input
     *            格式: 1449410796.976
     * @return
     */
    public static Date parseNginxServerTime2Date(String input) {
        if (StringUtils.isNotBlank(input)) {
            try {
                long timestamp = Double.valueOf(Double.valueOf(input.trim()) * 1000).longValue();
                Calendar calendar = Calendar.getInstance();
                calendar.setTimeInMillis(timestamp);
                return calendar.getTime();
            } catch (Exception e) {
                // nothing
            }
        }
        return null;
    }
}
package com.bjsxt.ae.util.model;

/**
 * 地区的pojo
 * @author root
 *
 */
public class RegionInfo {
    
    public static final String DEFAULT_VALUE = "unknown"; //默认值
    
    //国家
    private String country = DEFAULT_VALUE;
    //省
    private String province = DEFAULT_VALUE;
    //城市
    private String city = DEFAULT_VALUE;

    public String getCountry() {
        return country;
    }

    public void setCountry(String country) {
        this.country = country;
    }

    public String getProvince() {
        return province;
    }

    public void setProvince(String province) {
        this.province = province;
    }

    public String getCity() {
        return city;
    }

    public void setCity(String city) {
        this.city = city;
    }

    @Override
    public String toString() {
        return "RegionInfo [country=" + country + ", province=" + province + ", city=" + city + "]";
    }
            

}
package com.bjsxt.ae.etl.util;

import com.bjsxt.ae.etl.util.ip.IPSeeker;

/**
 * 定义具体的ip解析的类,最终调用IpSeeker类(父类)<br/>
 * 解析ip最终的返回时:国家名称 省份名称 城市名称<br/>
 * 如果是国外的ip,那么直接设置为unknown unknown unknown<br/>
 * 如果是国内ip,如果没法进行解析,那么就设置为中国 unknown unknown<br/>
 * 
 * @author ck
 *
 */
public class IPSeekerExt extends IPSeeker {
    private RegionInfo DEFAULT_INFO = new RegionInfo();
    
    
    public static void main(String[] args) {
        
        String ip = new String ("114.114.114.114");
        
        IPSeekerExt ips = new IPSeekerExt();
        System.out.println(ips.getCountry(ip));
        
        
    }

    /**
     * 解析ip地址,返回该ip地址对应的国家省份信息<br/>
     * 如果该ip解析失败,那么直接返回默认值
     * 
     * @param ip
     *            要解析的ip地址,格式为: 120.197.87.216
     * @return
     */
    public RegionInfo analyticIp(String ip) {
        if (ip == null || ip.trim().isEmpty()) {
            return DEFAULT_INFO;
        }

        RegionInfo info = new RegionInfo();
        try {
            String country = super.getCountry(ip);
            if (country != null && !country.trim().isEmpty()) {
                // 表示该ip还一个可以解析的ip
                country = country.trim();
                int length = country.length();
                int index = country.indexOf('省');
                if (index > 0) {
                    // 当前ip属于23个省之间的一个,country的格式为:xxx省(xxx市)(xxx县/区)
                    info.setCountry("中国");
                    if (index == length - 1) {
                        info.setProvince(country); // 设置省份,格式列入: 广东省
                    } else {
                        // 格式为:广东省广州市
                        info.setProvince(country.substring(0, index + 1)); // 设置省份
                        int index2 = country.indexOf('市', index); // 查看下一个出现市的位置
                        if (index2 > 0) {
                            country.substring(1,1);
                            info.setCity(country.substring(index + 1, Math.min(index2 + 1, length))); // 设置city
                        }
                    }
                } else {
                    // 其他的五个自治区 四个直辖市 2个特别行政区
                    String flag = country.substring(0, 2); // 拿字符串前两位
                    switch (flag) {
                    case "内蒙":
                        info.setCountry("中国");
                        info.setProvince("内蒙古自治区");
                        country = country.substring(3);
                        if (country != null && !country.isEmpty()) {
                            index = country.indexOf('市');
                            if (index > 0) {
                                info.setCity(country.substring(0, Math.min(index + 1, country.length()))); // 设置市
                            }
                        }
                        break;
                    case "广西":
                    case "西藏":
                    case "宁夏":
                    case "新疆":
                        info.setCountry("中国");
                        info.setProvince(flag);
                        country = country.substring(2);
                        if (country != null && !country.isEmpty()) {
                            index = country.indexOf('市');
                            if (index > 0) {
                                info.setCity(country.substring(0, Math.min(index + 1, country.length()))); // 设置市
                            }
                        }
                        break;
                    case "上海":
                    case "北京":
                    case "天津":
                    case "重庆":
                        info.setCountry("中国");
                        info.setProvince(flag + "市");
                        country = country.substring(3); // 去除这个省份/直辖市
                        if (country != null && !country.isEmpty()) {
                            index = country.indexOf('区');
                            if (index > 0) {
                                char ch = country.charAt(index - 1);
                                if (ch != '校' || ch != '小') {
                                    info.setCity(country.substring(0, Math.min(index + 1, country.length()))); // 设置区
                                }
                            }

                            if (RegionInfo.DEFAULT_VALUE.equals(info.getCity())) {
                                // city还是默认值
                                index = country.indexOf('县');
                                if (index > 0) {
                                    info.setCity(country.substring(0, Math.min(index + 1, country.length()))); // 设置区
                                }
                            }
                        }
                        break;
                    case "香港":
                    case "澳门":
                        info.setCountry("中国");
                        info.setProvince(flag + "特别行政区");
                        break;
                    default:
                        break;
                    }
                }
            }
        } catch (Exception e) {
            // 解析过程中出现异常
            e.printStackTrace();
        }
        return info;
    }

    /**
     * ip地域相关的一个model
     * 
     * @author gerry
     *
     */
    public static class RegionInfo {
        public static final String DEFAULT_VALUE = "unknown"; // 默认值
        private String country = DEFAULT_VALUE; // 国家
        private String province = DEFAULT_VALUE; // 省份
        private String city = DEFAULT_VALUE; // 城市

        public String getCountry() {
            return country;
        }

        public void setCountry(String country) {
            this.country = country;
        }

        public String getProvince() {
            return province;
        }

        public void setProvince(String province) {
            this.province = province;
        }

        public String getCity() {
            return city;
        }

        public void setCity(String city) {
            this.city = city;
        }

        @Override
        public String toString() {
            return "RegionInfo [country=" + country + ", province=" + province + ", city=" + city + "]";
        }
    }
}

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小白鼠

Mybatis

从xml配置文件中读取配置,然后通过SqlSessionFactoryBuilder构建SqlSessionFactory实例(建造者模式)。SqlSessio...

2633
来自专栏恰同学骚年

Hadoop学习笔记—5.自定义类型处理手机上网日志

  假设我们如下一个日志文件,这个文件的内容是来自某个电信运营商的手机上网日志,文件的内容已经经过了优化,格式比较规整,便于学习研究。

711
来自专栏MasiMaro 的技术博文

windows 纤程

纤程本质上也是线程,是多任务系统的一部分,纤程为一个线程准并行方式调用多个不同函数提供了一种可能,它本身可以作为一种轻量级的线程使用。它与线程在本质上没有区别,...

1522
来自专栏JAVA后端开发

给mybatis添加自动建表,自动加字段的功能

以前项目用惯了hibernate,jpa,它有个自动建表功能,只要在PO里加上配置就可以了,感觉很爽. 但现在用mybatis,发现没有该功能,每次都加个字段...

3913
来自专栏风口上的猪的文章

.NET面试题系列[13] - LINQ to Object

"C# 3.0所有特性的提出都是更好地为LINQ服务的" - Learning Hard

1012
来自专栏个人分享

Hive metastore整体代码分析及详解

  从上一篇对Hive metastore表结构的简要分析中,我再根据数据设计的实体对象,再进行整个代码结构的总结。那么我们先打开metadata的目录,其目录...

3733
来自专栏程序员互动联盟

【答疑释惑】ascii码及转义字符的含义

我们在c/c++学习开发中经常用到它,小伙伴们你们都知道那些,是不是用到的时候着急或者不知道,为什么判断字符串结尾是'\0'呢?   我们就讲讲列列ascii...

3365
来自专栏自由而无用的灵魂的碎碎念

通过写Java代码来对MyEclipse进行注册

import java.io.BufferedReader; import java.io.IOException; import java.io...

1264
来自专栏魂祭心

原 荐 NEO VM原理及其实现

4188
来自专栏IMWeb前端团队

Redux源码解析系列(四)-- combineReducers

本文作者:IMWeb 黄qiong 原文出处:IMWeb社区 未经同意,禁止转载 combindeReducer 字面意思就是用来合并reducer的...

1937

扫码关注云+社区