大数据技术之_18_大数据离线平台_02_Nginx+Mysql+数据收集+Web 工程 JS/JAVA SDK 讲解+Flume 故障后-如何手动上传 Nginx 日志文件至 HDFS 上

$ mkdir /opt/module/nginx

# wget http://tengine.taobao.org/download/tengine-2.0.2.tar.gz

$ tar -zxf tengine-2.0.2.tar.gz -C /opt/module/nginx/

# yum -y install gcc openssl-devel zlib-devel pcre-devel

[root@hadoop102 tengine-2.0.2]# pwd
/opt/module/nginx/tengine-2.0.2
[root@hadoop102 tengine-2.0.2]# ./configure
[root@hadoop102 tengine-2.0.2]# make && make install
[root@hadoop102 tengine-2.0.2]# cd /usr/local/nginx/（查看安装是否成功）

* 启动 Nginx
# sbin/nginx

* 查看 Nginx 进程是否存在
# ps -ef | grep nginx

* 查看 80 端口是否在使用
# netstat -tunlp | grep 80

* 关闭服务
# sbin/nginx -s stop

* 重新加载配置项
# sbin/nginx -s reload

* 校验 conf 文件夹中 nginx.conf 文件格式是否正确
# sbin/nginx -t

* 帮助命令
# sbin/nginx -h

# cp nginx.conf nginx.conf.bak

# http 标签中添加如下
# 定义日志格式
log_format  user_log_format '$remote_addr^A$msec^A$request_uri';

# server 标签中添加如下
server_name  hadoop102;

# server 标签中添加 location 标签如下
# 新增一个 location，匹配所有以 what.png 结尾的请求
location ~ .*(what)\.(png)$ {
    # 设置请求类型为图片请求
    default_type image/png;
    # 记录日志，存储到一个 flume 用户可以读取的文件夹中，需要修改权限
    access_log /usr/local/nginx/user_logs/access.log user_log_format;
    # 给定存储图片的服务器位置
    root /usr/local/nginx/html;  
}

# chown root:root nginx.conf

# chmod 644 nginx.conf

# mkdir user_logs/
# chmod 777 user_logs/

# cp /opt/software/what.png /usr/local/nginx/html/

方式一：
# cat /usr/local/nginx/logs/nginx.pid
# kill -9 xxx

方式二：
# ps -ef | grep nginx
# kill -9 xxx

方式三：
# sbin/nginx -s stop
重启：
# sbin/nginx

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /usr/local/nginx/user_logs/access.log
a1.sources.r1.shell = /bin/bash -c

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop102:9000/event-logs/%Y/%m/%d
a1.sinks.k1.hdfs.filePrefix=FlumeData
a1.sinks.k1.hdfs.fileSuffix=.log
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a1.sinks.k1.hdfs.batchSize = 10000
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 0
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 131072000
#文件的滚动与 Event 数量无关
a1.sinks.k1.hdfs.rollCount = 0
#当目前被打开的临时文件在该参数指定的时间（秒）内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件
a1.sinks.k1.hdfs.idleTimeout = 60
#最小冗余数
a1.sinks.k1.hdfs.minBlockReplicas = 1

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
# 一般设置为 2 * 1024 * 1024 * 100 = 209715200
a1.channels.c1.capacity = 5120000
# 单个进程的最大处理能力
a1.channels.c1.transactionCapacity = 512000
a1.channels.c1.keep-alive=60
a1.channels.c1.byteCapacityBufferPercentage=10

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/flume/conf/
$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/flume/conf/

$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-nginx-log-2-hdfs.conf -Dflume.root.logger=INFO,console /opt/module/flume/logs/flume-nginx-log-2-hdfs.log 2>&1 &

package com.z.logmake;

import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;
import java.util.HashMap;
import java.util.Map;
import java.util.logging.Level;
import java.util.logging.Logger;

/**
 * 分析引擎sdk java服务器端数据收集
 */
public class AnalyticsEngineSDK {
    // 日志打印对象
    private static final Logger log = Logger.getGlobal();
    // 请求url的主体部分
    public static final String accessUrl = "http://hadoop-senior01.itguigu.com/what.png";
    private static final String platformName = "java_server";
    private static final String sdkName = "jdk";
    private static final String version = "1";

    /**
     * 触发订单支付成功事件，发送事件数据到服务器
     * 
     * @param orderId
     *            订单支付id
     * @param memberId
     *            订单支付会员id
     * @return 如果发送数据成功(加入到发送队列中)，那么返回true；否则返回false(参数异常&添加到发送队列失败).
     */
    public static boolean onChargeSuccess(String orderId, String memberId) {
        try {
            if (isEmpty(orderId) || isEmpty(memberId)) {
                // 订单id或者memberid为空
                log.log(Level.WARNING, "订单id和会员id不能为空");
                return false;
            }
            // 代码执行到这儿，表示订单id和会员id都不为空。
            Map<String, String> data = new HashMap<String, String>();
            data.put("u_mid", memberId);
            data.put("oid", orderId);
            data.put("c_time", String.valueOf(System.currentTimeMillis()));
            data.put("ver", version);
            data.put("en", "e_cs");
            data.put("pl", platformName);
            data.put("sdk", sdkName);
            // 创建url
            String url = buildUrl(data);
            // 发送url&将url加入到队列
            SendDataMonitor.addSendUrl(url);
            return true;
        } catch (Throwable e) {
            log.log(Level.WARNING, "发送数据异常", e);
        }
        return false;
    }

    /**
     * 触发订单退款事件，发送退款数据到服务器
     * 
     * @param orderId
     *            退款订单id
     * @param memberId
     *            退款会员id
     * @return 如果发送数据成功，返回true。否则返回false。
     */
    public static boolean onChargeRefund(String orderId, String memberId) {
        try {
            if (isEmpty(orderId) || isEmpty(memberId)) {
                // 订单id或者memberid为空
                log.log(Level.WARNING, "订单id和会员id不能为空");
                return false;
            }
            // 代码执行到这儿，表示订单id和会员id都不为空。
            Map<String, String> data = new HashMap<String, String>();
            data.put("u_mid", memberId);
            data.put("oid", orderId);
            data.put("c_time", String.valueOf(System.currentTimeMillis()));
            data.put("ver", version);
            data.put("en", "e_cr");
            data.put("pl", platformName);
            data.put("sdk", sdkName);
            // 构建url
            String url = buildUrl(data);
            // 发送url&将url添加到队列中
            SendDataMonitor.addSendUrl(url);
            return true;
        } catch (Throwable e) {
            log.log(Level.WARNING, "发送数据异常", e);
        }
        return false;
    }

    /**
     * 根据传入的参数构建url
     * 
     * @param data
     * @return
     * @throws UnsupportedEncodingException
     */
    private static String buildUrl(Map<String, String> data) throws UnsupportedEncodingException {
        StringBuilder sb = new StringBuilder();
        sb.append(accessUrl).append("?");
        for (Map.Entry<String, String> entry : data.entrySet()) {
            if (isNotEmpty(entry.getKey()) && isNotEmpty(entry.getValue())) {
                // key和value不为空
                sb.append(entry.getKey().trim()).append("=").append(URLEncoder.encode(entry.getValue().trim(), "utf-8"))
                        .append("&");
                // 解码
                // URLDecoder.decode("需要解码的内容", "utf-8");
            }
        }
        return sb.substring(0, sb.length() - 1);// 去掉最后&
    }

    /**
     * 判断字符串是否为空，如果为空，返回true。否则返回false。
     * 
     * @param value
     * @return
     */
    private static boolean isEmpty(String value) {
        return value == null || value.trim().isEmpty();
    }

    /**
     * 判断字符串是否非空，如果不是空，返回true。如果是空，返回false。
     * 
     * @param value
     * @return
     */
    private static boolean isNotEmpty(String value) {
        return !isEmpty(value);
    }
}

package com.z.logmake;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.logging.Level;
import java.util.logging.Logger;

/**
 * 发送url数据的监控者，用于启动一个单独的线程来发送数据
 */
public class SendDataMonitor {
    // 日志记录对象
    private static final Logger log = Logger.getGlobal();
    // 队列，用户存储发送url， 并发控制的Int.maxSize大小的阻塞队列
    private BlockingQueue<String> queue = new LinkedBlockingQueue<String>();
    // 用于单列的一个类对象
    private static SendDataMonitor monitor = null;

    private SendDataMonitor() {
        // 私有构造方法，进行单列模式的创建
    }

    /**
     * 获取单例的monitor对象实例
     * 
     * @return
     */
    public static SendDataMonitor getSendDataMonitor() {
        if (monitor == null) {
            synchronized (SendDataMonitor.class) {
                if (monitor == null) {
                    monitor = new SendDataMonitor();

                    Thread thread = new Thread(new Runnable() {

                        @Override
                        public void run() {
                            // 线程中调用具体的处理方法
                            SendDataMonitor.monitor.run();
                        }
                    });
                    // 测试的时候，不设置为守护模式
                    // thread.setDaemon(true);
                    thread.start();
                }
            }
        }
        return monitor;
    }

    /**
     * 添加一个url到队列中去
     * 
     * @param url
     * @throws InterruptedException
     */
    public static void addSendUrl(String url) throws InterruptedException {
        getSendDataMonitor().queue.put(url);
    }

    /**
     * 具体执行发送url的方法
     * 
     */
    private void run() {
        while (true) {
            try {
                // take 方法是阻塞方法，队列上有数据则取出，队列上没有数据则等待
                String url = this.queue.take();
                // 正式的发送url
                HttpRequestUtil.sendData(url);
            } catch (Throwable e) {
                log.log(Level.WARNING, "发送url异常", e);
            }
        }
    }

    /**
     * 内部类，用户发送数据的http工具类
     */
    public static class HttpRequestUtil {
        /**
         * 具体发送url的方法
         * 
         * @param url
         * @throws IOException
         */
        public static void sendData(String url) throws IOException {
            HttpURLConnection con = null;
            BufferedReader in = null;

            try {
                URL obj = new URL(url); // 创建url对象
                con = (HttpURLConnection) obj.openConnection(); // 打开url连接
                // 设置连接参数
                con.setConnectTimeout(5000); // 连接过期时间
                con.setReadTimeout(5000); // 读取数据过期时间
                con.setRequestMethod("GET"); // 设置请求类型为get

                System.out.println("发送url:" + url);
                // 发送连接请求
                in = new BufferedReader(new InputStreamReader(con.getInputStream()));
                // TODO: 这里考虑是否可以
            } finally {
                try {
                    if (in != null) {
                        in.close();
                    }
                } catch (Throwable e) {
                    // nothing
                }
                try {
                    con.disconnect();
                } catch (Throwable e) {
                    // nothing
                }
            }
        }
    }
}

(function() {
    var CookieUtil = {
        // get the cookie of the key is name
        get : function(name) {
            var cookieName = encodeURIComponent(name) + "=", cookieStart = document.cookie
                    .indexOf(cookieName), cookieValue = null;
            if (cookieStart > -1) {
                var cookieEnd = document.cookie.indexOf(";", cookieStart);
                if (cookieEnd == -1) {
                    cookieEnd = document.cookie.length;
                }
                cookieValue = decodeURIComponent(document.cookie.substring(
                        cookieStart + cookieName.length, cookieEnd));
            }
            return cookieValue;
        },
        // set the name/value pair to browser cookie
        set : function(name, value, expires, path, domain, secure) {
            var cookieText = encodeURIComponent(name) + "="
                    + encodeURIComponent(value);

            if (expires) {
                // set the expires time
                var expiresTime = new Date();
                expiresTime.setTime(expires);
                cookieText += ";expires=" + expiresTime.toGMTString();
            }

            if (path) {
                cookieText += ";path=" + path;
            }

            if (domain) {
                cookieText += ";domain=" + domain;
            }

            if (secure) {
                cookieText += ";secure";
            }

            document.cookie = cookieText;
        },
        setExt : function(name, value) {
            this.set(name, value, new Date().getTime() + 315360000000, "/");
        }
    };

    // 主体，其实就是tracker js
    var tracker = {
        // config
        clientConfig : {
            // TODO 这里的url需要传入具体的地址
            serverUrl : "http://hadoop-senior01.itguigu.com/what.png",
            sessionTimeout : 360, // 360s -> 6min
            maxWaitTime : 3600, // 3600s -> 60min -> 1h
            ver : "1"
        },

        cookieExpiresTime : 315360000000, // cookie过期时间，10年

        columns : {
            // 发送到服务器的列名称
            eventName : "en",
            version : "ver",
            platform : "pl",
            sdk : "sdk",
            uuid : "u_ud",
            memberId : "u_mid",
            sessionId : "u_sd",
            clientTime : "c_time",
            language : "l",
            userAgent : "b_iev",
            resolution : "b_rst",
            currentUrl : "p_url",
            referrerUrl : "p_ref",
            title : "tt",
            orderId : "oid",
            orderName : "on",
            currencyAmount : "cua",
            currencyType : "cut",
            paymentType : "pt",
            category : "ca",
            action : "ac",
            kv : "kv_",
            duration : "du"
        },

        keys : {
            pageView : "e_pv",
            chargeRequestEvent : "e_crt",
            launch : "e_l",
            eventDurationEvent : "e_e",
            sid : "bftrack_sid",
            uuid : "bftrack_uuid",
            mid : "bftrack_mid",
            preVisitTime : "bftrack_previsit",

        },

        /**
         * 获取会话id
         */
        getSid : function() {
            return CookieUtil.get(this.keys.sid);
        },

        /**
         * 保存会话id到cookie
         */
        setSid : function(sid) {
            if (sid) {
                CookieUtil.setExt(this.keys.sid, sid);
            }
        },

        /**
         * 获取uuid，从cookie中
         */
        getUuid : function() {
            return CookieUtil.get(this.keys.uuid);
        },

        /**
         * 保存uuid到cookie
         */
        setUuid : function(uuid) {
            if (uuid) {
                CookieUtil.setExt(this.keys.uuid, uuid);
            }
        },

        /**
         * 获取memberID
         */
        getMemberId : function() {
            return CookieUtil.get(this.keys.mid);
        },

        /**
         * 设置mid
         */
        setMemberId : function(mid) {
            if (mid) {
                CookieUtil.setExt(this.keys.mid, mid);
            }
        },

        startSession : function() {
            // 加载js就触发的方法
            if (this.getSid()) {
                // 会话id存在，表示uuid也存在
                if (this.isSessionTimeout()) {
                    // 会话过期,产生新的会话
                    this.createNewSession();
                } else {
                    // 会话没有过期，更新最近访问时间
                    this.updatePreVisitTime(new Date().getTime());
                }
            } else {
                // 会话id不存在，表示uuid也不存在
                this.createNewSession();
            }
            this.onPageView();
        },

        onLaunch : function() {
            // 触发launch事件
            var launch = {};
            launch[this.columns.eventName] = this.keys.launch; // 设置事件名称
            this.setCommonColumns(launch); // 设置公用columns
            this.sendDataToServer(this.parseParam(launch)); // 最终发送编码后的数据
        },

        onPageView : function() {
            // 触发page view事件
            if (this.preCallApi()) {
                var time = new Date().getTime();
                var pageviewEvent = {};
                pageviewEvent[this.columns.eventName] = this.keys.pageView;
                pageviewEvent[this.columns.currentUrl] = window.location.href; // 设置当前url
                pageviewEvent[this.columns.referrerUrl] = document.referrer; // 设置前一个页面的url
                pageviewEvent[this.columns.title] = document.title; // 设置title
                this.setCommonColumns(pageviewEvent); // 设置公用columns
                this.sendDataToServer(this.parseParam(pageviewEvent)); // 最终发送编码后的数据
                this.updatePreVisitTime(time); // 更新最近访问时间
            }
        },

        onChargeRequest : function(orderId, name, currencyAmount, currencyType,
                paymentType) {
            // 触发订单产生事件
            if (this.preCallApi()) {
                if (!orderId || !currencyType || !paymentType) {
                    this.log("订单id、货币类型以及支付方式不能为空");
                    return;
                }

                if (typeof (currencyAmount) == "number") {
                    // 金额必须是数字
                    var time = new Date().getTime();
                    var chargeRequestEvent = {};
                    chargeRequestEvent[this.columns.eventName] = this.keys.chargeRequestEvent;
                    chargeRequestEvent[this.columns.orderId] = orderId;
                    chargeRequestEvent[this.columns.orderName] = name;
                    chargeRequestEvent[this.columns.currencyAmount] = currencyAmount;
                    chargeRequestEvent[this.columns.currencyType] = currencyType;
                    chargeRequestEvent[this.columns.paymentType] = paymentType;
                    this.setCommonColumns(chargeRequestEvent); // 设置公用columns
                    this.sendDataToServer(this.parseParam(chargeRequestEvent)); // 最终发送编码后的数据ss
                    this.updatePreVisitTime(time);
                } else {
                    this.log("订单金额必须是数字");
                    return;
                }
            }
        },

        onEventDuration : function(category, action, map, duration) {
            // 触发event事件
            if (this.preCallApi()) {
                if (category && action) {
                    var time = new Date().getTime();
                    var event = {};
                    event[this.columns.eventName] = this.keys.eventDurationEvent;
                    event[this.columns.category] = category;
                    event[this.columns.action] = action;
                    if (map) {
                        // map如果不为空，进行内容的添加
                        for ( var k in map) {
                            // 循环key
                            if (k && map[k]) {
                                // 当key和value不为空的时候，进行添加操作
                                event[this.columns.kv + k] = map[k]; // key添加前缀"kv_"
                            }
                        }
                    }
                    if (duration) {
                        event[this.columns.duration] = duration; // 当duration不为0的时候进行添加
                    }
                    this.setCommonColumns(event); // 设置公用columns
                    this.sendDataToServer(this.parseParam(event)); // 最终发送编码后的数据ss
                    this.updatePreVisitTime(time);
                } else {
                    this.log("category和action不能为空");
                }
            }
        },

        /**
         * 执行对外方法前必须执行的方法
         */
        preCallApi : function() {
            if (this.isSessionTimeout()) {
                // 如果为true，表示需要新建
                this.startSession();
            } else {
                this.updatePreVisitTime(new Date().getTime());
            }
            return true;
        },

        sendDataToServer : function(data) {
            // 发送数据data到服务器，其中data是一个字符串
            // TODO：发送以前发送失败的数据
            var that = this;
            var i2 = new Image(1, 1);
            i2.onerror = function() {
                // 这里可以进行重试操作
                // 当请求失败的情况下，执行这块的代码，可以将数据保存到local stroage中，下次再重新发送数据
            };
            // 给定图片的请求url
            i2.src = this.clientConfig.serverUrl + "?" + data;
        },

        /**
         * 往data中添加发送到日志收集服务器的公用部分
         */
        setCommonColumns : function(data) {
            data[this.columns.version] = this.clientConfig.ver;
            data[this.columns.platform] = "website";
            data[this.columns.sdk] = "js";
            data[this.columns.uuid] = this.getUuid(); // 设置用户id
            data[this.columns.memberId] = this.getMemberId(); // 设置会员id
            data[this.columns.sessionId] = this.getSid(); // 设置sid
            data[this.columns.clientTime] = new Date().getTime(); // 设置客户端时间
            data[this.columns.language] = window.navigator.language; // 设置浏览器语言
            data[this.columns.userAgent] = window.navigator.userAgent; // 设置浏览器类型
            data[this.columns.resolution] = screen.width + "*" + screen.height; // 设置浏览器分辨率
        },

        /**
         * 创建新的会员，并判断是否是第一次访问页面，如果是，进行launch事件的发送。
         */
        createNewSession : function() {
            var time = new Date().getTime(); // 获取当前操作时间
            // 1. 进行会话更新操作
            var sid = this.generateId(); // 产生一个session id
            this.setSid(sid);
            this.updatePreVisitTime(time); // 更新最近访问时间
            // 2. 进行uuid查看操作
            if (!this.getUuid()) {
                // uuid不存在，先创建uuid，然后保存到cookie，最后触发launch事件
                var uuid = this.generateId(); // 产品uuid
                this.setUuid(uuid);
                this.onLaunch(); // 触发launch事件
            }
        },

        /**
         * 参数编码返回字符串
         */
        parseParam : function(data) {
            var params = "";
            for ( var e in data) {
                if (e && data[e]) {
                    // 对key和value进行编码操作
                    params += encodeURIComponent(e) + "="
                            + encodeURIComponent(data[e]) + "&";
                }
            }
            if (params) {
                return params.substring(0, params.length - 1);
            } else {
                return params;
            }
        },

        /**
         * 产生uuid<br/>
         * UUID的产生逻辑，可以参考Java中UUID的生产代码
         */
        generateId : function() {
            var chars = '0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz';
            var tmpid = [];
            var r;
            tmpid[8] = tmpid[13] = tmpid[18] = tmpid[23] = '-';
            tmpid[14] = '4';

            for (i = 0; i < 36; i++) {
                if (!tmpid[i]) {
                    r = 0 | Math.random() * 16;
                    tmpid[i] = chars[(i == 19) ? (r & 0x3) | 0x8 : r];
                }
            }
            return tmpid.join('');
        },

        /**
         * 判断这个会话是否过期，查看当前时间和最近访问时间间隔时间是否小于this.clientConfig.sessionTimeout<br/>
         * 如果是小于，返回false;否则返回true。
         */
        isSessionTimeout : function() {
            var time = new Date().getTime();
            var preTime = CookieUtil.get(this.keys.preVisitTime);
            if (preTime) {
                // 最近访问时间存在,那么进行区间判断
                return time - preTime > this.clientConfig.sessionTimeout * 1000;
            }
            return true;
        },

        /**
         * 更新最近访问时间
         */
        updatePreVisitTime : function(time) {
            CookieUtil.setExt(this.keys.preVisitTime, time);
        },

        /**
         * 打印日志
         */
        log : function(msg) {
            console.log(msg);
        },

    };

    // 对外暴露的方法名称
    window.__AE__ = {
        startSession : function() {
            tracker.startSession();
        },
        onPageView : function() {
            tracker.onPageView();
        },
        onChargeRequest : function(orderId, name, currencyAmount, currencyType,
                paymentType) {
            tracker.onChargeRequest(orderId, name, currencyAmount,
                    currencyType, paymentType);
        },
        onEventDuration : function(category, action, map, duration) {
            tracker.onEventDuration(category, action, map, duration);
        },
        setMemberId : function(mid) {
            tracker.setMemberId(mid);
        }
    };

    // 自动加载方法
    var autoLoad = function() {
        // 进行参数设置
        var _aelog_ = _aelog_ || window._aelog_ || [];
        var memberId = null;
        for (i = 0; i < _aelog_.length; i++) {
            _aelog_[i][0] === "memberId" && (memberId = _aelog_[i][1]);
        }
        // 根据是给定memberid，设置memberid的值
        memberId && __AE__.setMemberId(memberId);
        // 启动session
        __AE__.startSession();
    };

    // 调用
    autoLoad();
})();

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>测试页面1</title>
<!-- 第一种集成方式 -->
<script type="text/javascript" src="./js/analytics.js"></script>
</head>
<body>
    测试页面1<br/>
    跳转到:
    <a href="demo.html">demo</a>
    <a href="demo2.html">demo2</a>
    <a href="demo3.html">demo3</a>
    <a href="demo4.html">demo4</a>
</body>
</html>

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>测试页面2</title>
<script type="text/javascript" src="./js/analytics.js"></script>
</head>
<body>
    测试页面2
    <br/>
    <label>orderid: 123456</label><br>
    <label>orderName: 测试订单123456</label><br/>
    <label>currencyAmount: 524.01</label><br/>
    <label>currencyType: RMB</label><br/>
    <label>paymentType: alipay</label><br/>
    <button onclick="__AE__.onChargeRequest('123456','测试订单123456',524.01,'RMB','alipay')">触发chargeRequest事件</button><br/>
    跳转到:
    <a href="demo.html">demo</a>
    <a href="demo2.html">demo2</a>
    <a href="demo3.html">demo3</a>
    <a href="demo4.html">demo4</a>
</body>
</html>

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>测试页面3</title>
<script type="text/javascript" src="./js/analytics.js"></script>
</head>
<body>
    测试页面3<br/>
    <label>category: event的category名称</label><br/>
    <label>action: event的action名称</label><br/>
    <label>map: {"key1":"value1", "key2":"value2"}</label><br/>
    <label>duration: 1245</label><br/>
    <button onclick="__AE__.onEventDuration('event的category名称','event的action名称', {'key1':12,'key2':'value2'}, 1245)">触发带map和duration的事件</button><br/>
    <button onclick="__AE__.onEventDuration('event的category名称','event的action名称')">触发不带map和duration的事件</button><br/>
    跳转到:
    <a href="demo.html">demo</a>
    <a href="demo2.html">demo2</a>
    <a href="demo3.html">demo3</a>
    <a href="demo4.html">demo4</a>
</body>
</html>

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>测试页面4</title>
<!-- 第二种js集成方式 -->
<script type="text/javascript">
(function(){
    var _aelog_ = _aelog_ || window._aelog_ || [];
    // 设置_aelog_相关属性
    _aelog_.push(["memberId","itguigu"]);
    window._aelog_ = _aelog_; // 作用，传递参数
    (function(){
        var aejs = document.createElement('script');
        aejs.type = 'text/javascript';
        aejs.async = true;
        aejs.src = './js/analytics.js'; // 给定url
        var script = document.getElementsByTagName('script')[0]; // 获取html页面中第一个script的标签
        script.parentNode.insertBefore(aejs, script); // 插入新生成的script标签
    })();
})();
</script>
</head>
<body>
    测试页面4<br/>
    在本页面设置memberid为itguigu<br/>
    跳转到:
    <a href="demo.html">demo</a>
    <a href="demo2.html">demo2</a>
    <a href="demo3.html">demo3</a>
    <a href="demo4.html">demo4</a>
</body>
</html>

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>测试页面5---产生事件数据</title>
<script type="text/javascript" src="./js/analytics.js"></script>
<script type="text/javascript">
    var CookieUtil = {
        // get the cookie of the key is name
        get : function(name) {
            var cookieName = encodeURIComponent(name) + "=", cookieStart = document.cookie
                    .indexOf(cookieName), cookieValue = null;
            if (cookieStart > -1) {
                var cookieEnd = document.cookie.indexOf(";", cookieStart);
                if (cookieEnd == -1) {
                    cookieEnd = document.cookie.length;
                }
                cookieValue = decodeURIComponent(document.cookie.substring(
                        cookieStart + cookieName.length, cookieEnd));
            }
            return cookieValue;
        },
        // set the name/value pair to browser cookie
        set : function(name, value, expires, path, domain, secure) {
            var cookieText = encodeURIComponent(name) + "="
                    + encodeURIComponent(value);

            if (expires) {
                // set the expires time
                var expiresTime = new Date();
                expiresTime.setTime(expires);
                cookieText += ";expires=" + expiresTime.toGMTString();
            }

            if (path) {
                cookieText += ";path=" + path;
            }

            if (domain) {
                cookieText += ";domain=" + domain;
            }

            if (secure) {
                cookieText += ";secure";
            }

            document.cookie = cookieText;
        },
        setExt : function(name, value) {
            this.set(name, value, new Date().getTime() + 315360000000, "/");
        }
    };

    function generate(count) {
        for (var i=0;i<count;i++) {
            // 50%的几率更改会话id
            if (GetRandomNum() > 4) {
                // 设置cookie:bftrack_previsit的值为一年前即可
                CookieUtil.setExt("bftrack_previsit", 123);
            }

            // 搜索转换事件流
            __AE__.onEventDuration("搜索事件流", "搜索");
            __AE__.onEventDuration("搜索事件流", "浏览搜索页面"); 
            if (GetRandomNum() > 2) {
                // 70%会访问详情页面
                __AE__.onEventDuration("搜索事件流", "点击查看详情页"); 
                __AE__.onEventDuration("搜索事件流", "详情页面浏览事件"); 
                if (GetRandomNum() > 1) {
                    // 80%产生多次访问点击课程详情情况，多次访问次数随机
                    for (var j=0;j<GetRandomNum();j++) {
                        // 可能产生多个点击课程详情面情况
                        __AE__.onEventDuration("搜索事件流", "点击查看详情页"); 
                        __AE__.onEventDuration("搜索事件流", "详情页面浏览事件"); 

                        // 多次访问点击课程详情，可能触发订单产生事件
                        if (GetRandomNum() > 8) {
                            // 10%会产生订单
                            __AE__.onEventDuration("搜索事件流", "点击立即购买事件"); 
                        }
                    }
                }

                if (GetRandomNum() > 6) {
                    // 30%会产生订单，也就是说0.7*0.3=21%的几率会产生订单
                    __AE__.onEventDuration("搜索事件流", "点击立即购买事件");
                }
            }

            // 30%的几率更改会话id
            if (GetRandomNum() > 6) {
                // 设置cookie:bftrack_previsit的值为一年前即可
                CookieUtil.setExt("bftrack_previsit", 123);
            }

            // 40%的几率直接产生详情页面浏览事件
            if (GetRandomNum() > 5) {
                // 30%产生订单事件
                __AE__.onEventDuration("搜索事件流", "详情页面浏览事件"); 
                if (GetRandomNum() > 4) {
                    __AE__.onEventDuration("搜索事件流", "点击立即购买事件");
                }
            }
        }
    };

    function GetRandomNum() {
        // 产生一个0到9的随机数
        var Range = 9;
        var Rand = Math.random();
        return Math.round(Rand * Range);
    }
</script>
</head>
<body>
    <h1>测试页面：产生事件数据</h1>
    <p>下述案例参考北风网的搜索</p>
    <p>事件流只考虑在前端产生的事件，而且只有发生在同一个会话的事件才能算做事一个事件流。只产生一个事件流的数据：
      <br/>搜索-->浏览搜索页面-->点击查看详情页-->详情页面浏览事件-->点击立即购买事件</p>
    <br/>
    <label>事件流数量：<input type="text" id="count"/></label>
    <button id="btn" onclick="generate(document.getElementById('count').value)">触发chargeRequest事件</button><br/>
    跳转到:
    <a href="demo.html">demo</a>
    <a href="demo2.html">demo2</a>
    <a href="demo3.html">demo3</a>
    <a href="demo4.html">demo4</a>
</body>
</html>

<!DOCTYPE html>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>Insert title here</title>
</head>
<body>
启动成功<br/>
跳转到:
    <a href="demo.html">demo</a>
    <a href="demo2.html">demo2</a>
    <a href="demo3.html">demo3</a>
    <a href="demo4.html">demo4</a>
</body>
</html>

#!/bin/bash

#实时日志存放地路径
LOGS_PATH="/usr/local/nginx/user_logs"

#生成每天旧日志存放地路径（可以先测试下该句代码的正确性：命令 echo $OLD_LOGS_PATH）
OLD_LOGS_PATH=${LOGS_PATH}/logs/$(date -d "yesterday" +%Y)/$(date -d "yesterday" +%m)/$(date -d "yesterday" +%d)

#创建每天旧日志存放目录，如果目录不存在（方法1、先判断，再创建，否则可能出错。方法2、使用-p递归操作即使存在也不会报错。）
mkdir -p ${OLD_LOGS_PATH}

#移动昨天的日志文件到指定目录，并重命名该日志文件（便于管理和区分）
mv ${LOGS_PATH}/access.log ${OLD_LOGS_PATH}/access_$(date -d "yesterday" +%Y%m%d_%H%M%S).log

#因为 Nginx 持有文件 access.log 的句柄，所以移动该文件的时候，需要重启 Nginx，刷新文件句柄
kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`

$ mkdir -p /opt/module/mysbin

$ mv split_nginx_log.sh /opt/module/mysbin

# chown root:root split_nginx_log.sh
# chmod u+x split_nginx_log.sh

# crontab -e

编辑内容如下：
# .------------------------------------------minute(0~59)
# | .----------------------------------------hours(0~23)
# | | .--------------------------------------day of month(1~31)
# | | | .------------------------------------month(1~12)
# | | | | .----------------------------------day of week(0~6)
# | | | | | .--------------------------------command
# | | | | | |
# | | | | | |
0 0 * * * /opt/module/mysbin/split_nginx_log.sh

#!/bin/bash

#计算昨天的日期（可以先测试下该句代码的正确性：命令 echo $yesterday）
yesterday=$(date --date='1 days ago' +'%Y/%m/%d')

#今天之前的所有的日志存放的目录
LOGS_PATH=/usr/local/nginx/user_logs/logs

#HDFS 存放日志的目录
HDFS_LOGS_PATH=/event-logs/${yesterday}

export HADOOP_USER_NAME=atguigu

#递归创建 HDFS 存储目录
/opt/module/hadoop-2.7.2/bin/hdfs dfs -mkdir -p ${HDFS_LOGS_PATH}

#开始上传
/opt/module/hadoop-2.7.2/bin/hdfs dfs -put -f -p ${LOGS_PATH}/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/$(date -d "yesterday" +"%d")/access_*.log ${HDFS_LOGS_PATH}

# export HADOOP_USER_NAME=atguigu
<!-- 关闭权限检查-->
<property>
    <name>dfs.permissions.enable</name>
    <value>false</value>
</property>

# mv put_nginx_log_2_hdfs.sh /opt/module/mysbin

# chown root:root put_nginx_log_2_hdfs.sh
# chmod u+x put_nginx_log_2_hdfs.sh

# /opt/module/mysbin/put_nginx_log_2_hdfs.sh