go语言实现通过FTP库自动上传web日志

因为平时管理的web服务器都是VM服务器,为节省硬盘空间,一般给虚拟机分配的硬盘空间都比较小,只有8G,因为,保存不了多少日志,所以每天都需要把每台WEB日志转移到一个硬盘比较大的服务器上,然后再使用NBU集中备份,本程序主要使用go语言实现实现将web日志通过FTP自动上传FTP服务器,使用了filepath.Walk遍历日志目录及第三方纯go库“github.com/jlaffaye/ftp”,而日志VM本地存储路径格式是 /var/log/weblog/www.domainName.com/month/20140616.access.log,

?

// uploadlog
/*
1.本程序主要是实现linux下上传web日志使用,
2.使用方法是 uploadlog logfile_dir
程序只上传当前时间点的日志文件,
*/
package main
import (
  "fmt"
  ftp "github.com/jlaffaye/ftp"
  "log"
  "net"
  "os"
  "path/filepath"
  "strconv"
  "strings"
  "time"
)
func main() {
  fmt.Println("Hello World!")
  if len(os.Args) != 2 {
    log.Fatal("Usage:" + filepath.Base(os.Args[0]) + " log_dir ")
    os.Exit(1)
  }
  //logFileName是将要分析的日志
  logFileName, _, _ := getLogFileName()
  serverIp := getLocalIpAddr()
  //serverName, _ := os.Hostname()
  time.Sleep(time.Duration(90) * time.Second)
  dir := os.Args[1]
  filepath.Walk(dir, func(path string, f os.FileInfo, err error) error {
    if f == nil {
      return err
    }
    if f.IsDir() {
      return nil
    }
    if f.Name() == logFileName {
      fmt.Println(path)
      //pathFields的作用是将日志path解析成一个数据,从而可以得到日志的域名,注意,如果是linux系统,要用“/”
      pathFields := strings.Split(path, "\")
      var domainName string
      if len(pathFields) > 3 {
        domainName = pathFields[len(pathFields)-3]
      }
      fmt.Println(time.Now())
      ftpUploadFile("ftp-server-ip:21", "logftpuser", "ftp-password", path, domainName, serverIp+"_"+logFileName)
      fmt.Println(time.Now())
    }
    return nil
  })
}
func getLogFileName() (string, string, string) {
  MonthTOstr := map[string]string{"January": "01",
    "February": "02",
    "March":   "03",
    "April":   "04",
    "May":    "05",
    "June":   "06",
    "July":   "07",
    "August":  "08",
    "September": "09",
    "October":  "10",
    "November": "11",
    "December": "12"}
  timenow := time.Now()
  year, month, day := timenow.Date()
  //monthStr := month.String()
  hour, _, _ := timenow.Clock()
  yearStr := strings.TrimLeft(strconv.Itoa(year), "20") //去掉前面的四位数年份如"2014"年的“20”
  dayStr, hourStr := strconv.Itoa(day), strconv.Itoa(hour)
  if day < 10 {
    dayStr = "0" + dayStr
  }
  if hour < 10 {
    hourStr = "0" + hourStr
  }
  fileName := "ex" + yearStr + MonthTOstr[month.String()] + dayStr + hourStr + ".log"
  logDay := yearStr + MonthTOstr[month.String()] + dayStr
  logMonth := yearStr + MonthTOstr[month.String()]
  //monthSrt := strconv.Itoa(timenow.Month())
  //fmt.Println(fileName, logDay)
  return fileName, logDay, logMonth
  //fmt.Println(fileName)
}
func getLocalIpAddr() string {
  //这里使用一个合法的IP就行了,端口随便,即使没有打开也行,也许因为使用UDP,如果用TCP的话,对端不打开就会有问题
  conn, err := net.Dial("udp", "192.168.8.51:80")
  if err != nil {
    //fmt.Println(err.Error())
    return "127.0.0.1"
  }
  defer conn.Close()
  //fmt.Println(conn.LocalAddr().String())
  //conn.
  //fmt.Println(strings.Split(conn.LocalAddr().String(), ":")[0])
  return strings.Split(conn.LocalAddr().String(), ":")[0]
}
func ftpUploadFile(ftpserver, ftpuser, pw, localFile, remoteSavePath, saveName string) {
  ftp, err := ftp.Connect(ftpserver)
  if err != nil {
    fmt.Println(err)
  }
  err = ftp.Login(ftpuser, pw)
  if err != nil {
    fmt.Println(err)
  }
  //注意是 pub/log,不能带“/”开头
  ftp.ChangeDir("pub/log")
  dir, err := ftp.CurrentDir()
  fmt.Println(dir)
  ftp.MakeDir(remoteSavePath)
  ftp.ChangeDir(remoteSavePath)
  dir, _ = ftp.CurrentDir()
  fmt.Println(dir)
  file, err := os.Open(localFile)
  if err != nil {
    fmt.Println(err)
  }
  defer file.Close()
  err = ftp.Stor(saveName, file)
  if err != nil {
    fmt.Println(err)
  }
  ftp.Logout()
  ftp.Quit()
  fmt.Println("success upload file:", localFile)
}

以上所述就是本文的全部内容了,希望大家能够喜欢。

原文发布于微信公众号 - Golang语言社区(Golangweb)

原文发表时间:2016-03-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏landv

vb.net 结束进程

1733
来自专栏我有一个梦想

ClistCtrl用法及总结(由怎样隐藏ListCtrl列表头的排序小三角形这个bug学习到的知识)

1 怎样隐藏ListCtrl列表头的排序小三角形 在创建控件是加入|LVS_NOSORTHEADER风格即可。 一下是用法总结: 本文根据本人在项目中的应用,来...

3085
来自专栏ASP.NET MVC5 后台权限管理系统

ASP.NET MVC5+EF6+EasyUI 后台管理系统(57)-插件---ueditor使用

目录: 前言 开发环境 知识点 初始使用 自定义工具栏 设置和读取编辑器内容 文件上传 ueditor加水印 -------------------------...

3655
来自专栏数说工作室

【SAS Says】基础篇:ODS的使用(上)

你不可能总是在SAS上查看结果,如果结果很多你要一一的讲结果复制到word中去,有ODS就好啦!它可以把SAS的结果直接输出到word、PDF等文件中。 5.1...

6806
来自专栏布尔

ExtJS4预览:渲染过程重构和标准化

在过去的四年,ExtJs代码库已经进化了,新组件被加进来,编码标准也改进了。在这个过程中,为了重构旧组件有必要经常追溯回去以保证他们也被改进。 在ExtJS4...

21110
来自专栏施炯的IoT开发专栏

《101 Windows Phone 7 Apps》读书笔记-BOOK READER

课程内容 Ø编页 ØList Picker Ø拉伸List Box 控件中的条目     本章的Book Reader应用程序为Jane Austen的经典小...

1876
来自专栏游戏杂谈

as3与php 上传多张图片demo

2、在一次添加的图片中如果超出最大上传数,忽略本次选中的所有图片(又得重新选一次,此现象普通存在于目前各大网站的flash批量上传中)

1932
来自专栏Golang语言社区

Golang语言 上传文件

import ( "bufio" "flag" "fmt" "io" "log" "os" "os/ex...

3194
来自专栏Bingo的深度学习杂货店

HTML5新特性

本章的主要内容有: ---- [1] 用于媒体回放的 video 和audio 元素 [2] HTML5拖放 [3] canvas简单应用 [4] Web存储:...

4885
来自专栏大内老A

MVVM(Knockout.js)的新尝试:多个Page,一个ViewModel

对于面向数据的Web应用来说,MVVM模式是一项不错的选择,它借助JS框架提供的“绑定”机制是我们无需过多关注UI(HTML)的细节,只需要操作绑定的数据源。M...

3599

扫码关注云+社区

领取腾讯云代金券