GrayLog+nxlog采集邮箱登录日志csv文件并实现邮箱异地登录钉钉机器人告警
场景如下
某厂商邮箱的登录日志为xlsx/csv格式
只有如下四个字段 登录时间，邮箱地址，登录IP，登录方式
(图片可点击放大查看)
想要根据邮箱地址关联出员工姓名，工号等相关
并且GeoIP地址库根据IP地址查询登录IP所在地理位置信息
比如登录的IP地理位置是非国内地址时实现钉钉机器人告警
实现思路及实践参考链接
1、csv是否可以转成sylog格式的日志发到GrayLog
解决办法：nxlog xm_csv功能
方法来源链接地址：
https://nxlog.co/question/6063/nxlog-read-multiple-csv-files-and-send-it-siem
https://gitlab.com/nxlog-public/contrib/-/blob/master/guide_configs/xm_gelf_example_csv-nxlog.conf
(图片可点击放大查看)
2、利用GrayLog的lookup table+pipeline处理功能进行关联查询，实现关联出员工工号，员工姓名等其他字段
解决办法：这个之前有实现过，移植过来即可
3、GrayLog告警+PrometheusAlert告警模板实现钉钉告警时呈现出相关告警字段
解决办法：这个之前有实现过，告警模板修改即可
具体实现的详细步骤如下
1、GrayLog服务器安装nxlog-ce并配置读取csv文件
yum localinstall nxlog-ce-2.11.2190-1_rhel7.x86_64.rpm
cp /etc/nxlog.conf /etc/nxlog.conf_bak
echo > /etc/nxlog.conf
vi /etc/nxlog.conf
修改为如下内容
## This is a sample configuration file. See the nxlog reference manual about the
## configuration options. It should be installed locally under
## /usr/share/doc/nxlog-ce/ and is also available online at
## http://nxlog.org/docs
########################################
# Global directives #
########################################
User nxlog
Group nxlog
LogFile /var/log/nxlog/nxlog.log
LogLevel INFO
########################################
# Modules #
########################################
<Extension _syslog>
Module xm_syslog
</Extension>
<Extension gelf>
Module xm_gelf
</Extension>
<Extension charconv>
Module xm_charconv
AutodetectCharsets gbk,utf-8, euc-jp, utf-16, utf-32, iso8859-2
</Extension>
<Extension csv>
Module xm_csv
Fields $time, $email_address, $loginIP, $method
FieldTypes string, string, string,string
Delimiter ,
</Extension>
<Input file>
Module im_file
File "/home/nxlog/login.csv"
Exec csv->parse_csv();
</Input>
<Output udp>
Module om_udp
Host 192.168.31.230
Port 12201
OutputType GELF_UDP
</Output>
<Route csv_to_gelf>
Path file => udp
</Route>
(图片可点击放大查看)
启动nxlog服务
cd /home/
mkdir nxlog
chown -R nxlog:nxlog nxlog/
cd nxlog
rz上传邮件登录日志的csv文件
chown -R nxlog:nxlog login.csv
chmod 777 login.csv
firewall-cmd --add-port=12201/udp --permanent
firewall-cmd --reload
systemctl restart nxlog
systemctl enable nxlog
如果有报错排查nxlog的运行日志
tail -f /var/log/nxlog/nxlog.log 说明：只有csv文件发生变化时才会产生日志
2、GrayLog配置GELF INPUT用于接收日志
(图片可点击放大查看)
(图片可点击放大查看)
并配置相应的Stream
(图片可点击放大查看)
3、配置LookupTable和Pipeline
LookupTable配置过程及相关csv文件截图如下
(图片可点击放大查看)
(图片可点击放大查看)
(图片可点击放大查看)
pipeline规则语法如下
rule "email2username_lookup_table"
when
// true
has_field("email_address") AND
is_not_null(lookup_value("email2username",to_string($message.email_address)))
then
let email_addresslookup_multivalue = lookup("email2username",to_string($message.email_address));
let email_addressmultivalue = split("#",to_string(email_addresslookup_multivalue.value));
set_field("Employee_Username",to_string(email_addressmultivalue[0]));
//debug($message.Employee_Username);
set_field("Employee_Mobile",to_string(email_addressmultivalue[1]));
//debug($message.Employee_Mobie);
set_field("Employee_alias_emailaddress",to_string(email_addressmultivalue[2]));
//debug($message.Employee_alias_emailaddress);
set_field("Employee_ID",to_string(email_addressmultivalue[3]));
//debug($message.Employee_ID);
end
(图片可点击放大查看)
pipeline的配置，并应用到对应的Stream中
(图片可点击放大查看)
4、日志查询效果如下
可以看到关联查询出来的字段都出来了
(图片可点击放大查看)
5、配置并优化PrometheusAlert告警模板
(图片可点击放大查看)
6、GraylogAlert告警条件配置
(图片可点击放大查看)
(图片可点击放大查看)
(图片可点击放大查看)
7、最终的告警效果如下
(图片可点击放大查看)
8、总结
当然这个只是简单的功能实现的测试过程还有很多细节问题需要考虑
例如由于csv文件是一次性导入，这样会出现瞬间钉钉机器人告警数量过大，触发1分钟20条的阈值，导致告警不再产生的情况
需要用一种方式每几秒读几行csv日志文件的方式避免一次性导入造成日志量过大告警停止的问题
这个应该好实现，后续再优化
举报
腾讯云开发者
