首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

ELK学习笔记之F5利用EELK进行应用数据挖掘系列(2)-DNS

很多客户使用GTM/DNS为企业业务提供动态智能解析,解决应用就近性访问、优选问题。对于已经实施多数据中心双活的客户,则会使用GSLB提供双活流量调度。DNS作为企业业务访问的指路者,在整个IT基础架构系统中有着举足轻重的作用,一旦DNS无法提供服务,将导致客户无法访问业务系统,造成重大经济损失。因此构建一套高弹性分布式的高安全DNS架构是IT系统建设的基础之石,通常为了保证系统的正常运行,运维人员为了实时掌握系统运行状态如解析速率、失败率、延迟、来源地址位置、智能选路、解析类型、是否存在DNS攻击,要采集大量的实时解析、日志等数据,然而分布式的DNS架构在解决了弹性扩展与安全容错等问题的同时却也增加了运维难度,数据零散在不同的线路设备上,无法从整体上从数据中获取有价值信息,为此netops人员需要同时监控多台设备的日志、解析记录,并分析这些来自多台设备上的数据关系,将这些分散的数据集中记录、存储到统一的系统并进行数据挖掘可大大帮助运维人员实时、直观的掌握DNS系统运行状态、解析状态,帮助快速识别和定位问题。

05

【零基础微信小程序入门开发一】小程序介绍及环境搭建

微信小程序,小程序的一种,英文名Wechat Mini Program,是一种不需要下载安装即可使用的应用,它实现了应用“触手可及”的梦想,用户扫一扫或搜一下即可打开应用。 全面开放申请后,主体类型为企业、政府、媒体、其他组织或个人的开发者,均可申请注册小程序。微信小程序、微信订阅号、微信服务号、微信企业号是并行的体系。 微信小程序是一种不用下载就能使用的应用,也是一项创新,经过将近两年的发展,已经构造了新的微信小程序开发环境和开发者生态。微信小程序也是这么多年来中国IT行业里一个真正能够影响到普通程序员的创新成果,已经有超过150万的开发者加入到了微信小程序的开发,与我们一起共同发力推动微信小程序的发展,微信小程序应用数量超过了一百万,覆盖200多个细分的行业,日活用户达到两个亿,微信小程序还在许多城市实现了支持地铁、公交服务。微信小程序发展带来更多的就业机会,2017年小程序带动就业104万人,社会效应不断提升。

05
您找到你想要的搜索结果了吗?
是的
没有找到

DGA域名检测的数据分析与深度学习分类

在恶意软件发展的初期,恶意软件编写者会直接将控制服务器的域名或IP直接写在恶意软件中(即使是现在也会有恶意软件遵从这种方式,笔者部署的蜜罐捕获的僵尸网络样本中,很多经过逆向之后发现也是直接将IP写在软件中)。对于这种通信的方式,安全人员可以明确知道恶意软件所通信的对象,可以通过黑名单的方式封锁域名及IP达到破坏恶意软件工作的目的。DGA(Domain generation algorithms),中文名:域名生成算法,其可以生成大量随机的域名来供恶意软件连接C&C控制服务器。恶意软件编写者将采用同样的种子和算法生成与恶意软件相同的域名列表,从中选取几个来作为控制服务器,恶意软件会持续解析这些域名,直到发现可用的服务器地址。这种方式导致恶意软件的封堵更为困难,因此DGA域名的检测对网络安全来说非常重要。

04

WireShark网络取证分析第一集

Anarchy-R-Us公司怀疑他们的员工Ann Dercover实际上是他们竞争对手的秘密特工,Ann可以接触公司的重要资产—秘密配方,安保人员担心Ann可能试图泄露公司的秘密配方,安保人员一段时间以来一直监控着Ann的活动,但是直到现在还没有发现任何可疑的行为,直到今天一台意外的笔记本电脑突然出现在公司的无线网络上,工作人员猜测可能是停车场里的某个人,因为在建筑物内没有看到陌生人,An的电脑(192.168.1.158)通过无线网络向这台电脑发送了即时消息,之后这台流氓笔记本电脑很快就消失了,根据安全人员报告目前有捕获到一个活动的数据包,但我们不知道发生了什么,需要进行协助分析,现在的你是一位专业的调查员,你的任务是找出安在给谁发信息,她发了什么并找到证据,主要包括:

03

我对安全与NLP的实践和思考

通过对安全与NLP的实践和思考,有以下三点产出。首先,产出一种通用解决方案和轮子,一把梭实现对各种安全场景的安全检测。通用解决方案给出一类安全问题的解决思路,打造轮子来具体解决这一类问题,而不是使用单个技术点去解决单个问题。具体来说,将安全与NLP结合,在各种安全场景中,将其安全数据统一视作文本数据,从NLP视角,统一进行文本预处理、特征化、预训练和模型训练。例如,在Webshell检测中,Webshell文件内容,在恶意软件检测中,API序列,都可以视作长文本数据,使用NLP技术进行分词、向量化、预训练等操作。同理,在Web安全中,SQLi、XSS等URL类安全数据,在DNS安全中,DGA域名、DNS隧道等域名安全数据,同样可以视作短文本数据。因此,只要安全场景中安全数据可以看作单变量文本数据,这种通用解决方案和轮子就适用,轮子开源在我的github仓库FXY中,内置多种通用特征化方法和多种通用深度学习模型,以支持多种安全场景的特征化和模型训练,达到流水线式作业。

02

20171223

最近工作中遇到一个问题是需要在线可以预览 word、excel 等文件,发现微软有一个 Office Web Apps Server 的产品,可以用来实现这个,需要有两个 Windows Server 服务器,因为一个用来做域控制器,一个用来装 Web Apps Server,而且官方文档指明了不能安装在与控制器的服务器上。除去自己搭建这个服务以外,通过网络发现了 明道 自己搭建了这么一个服务放在了外网,https://docview.mingdao.com/ ,如果是公开的文件不需要保密的或许可以直接使用,另外我看到百度文库有这种付费的 API,但是有一个要求就是必须把文件保存在百度的云盘里面好像是,其实对于 word 文档的还原还是微软提供的 Office Web Apps Server 翻译出来的排版还原程度最高,和使用 word 效果是一模一样的。还有一个种方法是使用其他第三方提供的在线预览,基本上也都是收费的,限制域名或者是文件大小,另外一个是使用 OpenOffice 自己来,我安装了一个 OpenOffice 打开让说依赖旧版本的 JRE6,需要安装 jre6,我直接就放弃了。

01

数据治理:白话打通对Atlas的理解

问题导读 1.Atlas是什么? 2.Atlas能干什么? 3.Atlas血统关系是什么? Atlas现在被企业使用的越来越多,我们可能听说过,但是具体它是什么,能干什么的,我们可能不清楚。 因此我们要解决第一个问题,Atlas是什么? Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop生态系统集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。 上面我们或许听着比较懵圈,都是啥,元数据治理是啥?为啥要元数据治理?元数据不就是用来描述数据的数据,我们这么理解没有错的,不过这个是其中重要的一项。比如Hive的元数据,那是需要第三方数据库的,大多存储到mysql中。为啥又出来一个Atlas,它能管理Hive的元数据吗?别说,还真可以的。那为啥要用Atlas来管理。这就涉及到我们的第二个问题,Atlas能干什么?。 Atlas能干什么? 其实很多大数据组件都有元数据管理,比如: Hive保存在外部数据库中,比如Mysql Hadoop元数据保存在Namenode,元数据的存储格式:data/hadoopdata/目录下 name:元数据存储目录 namenode存储元数据的存储目录 Kakfa元数据一般保存在zookeeper中 等等以上,我们的元数据每个大数据组件都有保存的地方,为啥还需要Atlas。 上面元数据是为了功能而生,都是单独的系统,散落在各个组件中,而我们能不能把这些元数据统一管理,而且数据的变化我们也能看到那就更好了。而且如果能把我们整个集群的大数据组件的元数据我们都能看到,那就更好了。看到这些有什么好处?比如我们想找到Hive有哪些表,想查看我们数据是怎么来的。这时候数据管理工具就产生了--Atlas,用来管理元数据的平台。 我们知道了Atlas是什么,能干什么,可能是比较通透了。可是还不够详细,那么接下来我们看看Atlas有哪些功能,有什么特点。这里直接借用《大数据治理与安全从理论到开源实践》书中内容。

01
领券