首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯ES:日志轻接入和免最佳实践

本文将从日志的生命周期开始,分析业界最成熟的ELKB解决方案在接入时和接入后的痛点,并通过在腾讯ES上接入日志和索引的体验,分享腾讯ES是如何解决这些痛点,来降低日志接入和成本,让业务能专注于日志数据价值的挖掘...——既然自建和上都需要业务打通复杂的链路,也需要优化和ES索引,上有什么优势呢?...* 日志采集场景,支持服务器CVM、容器服务TKE中业务产生的日志,以及防火墙、Web应用防火墙等产品产生的日志,并且在不断丰富其他产品日志的接入。...但事实上,从我们大量的线上运营与实践经验看,的工作远没有结束,随着日志的不断写入,问题也随之而来,而这些问题让头发本就稀疏的程序员雪上加霜。如何定义和创建索引?...针对上面的使用和痛点,腾讯ES提供了独家的索引管理解决方案——自治索引。顾名思义,自治索引是一种能够自的索引,在ES原生索引增删改查能力的基础上,提升了易用性和免能力。

1.1K60
您找到你想要的搜索结果了吗?
是的
没有找到

自动化之殇 | 高效最佳实践05

再往后有了私有,公有,部署方式又发生变化,这时候面对的层次不一样,部署包也不一样,以前的war包,rpm包,现在到了IaaS层,都变成了image,虽然部署简单了,但考虑的问题更多了,怎么管理image...诚如前文所说,这个层次的自动化只部分解决了手工执行的问题,但一旦操作的条件发生了变化,可能Shell脚本也得变,的压力还是很大,而且容易出错。管理的服务器越多,出错的概率越大得多。...我们来看一下腾讯游戏基于此的最佳实践。 腾讯游戏在底层设计并封装很多原子件,这些原子件可被多次调用。例如原子件“DB容量管理”就应用到复合件“数据决策自动缩扩容”、“运营活动自动开关”等。 ?...例如: 是否针对自动化平台的服务器账号做了特殊限制,使得这个账号只能操作指定目录,只能重启Nginx、不能重启PHP?...之前没有自动化,小米加步枪的时代,上千台服务器相对独立,还有各种堡垒机、动态令牌或私钥登录服务器等安全措施,想一个命令删除大批量服务器的程序,还真不容易实现。

2.3K51

>>技术应用:Nginx优化最佳实践(二)

Nginx中间件优化配置项目 Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。...Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,在BSD-like 协议下发行。...nginx_HOME/[文件名称] [账户名称] # 命令模式格式:【创建密码文件(文件路径和配置文件中相同)和用户名】 htpasswd -c /NGINX_HOME/[文件名称] [账户名称] # 命令实践...服务器将会在这个时间后关闭连接。 # 可选的第二个参数指定了在响应头Keep-Alive: timeout=time中的time值。...# 这个头能够让一些浏览器主动关闭连接,这样服务器就不必要去关闭连接了。

37850

自动化的最佳实践探索

大家好,这些年来,我经历了不同形态的业务和不同规模的,今天我主要和大家分享我这些年来关于自动化的一些认识和实践,包括如下八点: 自动化需要整体规划 自动化的基础是标准化 首先从持续交付开始...自动化就是要解决团队服务能力的吞吐率和延时问题,也即如何更多、更快的提供服务,其实是和线上的服务能力一样的。...需要思考的问题是,制约我们服务能力的关键因素,是资源约束(服务器不够)、还是架构约束(架构公共化能力不强)、还是服务约束(基础平台DNS/LVS服务能力)? ?...在公有IaaS平台下,CMDB的形态就更简单了。 7. 以NO OPS为最终目标 ? 自动化以挑战每个职责部分的“no ops”为目标,比如说服务器交付/应用交付/组件服务交付等等。...另外大家可以看看还有哪些工作,就知道这些技术对的影响了。

1.6K30

【转】高效最佳实践(01):七字诀,不再憋屈的

专栏介绍 《高效最佳实践》是InfoQ在2015年推出的精品专栏,由触控科技总监萧田国撰写,InfoQ总编辑崔康策划。 前言 做的那么多,快乐的能有几个?...本专栏的主线实际是一个人员的十年成长史,从菜鸟到总监。但不是基础技术教学,也不会在运技术的某一方面过深涉及。更多的是应用技巧、实践经验及案例剖析。...有些游戏创业公司,刚开始时运人员也就2、3个,基本每人都得会的各个工种,游戏、网站(Nginx/PHP等)、数据库(MySQL等)、系统(Linux/Windows等)、服务器上架...3.2.2 减少人为事故 人为事故是最头疼、最不专业的事情之一。例如网站中,如果每次更新都需要登录服务器,svn update/git pull,难免会出差错。...Codis可以平滑的扩容/缩容,随时增减Redis服务器;并提供友好的界面,不仅能看到Codis系统运行情况,还能进行数据迁移、主备切换等操作。 ?

87760

腾讯干货沙龙-海量实践大曝光 (三)

作者丨周小军,腾讯SNG资深工程师,负责社交产品分布式存储的及团队管理工作。对互联网网站架构、数据中心、计算及自动化等领域有深入研究和理解。...12月16日,首期沙龙“海量实践大曝光”在腾讯大厦圆满举行。...根据运营指标,按历史性能数据、容量模型和业务架构,评估出春节活动需要2万台虚拟机和3千台数据库服务器扩容支撑。 节前恰好遇到厂商内存供货问题,服务器供应非常紧张,采购比原计划延期了一个多月。...织云高效的实践是,它是以标准化为基石,以 CMDB 为核心的自动化平台。通过 Web 界面的一键式上,基于业务原子任务和流程引擎,形成一个完整的流程,最后并行执行。...相关文章 腾讯干货沙龙-海量实践大曝光 (一) 腾讯干货沙龙-海量实践大曝光 (二) 沙龙PPT下载地址: https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3

4.9K10

腾讯干货沙龙-海量实践大曝光 (二)

作者丨魏旸:腾讯高级工程师,具有15年经验的专家。负责QQ空间、微云、QQ空间相册等的工作。 12月16日,首期沙龙“海量实践大曝光”在腾讯大厦圆满举行。...沙龙出品人腾讯技术总监、复旦大学客座讲师、DevOps专家梁定安,讲师腾讯手机QQ负责人郭智文,腾讯高级工程师魏旸,腾讯SNG资深专家周小军出席沙龙,并带来精彩的技术分享。...一个SET内几十个模块,几百台服务器可在10分钟内完成自动化部署上线 。 SET的监控 针对SET内不同的业务架构,业务形态,我们也开发了配套的监控工具。...[图片] [图片] 相关文章 腾讯干货沙龙-海量实践大曝光 (一) 腾讯干货沙龙-海量实践大曝光 (三) 沙龙PPT下载地址: https://share.weiyun.com/5c406a57164ed4cf7e248160aebf74c3

8.3K10

腾讯干货沙龙-海量实践大曝光 (一)

作者丨郭智文:腾讯高级工程师,手机QQ负责人。...12月16日,首期沙龙“海量实践大曝光”在腾讯大厦圆满举行。...沙龙出品人腾讯技术总监、复旦大学客座讲师、DevOps专家梁定安,讲师腾讯手机QQ负责人郭智文,腾讯高级工程师魏旸,腾讯SNG资深专家周小军出席沙龙,并带来精彩的技术分享。...业务同事通过腾讯网络中心联系到重庆联通网络负责人,经过多轮沟之后,确认确实是运营商在凌晨时段割接网络引起,运营商与厂商经过两次调整最后故障才得以解决。...总结 相关文章 腾讯干货沙龙-海量实践大曝光 (二) 腾讯干货沙龙-海量实践大曝光 (三) 沙龙PPT下载地址: https://share.weiyun.com

4.9K30

CLB&运营最佳实践 ---访问日志大洞察

作者:v神 导语:原生日志服务(Cloud Log Service,CLS)是腾讯提供的一站式日志数据解决平台,提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项服务,协助用户通过日志来解决业务...CLB:负载均衡(Cloud Load Balancer,CLB)提供安全快捷的流量分发服务,访问流量经由 CLB 可以自动分配到云中的多台服务器上,扩展系统的服务能力并消除单点故障。...监控 场景 小秦是负责某互联网业务广告平台的同学,最近经常碰到广告金主们的挑战:用户在你们平台点击我们的广告反映很慢是怎么回事。...小秦同学定位出异常LB实例并修复,整体耗时仅用1分钟。 运营统计 其实CLB访问日志不仅能成为同学的得力助手,同时也是运营同学的一把“利器”。...wx_fmt=jpeg] ---- 以上就是本期CLB访问日志玩法分享,如果您有更多有意思的日志实践, 欢迎扫码关注我们,进行投稿分享!

1.4K30

原生背景转型之 SRE 实践

作者:yorkoliu,腾讯 IEG 业务专家 一、前言 上一篇文章《原生背景下的价值思考与实践(上)》 重点介绍了原生背景下转型的思考,围绕着整个 DevOps 交付链,贴近业务不断输出运的能力与价值...本文的出发点也是站在巨人肩膀之上,结合自身业务服务场景,思考在原生背景下,转型还有多少种可能性,本文或许只给出其中一种答案吧。...▫ 定制 SRE 准则  在实践 SRE 过程中,我们总结并提炼了“SRE 8 准则”,来指导我们的日常工作。...以上问题亟待建立全新的监控机制,帮助开发/人员全面洞察系统运行状态,并在系统异常时帮助其快速定位解决问题,原生可观测性基础设施应运而生。...o 个人著作:《python 自动化:技术与实践》、《循序渐进学 Docker》、《第一次使用 Docker 就上手》、《破解数据治理之谜》等,个人发明专利 12 个。

2.3K20

FreeWheel 环境治理实践体系设计

计算正在影响整个信息产业,其可靠性、灵活性、按需计费的高性价比等优势已经让很多厂商把“上”列入到了战略计划中。 相对传统计算为我们节省了很多硬件、网络、甚至一些基础服务的维护成本。...在 AWS 各种白皮书和最佳实践文档的基础上,我们根据公司实际情况,针对大部分常用服务制定了公司内部的“最佳实践”,主要包括: 原生服务的应用场景的制定,固定需求的统一解决方案,原生服务选型等标准; 扩展性...,便于执行 TF dry run 和不合法修改再编辑等功能; 平台根据我们的最佳实践定义了一些语义检查规则,补足了 TF dry run 无法实现的一些检查点。...因为的特性,这种案例有很多,但是在大部分场景下我们可能不需要这样的“硬操作”,所以之前提到的“内部最佳实践”都会对参数和使用场景等等进行评估和设计。  ...下一篇文章,我们将重点介绍 FreeWheel 在标准化过程中的实践,以及平台如何发挥它的作用。

42320

E往无前 | 腾讯大数据ES日志轻接入和免最佳实践

本文将从日志的生命周期开始,分析业界最成熟的ELKB解决方案在接入时和接入后的痛点,并通过在腾讯大数据ES上接入日志和索引的体验,分享腾讯大数据ES是如何解决这些痛点,来降低日志接入和成本,...——既然自建和上都需要业务打通复杂的链路,也需要优化和ES索引,上有什么优势呢?...(1)日志采集场景,支持服务器CVM、容器服务TKE中业务产生的日志,以及防火墙、Web应用防火墙等产品产生的日志,并且在不断丰富其他产品日志的接入。...但事实上,从我们大量的线上运营与实践经验看,的工作远没有结束,随着日志的不断写入,问题也随之而来,而这些问题让头发本就稀疏的程序员雪上加霜。 1.如何定义和创建索引?...针对上面的使用和痛点,腾讯ES提供了独家的索引管理解决方案——自治索引。顾名思义,自治索引是一种能够自的索引,在ES原生索引增删改查能力的基础上,提升了易用性和免能力。

33960

张戎:腾讯智能(AIOps)项目实践

11月9日,腾讯开发者社区技术沙龙“高效智能”圆满落幕。...本期沙龙围绕展开了一场技术盛宴,从AIOps、Serverless DevOps、蓝鲸PaaS平台、K8S等分享关于业务的技术实践干货,同时带来腾讯海量业务自研上实践,推动传统转型...讲师介绍:张戎,腾讯高级研究员,新加坡国立大学数学博士,毕业后加入腾讯从事机器学习相关工作。目前主要致力于智能方向的研究,包括时间序列异常检测,时间序列预测,根因分析,告警收敛等方向。...幻灯片3.PNG 今天讲的内容主要是智能方面的一些应用和实践。主要包括智能场景描述、单时间序列分析、多维时间系列分析、近期工作和未来的研究方向。...这个应该是所有人做智能的第一步,其实我们这一块是海量的时间序列和场景,包括各种各样的服务器数据和各种各样的业务器数据。

4K54

邹辉:新时代重器 Tencent Hub 最佳实践

腾讯 PaaS 产品总监邹辉在腾讯“+未来”峰会的「开发者专场」做了主题为“新时代重器 Tencent Hub 最佳实践”的技术内容分享,针对DevOps产品的一些设计理念和思考。...以下内容整理自演讲: 邹辉:因为工作关系,我会在日常工作中跟很多企业和人员打交道,协作他们做容器化和DevOps化的一些工作。...我们也需要把我们团队的关系梳理清楚,这个软件开发过程中有开发,有测试,有,还有一些管理者,需要哪些步骤需要哪些人审核,在哪些步骤需要通知哪些人。...如何去选择一个合适的DevOps工具体系,把流程规范给自动化起来,接下来就是我今天分享的一个重点,给大家分享一下,我们腾讯在DevOps工具体系这方面的实践。...邹辉:新时代重器 Tencent Hub 最佳实践.pptx 请点击下方获取PPT文档 邹辉:新时代重器 Tencent Hub 最佳实践.pdf

1.3K55

服务器

服务器是一个互联网公司的“心脏”服务器里存储着公司所有数据,网民访问公司网站,了解公司相关产品,相关介绍都是通过服务器进入的,而做为一个服务器每天需要做的事情有: 1.服务器内存是否已满 2.磁盘空间是否足够...如果每个人需要管理100台服务器,还是传统的认为检测监控去管理,相信每个人都会抓狂的,还好现在又可以替代的管理面板,比如说帮手,它的功能具体有: 1.批量管理多台主机; 2.兼容性强大,...兼容市面基本所有的主机,兼容操作系统; 3.操作简单,可视化界面预览资源、一键修复、一键部署; 4....可以远程登录主机FTP桌面,处理主机上的文件; 5.监控和,资源还有告警功能,这个是挺好的,不用盯着看; 6.系统修复功能,这个是挺实用也比较必须的; 7.免费使用。...总得来说功能还是挺全的,不存在需要又要另外找软件的尴尬,一个帮手软件基本满足了所有需求。

3.3K20

​Ansible技术实践

一、引言随着企业业务的快速发展,高效的管理成为了保障业务稳定运行的关键因素。Ansible作为一款开源的自动化工具,在运领域受到了广泛的关注和应用。...本文将深入探讨Ansible的技术原理、应用场景及实践案例,并结合代码示例进行详细讲解。希望读者能够通过本文,更全面地了解Ansible技术,并能在实际工作中加以应用。...二、Ansible简介Ansible是一款基于Python开发的开源自动化工具,采用简单易懂的YAML语法,能够实现对服务器、网络设备、应用程序等的自动化配置、部署、监控及管理。...配置管理:使用Ansible对服务器、网络设备等进行统一配置管理,确保配置的一致性和合规性,降低成本。...跨平台支持也有助于统一不同团队的流程,提高企业的水平。

26200
领券