首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Logtail从入门到精通(二):开启日志采集之旅

机器组: 一个机器组包含一或多台需要收集一类日志的机器。通过绑定一组Logtail配置到一个机器组,可以让日志服务根据同样的Logtail配置采集一个机器组内所有服务器上的日志。...各概念间关系 image.png 安装配置流程 Logtail的安装配置流程相对比较简单,如果日志服务和ECS在同一账号下,则只需5个步骤即可实现采集。...日志服务已经和ECS打通,可自动获取ECS对应的owner信息,因此不需要设置aliuid信息。...安装Logtail ECS安装 购买一台ECS 根据ECS所在区域选择Logtail安装脚本(参见Logtail安装指南) 例如华东1的经典网络,使用wget http://logtail-release.oss-cn...表示安装成功 image.png 自建主机安装 选择任意公网Logtail安装脚本(参见Logtail安装指南) 例如选择华东1公网安装,使用wget http://logtail-release.oss-cn

1.8K20
您找到你想要的搜索结果了吗?
是的
没有找到

高性能负载均衡是如何架构的?

我们的高性能负载均衡使用LVS和Tengine,在一个region区分不同的机房,每个机房都有LVS集群和Tengine集群,对于用户配置的四层监听,LVS后面会直接挂载用户ECS,七层用户监听ECS挂载在...Tengine上,四层监听的流量直接由LVS转发到ECS,而7层监听的流量会经过LVS到Tenigine再到用户ECS。...每一个region里都会有多个可用区,达到主备容灾目的,每一个集群里都有多台设备,第一是为了提升性能,第二也是基于容灾考虑。...看到的是客户端真实的源地址,我们需要在用户ECS上配置路由,将到ECS的默认路由指向LVS上,这对用户场景也做了限制。...总结 目前,高性能负载均衡应用主要在几个方面: 作为公有云基础组件,为公有云网站、游戏客户、APP提供负载均衡功能,也针对政府、金融等安全性高的客户提供专有云支持; 为阿里云内部云产品RDS、OSS、高防等提供了负载均衡的功能

1.7K30

每秒处理1000万用户请求…云上架构如何实现高性能和高可用

从图中可以看到不同的应用使用的服务器数量不同,这里所有的服务都被部署到ECS上,ECS挂载在SLB后面,另外其中还有OCS数据缓存,用户请求的数据如果无法从缓存中获取到,就从数据库中读取。...数据库的设计同样也非常复杂,首先它实现了一套读写分离,其次有一个DRDS分布式关系型数据库,能够挂载多个RDS实例,所有的请求都会发送给DRDS,而DRDS则相当于中间的路由代理,它会根据请求从不同的RDS...高可用设计方式 高可用设计包含三种方式,分别是主从方式,主机工作,备机处于监控准备;双机互备,两台主机同时运行各自服务工作且相互监测;集群工作,多台主机一起工作,各自运行一个或几个服务。...多可用区的云数据库RDS可以实现同城的数据灾备,OSS存储的数据默认会保存在多个不同可用区中。...健康检查自我修复 如果某台ECS实例不健康,导致健康中实例数低于最小值,弹性伸缩就会自动创建健康的ECS实例代替不健康的实例。

1.6K10

浅谈块存储的安全配置

介绍 我们已经多次关注亚马逊S3、阿里云oss这类对象存储的安全性问题,比如Bucket的权限管理,上传文件的xss问题、AK\SK的保护。...阿里云EBS是指为ECS云服务器提供的块设备,高性能、低时延,满足随机读写,可以像使用物理硬盘一样格式化、创建文件系统,可用于云硬盘、快照、模板。...Bishop Fox的高级安全分析师Ben Morris显示了公共EBS卷可能公开未加密公共暴露给外部客户,通过任意加载快照即可暴露磁盘内容,有点像本地C盘开启了共享,然后被攻击者以net use的方式挂载磁盘一样泄露安全信息...这个快照功能类似于操作系统共有镜像功能,市场中共享镜像就是ECS实例系统盘某一时刻的快照,这个安全问题只是数据盘里可能有敏感信息而已。...ecs AttachDisk --RegionId default --InstanceId InstanceId --DiskId DiskId即可绑定实例挂载云盘,当然该磁盘的状态必须为待挂载(Available

3K30

404星链计划 | 大动作!好多优秀新项目都来加入我们了~

当获取到 AK 的时候,一般最想知道的就是这个 AK 有什么权限、我能做什么,通过 CF 可以一键获取当前 AK 的权限,一下子就让蒙住的眼睛明亮了起来 知道 AK 的权限后,最普遍的做法就是看看 OSS...上的文件,要不就是在 ECS 实例上执行个命令,但有了 CF 可以做更多,比如一键下载 OSS 所有资源、一键获取所有 ECS 实例上的临时访问凭证从而进行下一步的云上内网横向、一键为所有 ECS 实例执行三要素命令从而方便...HW CF 它还能做更多,比如一键列出当前 AK 下的云服务资源(目前已支持OSSECS、RDS)、一键创建后门管理员用户从而接管控制台、一键为 ECS 实例反弹 Shell 等等,使用 CF 可以让你的云上渗透效率提升到新的高度...Windows 端在多台生产机器实际测试,均长期稳定 运行数据源丰富:两平台都支持了内核级别的数据采集,同时用户态做数据补充和采集 加入我们 JOIN US 如果你的安全开源项目有意加入404星链计划

76720

ClickHouse 冷热分离存储在得物的实践

Hot盘选用ESSD PL1盘挂载宿主机,磁盘名称为hot;Cold选用ESSD PL0盘挂载宿主机,磁盘名称为cold;Arch我们最终选择直接挂载OSS文件系统(因为中间我们还调研过JuiceFS,...图片 可见 JuiceFS 支持将对象存储挂载ECS 上,通过文件系统做本地盘访问,同时支持读缓存来加速文件读取,我们也做了测试,确实读写性能还不错。...于是继续测试了原生挂载 OSS 的方案(也就是下面要讲到的方案)。这次调研也让我们深入了解了JuiceFS的架构和优势,为后续在其他场景的应用奠定了基础。...写测试,move数据从hot盘到OSS。 图片 OSS 写入可以到7Gb/s。 b. 重启集群也能很快启动。 图片 该方案架构简单可靠,便于运维,最终我们选择了直接挂载 OSS 。...因为 ClickHouse 本身不具备自动化 reblance 的能力,我们可以先给较多低配节点,后期随着业务量上升进行 ECS 的垂直升配即可; 基于低成本对象存储 OSS,存储不访问或者访问量极少的归档数据

1.9K20

网站“动静分离”分析及实战

该架构优势十分明显: 降低Web服务器负载,静态文件访问负载全部通过CDN; 存储费用最低,OSS的存储费用仅为ECS磁盘费用的50%; 海量存储空间,无需考虑存储架构升级; 流量费用低,相比直接通过OSS...第二步: 进入到OSS控制台,点击“CDN加速OSS”。 选择新建Bucket。...根据你ECS所在的区域选择Bucket所在区域,权限选择“公共读”,Bucket名称与ECS上新建的目录的名称对应,比如”acar-image-bucket“,选择下一步; 输入“image.acar.com...把您在第一步中建立在ECS上的Images目录下的所有图片文件上传到这里(acar-image-bucket下),您可以使用OSS客户端工具更加方便灵活的完成图片的上传(OSS客户端工具Windwos版本...第五步: 在原本ECS系统中,找到原本访问静态文件的代码,把访问URL修改为加速访问的地址。 大功告成,以后用户访问您的网站的静态文件就全部通过OSS+CDN的方式访问,不再占用您ECS的资源。

4.2K30

虚拟化和云计算有什么区别?什么是容器?企业云上常见架构介绍

再后来,单机性能越来越强,就有了服务器,人们将多台服务器集中起来放在机房里,用户通过网络访问和使用机房里的计算机资源;再之后,小型网络变成了大型网络,就有了互联网。...一台物理机上可以同时运行多台虚拟机。谁来完成物理资源虚拟化的工作呢?...比如将应用和数据库部署在一台ECS上。 应用与数据分离:将应用部署在ECS上,将数据库单独使用云上的数据库服务RDS,提升系统服务能力。...应用集群部署:为缓解前端访问的压力,使用SLB负载均衡服务统一接口处理用户请求;后端通过部署多台云服务器去处理用户的请求。...动静资源分离:为缓解系统存储压力,将静态资源(图片、音视频等非结构化数据)单独放到云上OSS文件存储,实现动静资源分离。

1.8K20

ECS误删文件后恢复数据

所以,以只读模式挂载磁盘可以尽量降低数据块中数据被覆盖的风险,提高恢复数据成功的几率。...本教程适用的对象是: 磁盘中文件误删除的用户,且未对磁盘进行过写入等操作 网站访问量小、少量ECS实例的用户 需安装的软件及版本:e2fsprogs-devel、e2fsprogs、gcc-c++、...使用开源工具Extundelete快速恢复被误删的数据的操作步骤如下: 步骤一:部署extundelete工具 运行以下命令,部署extundelete工具: wget  http://zy-res.oss-cn-hangzhou.aliyuncs.com...步骤二:使用extundelete模拟数据误删除后恢复的过程 完成以下操作,使用extundelete模拟数据误删除后恢复的过程: 检查ECS现有的磁盘和可用分区,并对/dev/vdb进行分区和格式化。...将分区后的磁盘挂载到/zhuyun目录下,然后在/zhuyun下新建测试文件hello,并写入内容test。

8.7K10

CF 云环境利用框架更新至 v0.4.0 版本

perm 一键接管控制台 cf alibaba console 一键列出当前访问凭证的云服务资源 cf alibaba ls 查看 CF 为实例执行命令的操作的帮助信息 cf alibaba ecs...exec -h 一键为所有实例执行三要素,方便 HVV cf alibaba ecs exec -b 一键获取实例中的临时访问凭证数据 cf alibaba ecs exec -m 一键下载 OSS...对象存储数据 cf alibaba oss obj get 一键升级 CF 版本 cf upgrade 版本更新 截止 2022 年 9 月 8 号,CF 已更新至 v0.4.0 版本,更新功能如下...: 新增功能 增加对已有的访问凭证修改功能 增加控制台接管历史记录查看功能 增加接管控制台指定用户名功能 功能优化 优化阿里云 OSS 相关功能 全面优化配置访问凭证功能 全面优化程序缓存功能 值得注意的是

1.1K20

华为服务器pxe装系统,pxe启动服务器

pxe启动服务器 更多内容 本章节为您介绍以下内容:准备弹性云服务器作为GDS服务器在使用GDS导入导出数据之前,需要准备一台或多台与GaussDB(DWS) 集群在相同VPC内的Linux弹性云服务器...(简称ECS),用于安装GDS工具包,作为GDS服务器。...请求样例POST https://{ECS Endpoint}/v2.1/c685484a8cc2 只有当云服务器处于关机状态,才能执行启动操作。只有当云服务器处于开机状态,才能执行关机操作。...系统盘目前支持离线卸载,即在挂载该磁盘的云服务器处于“关机”状态,才可以卸载磁盘。因此,运行状态的云服务器需要先关机然后再卸载相应的系统盘。...卸载云服务器挂载的数据盘。在云服务器的详情页,单击“云硬盘”页签,单击数据盘后的“卸载”。

6.7K20

在混合云下,我们将Kubernetes与Fluid结合后性能提升了30%

比如阿里云的 ECI 只支持自身存储(OSS,CPFS,NAS),但无法与 PoleFs 对接。...刚开始 fluid 只支持静态挂载 dataset,一旦集群启动好就无法挂载别的路径,这样势必会影响我们新业务、新集群的接入,因此我们开发了自动挂载的功能,并提交给了 Fluid 社区。...为了平滑迁移用户作业,我们想在不改动用户作业的情况下将机器学习作业迁移到 Kubernetes 上,这时由于我们的 pole-fs 已经挂载了一层目录,导致我们再用 alluxio 挂载时会多一层目录。...后来,我们通过在 dataset 设置挂载点根路径特性实现了将 pole-fs 的 pvc 挂载到了 alluxio 的根上,这样解决了我们平滑迁移的问题。...原因最开始云上缓存选择了不同 ECS 类型,而有些 ECS 的磁盘和网络 IO 性能不是很好,这个时候需要我们能够把缓存节点调度到同种类型的 ECS 上。

68030

云上数据安全

目录 课程介绍 1.数据安全概述 常见的数据安全问题 数据本身及数据防护的安全 阿里云的数据安全防护 2.数据备份、恢复和容灾 常见的不同级别的备份方法 云服务器ECS快照 云数据库RDS备份与恢复...云数据库RDS数据导入、导出 云数据库RDS主备实例、灾备实例 云储存OSS多副本&异地备份 3.数据加密 常见加密算法应用 1.对称加密算法 2.非对称加密算法 3.哈希算法 如何选择加密算法和秘钥...云数据库加密存储——TDE透明数据加密 云存储OSS加密存储——客户端加密保护数据 云存储OSS数据完整性验证 阿里云加密服务 4.数据传输安全 数据传输安全风险认识 https协议 有效的https...在备份设备开始启动到提供服务,有一定的时间差 云服务器ECS快照 ? 云数据库RDS备份与恢复 ? 云数据库RDS数据导入、导出 ? 云数据库RDS主备实例、灾备实例 ?...云存储OSS加密存储——客户端加密保护数据 ? 云存储OSS数据完整性验证 ? 阿里云加密服务 ? 4.数据传输安全 数据传输安全风险认识 ? https协议 ? 有效的https安全传输 ?

3.7K43
领券