首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ClickHouse 冷热分离存储在得物的实践

Hot盘选用ESSD PL1盘挂载宿主机,磁盘名称为hot;Cold选用ESSD PL0盘挂载宿主机,磁盘名称为cold;Arch我们最终选择直接挂载OSS文件系统(因为中间我们还调研过JuiceFS,...图片 可见 JuiceFS 支持将对象存储挂载ECS 上,通过文件系统做本地盘访问,同时支持读缓存来加速文件读取,我们也做了测试,确实读写性能还不错。...于是继续测试了原生挂载 OSS 的方案(也就是下面要讲到的方案)。这次调研也让我们深入了解了JuiceFS的架构和优势,为后续在其他场景的应用奠定了基础。...写测试,move数据从hot盘到OSS。 图片 OSS 写入可以到7Gb/s。 b. 重启集群也能很快启动。 图片 该方案架构简单可靠,便于运维,最终我们选择了直接挂载 OSS 。...因为 ClickHouse 本身不具备自动化 reblance 的能力,我们可以先给较多低配节点,后期随着业务量上升进行 ECS 的垂直升配即可; 基于低成本对象存储 OSS,存储不访问或者访问量极少的归档数据

2K20

ShareList- 支持Google DriveOneDrive网盘同时挂载

首次使用时将提示选在挂载源,选择挂载源,填入对应路径即可。.../即挂载你整个硬盘,自己写路径 注意:如果后台打开了 开放上传功能,一定要加密目录,加密方法见下面 挂载天翼云盘 1.账号密码挂载(Cookie方式) 挂载源: 189 cookic/天翼云 账号登录版...3.天翼企业云盘挂载 挂载源: 天翼企业云 账号密码版 挂载路径内容: / 然后访问主页,点击挂载天翼的文件夹,会让你输入天翼云盘的账号密码,输入即可。...挂载GoogleDrive 1. 使用分享ID挂载 由 plugins/drive.gd.js插件实现 挂载源:GD ID挂载挂载路径内容:分享的文件ID 2....挂载OneDrive 1. 使用分享ID挂载 由 plugins/drive.od.js插件实现 挂载源:OD ID挂载挂载路径内容:分享的文件ID 2.

3.7K30

浅谈块存储的安全配置

介绍 我们已经多次关注亚马逊S3、阿里云oss这类对象存储的安全性问题,比如Bucket的权限管理,上传文件的xss问题、AK\SK的保护。...阿里云EBS是指为ECS云服务器提供的块设备,高性能、低时延,满足随机读写,可以像使用物理硬盘一样格式化、创建文件系统,可用于云硬盘、快照、模板。...Bishop Fox的高级安全分析师Ben Morris显示了公共EBS卷可能公开未加密公共暴露给外部客户,通过任意加载快照即可暴露磁盘内容,有点像本地C盘开启了共享,然后被攻击者以net use的方式挂载磁盘一样泄露安全信息...这个快照功能类似于操作系统共有镜像功能,市场中共享镜像就是ECS实例系统盘某一时刻的快照,这个安全问题只是数据盘里可能有敏感信息而已。...ecs AttachDisk --RegionId default --InstanceId InstanceId --DiskId DiskId即可绑定实例挂载云盘,当然该磁盘的状态必须为待挂载(Available

3K30

网站“动静分离”分析及实战

该架构优势十分明显: 降低Web服务器负载,静态文件访问负载全部通过CDN; 存储费用最低,OSS的存储费用仅为ECS磁盘费用的50%; 海量存储空间,无需考虑存储架构升级; 流量费用低,相比直接通过OSS...第二步: 进入到OSS控制台,点击“CDN加速OSS”。 选择新建Bucket。...根据你ECS所在的区域选择Bucket所在区域,权限选择“公共读”,Bucket名称与ECS上新建的目录的名称对应,比如”acar-image-bucket“,选择下一步; 输入“image.acar.com...把您在第一步中建立在ECS上的Images目录下的所有图片文件上传到这里(acar-image-bucket下),您可以使用OSS客户端工具更加方便灵活的完成图片的上传(OSS客户端工具Windwos版本...第五步: 在原本ECS系统中,找到原本访问静态文件的代码,把访问URL修改为加速访问的地址。 大功告成,以后用户访问您的网站的静态文件就全部通过OSS+CDN的方式访问,不再占用您ECS的资源。

4.2K30

高性能负载均衡是如何架构的?

我们的高性能负载均衡使用LVS和Tengine,在一个region区分不同的机房,每个机房都有LVS集群和Tengine集群,对于用户配置的四层监听,LVS后面会直接挂载用户ECS,七层用户监听ECS挂载在...Tengine上,四层监听的流量直接由LVS转发到ECS,而7层监听的流量会经过LVS到Tenigine再到用户ECS。...看到的是客户端真实的源地址,我们需要在用户ECS上配置路由,将到ECS的默认路由指向LVS上,这对用户场景也做了限制。...,worker架构做CPU亲和,内部基于事件驱动的模型,其本身已经提供了很高的性能,单核Nginx可以跑到1W5~2W QPS。...总结 目前,高性能负载均衡应用主要在几个方面: 作为公有云基础组件,为公有云网站、游戏客户、APP提供负载均衡功能,也针对政府、金融等安全性高的客户提供专有云支持; 为阿里云内部云产品RDS、OSS、高防等提供了负载均衡的功能

1.7K30

每秒处理1000万用户请求…云上架构如何实现高性能和高可用

从图中可以看到不同的应用使用的服务器数量不同,这里所有的服务都被部署到ECS上,ECS挂载在SLB后面,另外其中还有OCS数据缓存,用户请求的数据如果无法从缓存中获取到,就从数据库中读取。...数据库的设计同样也非常复杂,首先它实现了一套读写分离,其次有一个DRDS分布式关系型数据库,能够挂载多个RDS实例,所有的请求都会发送给DRDS,而DRDS则相当于中间的路由代理,它会根据请求从不同的RDS...:内建容错及检查能力,应用能够在部分组件失效时自我修复继续工作; - 松耦合设计:耦合度越小,扩展性越好,容错能力越强 可用区设计 在SLB实例下绑定不同可用区的ECS,从而避免因为单个可用区的故障而导致对外服务的不可用...可用区的云数据库RDS可以实现同城的数据灾备,OSS存储的数据默认会保存在多个不同可用区中。...健康检查自我修复 如果某台ECS实例不健康,导致健康中实例数低于最小值,弹性伸缩就会自动创建健康的ECS实例代替不健康的实例。

1.6K10

云上数据安全

目录 课程介绍 1.数据安全概述 常见的数据安全问题 数据本身及数据防护的安全 阿里云的数据安全防护 2.数据备份、恢复和容灾 常见的不同级别的备份方法 云服务器ECS快照 云数据库RDS备份与恢复...云数据库RDS数据导入、导出 云数据库RDS主备实例、灾备实例 云储存OSS副本&异地备份 3.数据加密 常见加密算法应用 1.对称加密算法 2.非对称加密算法 3.哈希算法 如何选择加密算法和秘钥...云数据库加密存储——TDE透明数据加密 云存储OSS加密存储——客户端加密保护数据 云存储OSS数据完整性验证 阿里云加密服务 4.数据传输安全 数据传输安全风险认识 https协议 有效的https...在备份设备开始启动到提供服务,有一定的时间差 云服务器ECS快照 ? 云数据库RDS备份与恢复 ? 云数据库RDS数据导入、导出 ? 云数据库RDS主备实例、灾备实例 ?...云储存OSS副本&异地备份 ? 3.数据加密 常见加密算法应用 对称加密算法:加密解密用同一个秘钥 非对称加密算法:加密解密用不同的秘钥 哈希算法:单向算法,只有加密的过程,没有解密 ?

3.7K43

ECS误删文件后恢复数据

所以,以只读模式挂载磁盘可以尽量降低数据块中数据被覆盖的风险,提高恢复数据成功的几率。...本教程适用的对象是: 磁盘中文件误删除的用户,且未对磁盘进行过写入等操作 网站访问量小、少量ECS实例的用户 需安装的软件及版本:e2fsprogs-devel、e2fsprogs、gcc-c++、...使用开源工具Extundelete快速恢复被误删的数据的操作步骤如下: 步骤一:部署extundelete工具 运行以下命令,部署extundelete工具: wget  http://zy-res.oss-cn-hangzhou.aliyuncs.com...步骤二:使用extundelete模拟数据误删除后恢复的过程 完成以下操作,使用extundelete模拟数据误删除后恢复的过程: 检查ECS现有的磁盘和可用分区,并对/dev/vdb进行分区和格式化。...将分区后的磁盘挂载到/zhuyun目录下,然后在/zhuyun下新建测试文件hello,并写入内容test。

8.7K10

在混合云下,我们将Kubernetes与Fluid结合后性能提升了30%

比如阿里云的 ECI 只支持自身存储(OSS,CPFS,NAS),但无法与 PoleFs 对接。...刚开始 fluid 只支持静态挂载 dataset,一旦集群启动好就无法挂载别的路径,这样势必会影响我们新业务、新集群的接入,因此我们开发了自动挂载的功能,并提交给了 Fluid 社区。...为了平滑迁移用户作业,我们想在不改动用户作业的情况下将机器学习作业迁移到 Kubernetes 上,这时由于我们的 pole-fs 已经挂载了一层目录,导致我们再用 alluxio 挂载时会一层目录。...后来,我们通过在 dataset 设置挂载点根路径特性实现了将 pole-fs 的 pvc 挂载到了 alluxio 的根上,这样解决了我们平滑迁移的问题。...原因最开始云上缓存选择了不同 ECS 类型,而有些 ECS 的磁盘和网络 IO 性能不是很好,这个时候需要我们能够把缓存节点调度到同种类型的 ECS 上。

68130

CF 云环境利用框架更新至 v0.4.0 版本

perm 一键接管控制台 cf alibaba console 一键列出当前访问凭证的云服务资源 cf alibaba ls 查看 CF 为实例执行命令的操作的帮助信息 cf alibaba ecs...exec -h 一键为所有实例执行三要素,方便 HVV cf alibaba ecs exec -b 一键获取实例中的临时访问凭证数据 cf alibaba ecs exec -m 一键下载 OSS...对象存储数据 cf alibaba oss obj get 一键升级 CF 版本 cf upgrade 版本更新 截止 2022 年 9 月 8 号,CF 已更新至 v0.4.0 版本,更新功能如下...: 新增功能 增加对已有的访问凭证修改功能 增加控制台接管历史记录查看功能 增加接管控制台指定用户名功能 功能优化 优化阿里云 OSS 相关功能 全面优化配置访问凭证功能 全面优化程序缓存功能 值得注意的是

1.1K20

404星链计划 | 大动作!好多优秀新项目都来加入我们了~

当获取到 AK 的时候,一般最想知道的就是这个 AK 有什么权限、我能做什么,通过 CF 可以一键获取当前 AK 的权限,一下子就让蒙住的眼睛明亮了起来 知道 AK 的权限后,最普遍的做法就是看看 OSS...上的文件,要不就是在 ECS 实例上执行个命令,但有了 CF 可以做更多,比如一键下载 OSS 所有资源、一键获取所有 ECS 实例上的临时访问凭证从而进行下一步的云上内网横向、一键为所有 ECS 实例执行三要素命令从而方便...HW CF 它还能做更多,比如一键列出当前 AK 下的云服务资源(目前已支持OSSECS、RDS)、一键创建后门管理员用户从而接管控制台、一键为 ECS 实例反弹 Shell 等等,使用 CF 可以让你的云上渗透效率提升到新的高度...项目链接 https://github.com/UzJu/Cloud-Bucket-Leak-Detection-Tools 项目简介 云原生安全近几年比较火,存储桶在企业(SRC众测)中暴露的问题也非常

76820

如何利用开源DevOps工具完成云上的自动运维

如果要实现这样一个基础设施的话,大的步骤是需要以下七步:创建为PC、创建VSWITCH、创建NET网关、新建共享带宽包、创建ECS、创建SLB、创建SNAT、最后挂载SLB。...就需要增加ECS以承载更多的并发和访问量,所以需要扩容一台与线上应用一致的ECS挂载到SOB上面,这里的一个关键点是扩容一台与现上应用一致的ECS。...就能够实现扩容一台与线上应用一致的ECS并且自动挂载到SLB下面。 ? Terraform 和 Packer 的介绍 它们来自于HashiCorp家族,有两大特点,第一是支持平台,第二是开源。...最后一个是SLB的挂载。这里定义了SLB和instance这两个主要的参数,也就是要把哪些instance挂载到SLB下面。 ?...Packer会通过模板自己来决定是基于阿里云的基础镜像创建还是基于自定义镜像创建,然后会自动创建一个经典网络的ECS或者是VPC网络的ECS,同时会根据模板的定义在ECS之上去添加这个去安装相关的应用,

3.2K70
领券