所谓动静分离就是通过nginx(或apache等)来处理用户端请求的静态页面,tomcat(或weblogic)处理动态页面,从而达到动静页面访问时通过不同的容器来处理。 0x01网站“动静分离”分
迁移上云的时候,会有迁移上腾讯云对象存储(cos)的需求,目前的迁移方案有两种:1、cos提供的COS Migration工具;2、客户自己利用友商和cos的api实现文件的下载和上传。前者需要自己部署,迁移过程中出现问题,难以排查,后者需要自己研发、测试、部署运行,需要投入研发人力和机器成本。总结了一下迁移上到cos的过程中存在的一下几个需求:
在当今数字化时代,数据量不断增长,对于存储系统提出了更高的要求。传统的存储方式已经难以满足大规模数据的存储和管理需求,因此,对象存储(Object Storage)应运而生。对象存储是一种面向海量数据的存储架构,以其高扩展性、弹性存储、高性能和简单管理等特点,成为了云计算、大数据分析和企业数据管理中的重要组成部分。
HDFS 是 Hadoop 生态的默认存储系统,很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的,在云上维护 HDFS 一点也不轻松,需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情,而且还费用高昂,成本可能是对象存储是十倍以上。
搭建博客图床 前言 随着博客内容的增加,文章图片的数量也不断增长,如何引用存储图片就成了一个问题。对于我这样没什么访问量,只是写给自己看的博客,要求就是简单方便(当然能白嫖最好 😬),最后采用 GitHub + JsDelivr + uTools 图床插件的办法。 图床选择 先来说一下其他图床吧,简单来说,如果你有一个备案域名的话,做什么事都比较简单,国内的许多平台的对象存储都需要一个 备案域名。如果像我一样仅仅是为 Hexo + github pages 博客搞个图床,感觉再弄那些就有些麻烦了。 公益
今天再次收到了来自OSS的费用单,当我们购买了OSS对象存储后一般都会有指定的容量。这个容量的费用在选择开通对象存储后,就进行了支付。而之后产生的费用多是流量费用。
随着数据量的爆发式增长,数字化转型称为了整个IT行业的热点,数据也开始需要更深度的价值挖掘,因此需要确保数据中保留的原始信息不丢失,从而应对未来不断变化的需求。当前以oracle为代表的数据库中间件已经逐渐无法适应这样的需求情况,于是业界也开始进行不断的产生的计算引擎,以便应对数据时代的到来。在此背景下,数据湖的概念被越来越多的人提起,希望能有一套系统在保留数据的原始信息情况下,又能够快速对接多种不同的计算平台,从而在数据时代占比的先机。
对于数字和文本类型的数据,比方说名字和电话号码相关的信息。我们需要有个地方存起来。
得物上一代日志平台的存储主要依赖于 ES。随着公司业务的高速发展,日志场景逐步产生了一些新需求,主要表现在:应用数量逐步增多,研发需要打印更多的日志定位业务问题,安全合规需要保留更长时间的日志。随着 Clickhouse 的应用广泛,我们了解到行业部分知名公司已经将日志平台逐步由 ES 迁移至Clickhouse,以此来获取更好的写入性能与高压缩比。因此我们与日志平台研发团队开始进行日志平台新存储的选型评估,本文会介绍我们如何通过 Clickhouse 的冷热分离存储替代 ES 的实施方案。
阿里云的说明 :https://help.aliyun.com/document_detail/183902.html
WPJAM Basic 最新版已经实现了对腾讯云 COS WebP 功能的支持,开启之后,可以大大节省 CDN 费用。
近年来,云计算已成为主流,企业从自身利益出发,或是不愿意被单一云服务商锁定,或是业务和数据冗余,或是出于成本优化考虑,会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁移到另一个云平台,业务迁移涉及到数据的迁移。正好 JuiceFS 已经对接了各种对象存储的 API ,也实现了数据同步的逻辑,让我们来了解下 JuiceFS 的 sync 命令。
过去的相当长的一段时间里,商用对象存储占据了市场上的大量的份额。国外的Amazon S3,国内的阿里云OSS都成为了大多数公司的选择。但是构建一个企业级的数据湖(包括结构化和非结构化数据)已经成为了越来越多公司的目标。那么Hadoop还能满足我们的要求吗?还是我们需要更多的选择?
本文主要讲解企业级OSS对象存储服务Spring Boot Starter制作,开箱即用,为项目进行赋能。基于AmazonS3协议,适配市面上的对象存储服务如:阿里云OSS、腾讯COS、七牛云OSS、MInio等等 什么是OSS? OSS(Object Storage Service),对象存储服务,对象存储服务是一种使用HTTP API存储和检索对象的工具。就是将系统所要用的文件上传到云硬盘上,该云硬盘提供了文件下载、上传、预览等一系列服务,具备版本,权限控制能力,具备数据生命周期管理能力这样的服务以及技术可以统称为OSS OSS在项目中的使用 OSS对象存储在目前大部分项目中必不可少的存在,如下图所示。
文件服务器是一个应用必要的组件之一。最早我搞过FTP,然后又用过FastDFS,接私活的时候我用MongoDB也凑合凑合。现如今时代不同了,开始流行起了OSS。
随着企业数据量的持续增长,存储容量需求日益增大。如何采用没有容量上限的云存储替换本容量有限的本地磁盘,已成为广泛的需求和共识。特别是在企业中常用的 Samba 和 NFS 共享,如果能够使用云存储作为底层存储,就能有效解决存储扩容和本地磁盘损坏导致的数据丢失问题。
在早前这篇文章中 《ClickHouse已支撑S3和HDFS存储的零拷贝复制》,我介绍过 ClickHouse 为了更好的适应当前云原生的发展,利用多层存储的机制,打通了 S3 这样的对象存储。
存储是大数据的基石,存储系统的元数据又是它的核心大脑,元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能,来个大比拼。
在公网对对象存储进行读取,有公有读和私有读两个方式,但是由于CDN无法进行验证,导致如果非同一厂商支持内网验证的CDN环境下,必须使用公有读才可以正常从外网访问。 最近腾讯云CDN的源站多了一个新选项第三方对象存储,控制台对此的注释是AWS S3和阿里云OSS。 言下之意,就是腾讯云CDN支持私有访问第三方存储桶了。
该文是 [Delta Lake 数据源](https://docs.byzer.org/#/byzer-lang/zh-cn/datasource/dw/delta_lake) 一个补充。
像我平常写博客的话,基本很少使用博客系统自带的编辑器,因为网页端很难达到客户端那样的流畅,偶尔还会出现网络问题,造成辛辛苦苦写完的内容丢失,而在客户端则不会出现这种问题。但客户端的问题在于该怎么上传图片,不然博客写完,图片还要一张张的上传,那岂不是得不偿失。所以在这里介绍七牛云搭建图床的方法。
Serverless架构是近年来迅速兴起的一个技术概念。基于这种架构能构建出多种应用场景,适用于各行各业。只要是对轻计算、高弹性、无状态等场景有诉求,您都可以通过本文来熟悉一些基础概念,并从相关场景中获得启发。
在上期,我们提到,如果我们想把对象存储用在生产环境,仅仅在单AZ内部实现三副本只能保证数据99.9999999%的持久性。如果我们还期望业务的可用性达到99.999%以上,还需要实现对象存储的跨AZ部署,也就是所谓的“同城双活”。
使用velero可以对集群进行备份和恢复,降低集群DR造成的影响。velero的基本原理就是将集群的数据备份到对象存储中,在恢复的时候将数据从对象存储中拉取下来。可以从官方文档查看可接收的对象存储,本地存储可以使用Minio。下面演示使用velero将openstack上的openshift集群备份恢复到阿里云的openshift上。
关于thanos的介绍可以参考这篇官方博客的翻译文档,本文不作部署操作介绍。下图是thanos的官方架构图,主要有5个组件:
近期有接到许多朋友咨询迁移上云和本地IDC备份扩容,如何快速构建一个私有化的备份解决方案,背景也就是,一些传统企业,IDC业务快速增长,服务器及存储容量暴涨,导致本地IDC超融合服务器等瓶颈。物理扩展周期长,费用昂贵,加之近期受国外芯片封锁,导致国内外服务器硬件价格暴涨,听说之前信创服务器,被哄抬价格“天价”,因此,许多企业智慧选择更为实惠的公有云,但有些重要的客户,希望资料提供私有化,不想全部业务数据上云,那么如何解决【企业数据本地化】又能解决IDC扩容【存储上云备份】呢?
在传统企业中,他们会把自己的数据存储在线下的数据中心,由于有很多企业都是自建或者租用的IDC,所以面临着在人员、技术、运维、性能、故障、软件授权、租用等等多方面的难题,凭借企业自身的能力,在解决各种难题时难免会有力不从心。
我们介绍过很多关于EasyDSS的定制项目,其中大部分都是通过Go语言完成的,例如通过Go语言 gorm 框架钩子函数精简代码,或者通过Go语言生成归档文件功能,现下基于部分用户的使用需求,我们还需要做出小幅调整,目前的调整是需要将录像存储在云的OSS中。
在数字化时代,数据已经成为各行各业的核心资产,需要以一种高效、可扩展和高可靠性的方式进行存储和管理。对象存储是一种以对象为中心的存储方式,将数据存储为对象而不是文件,它具有高度可靠性、高扩展性和高性能等优点。
JuiceFS 是一个创新性的软件产品,很多初次尝试的小伙伴对产品和用法感到很多疑惑,所以为了帮助大家快速理解并上手 JuiceFS,我们整理了24个关于 JuiceFS 经典的问题答案,相信经过这 24 问,大家对 JuiceFS 会有更清晰的认识,使用上也会更加得心应手。
近几年来,人工智能逐渐火热起来,特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据,处理完的数据一般都需要存储起来,这些数据的特点主要有如下几点:
Lustre 如何工作的 📷 Lustre 架构说明 lustre是一个基于对象的分布式文件系统。它核心有三个组件元数据服务(mds)、对象存储服务(oss)和客户端(client).lustre采用块设备来存储文件和元数据,每个块设备由单一独立的lustre服务来管理。比如lustre的元数据服务,元数据需要存储在块设备上,元数据进程需要把元数据写入到这个块设备上。lustre的总容量是所有的ost(oss管理的块设备)之和。lustre客户端是通过标准的Posix/IO的系统调用。 📷 MDS(meta
概述 这几年云存储成为云计算领域最为火热的产品之一,大家众说纷“云”,互联网的未来就是数据争抢的未来,所有数据都会优选存储在云中。 相信大家对云存储的优点都已经有所了解,例如云存储支持按需使用,按需付费,不必承担多余的开销,也无需增加额外的硬件设施或配备专人负责维护。正因为有如此多的优点,市场上云存储公司也如雨后春笋越来越多,但选择太多有时候也意味着无从选择。本文正是通过客观的性能评测告诉大家该如何选择。 一般云存储会分几种类型:对象存储(冷、热数据存储)、块存储、表格存储等,今天主要是评测的是对象存储中的
通过本文,我们来了解下面这个四个方面:应用发展过程中不可避免的存储问题、什么是对象存储 、对象存储的优势、对象存储的最佳实践。
“ 之前尝试过在各种不同的云平台、云算力,部署清华大模型 ChatGLM2-6B,有失败有成功,但不是很理想。这次使用免费的阿里云机器学习GPU资源,终于成功了。”
composer 作为 PHP 的包管理器,有很多优秀的扩展包供开发者使用, 本文记录在工作中使用过的优秀扩展包
在近日的一个风和日丽的下午,正在快乐的写 bug 时,突然间钉钉就被 call 爆了,原来是 k8s 测试集群的一个 namespace 突然不见了。这个 namespace 里面有 60 多个服务,瞬间全部没有了……虽然得益于我们的 CI/CD 系统,这些服务很快都重新部署并正常运行了,但是如果在生产环境,那后果就是不可想象的了。在排查这个问题发生的原因的同时,集群资源的灾备和恢复功能就提上日程了,这时 Velero 就出现了。
云场景攻防:公有云,私有云,混合云,虚拟化集群,云桌面等 云厂商攻防:阿里云,腾讯云,华为云,亚马云,谷歌云,微软云等 云服务攻防:对象存储,云数据库,弹性计算服务器,VPC&RAM等 云原生攻防:Docker,Kubernetes(k8s),容器逃逸,CI/CD等
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来,每年都保持着高速增长,业务的增长带来了数据量的剧增。
不同于市面上其他远控工具,虽然支持各项协议的远控如dns、https、tcp、smtp层出不穷,但是一、各种对Cobra Strike 、冰蝎、恶意dns的流量检测技术逐步完善,从协议的隐蔽性和对抗性来说还远远不够;二、云环境下的渗透测试的目标环境会设置严格的安全组或者在vpc内,不能对外出入流量;三、出入的流量均会经过云安全厂商的检测,存在暴露风险。
我的开源 Spring Cloud 项目 PassJava 一直可以在 Windows 上正常运行,最近不是换 Mac M1 了么,想把这个项目在 M1 上跑起来,毕竟我的那台 Windows 用起来发烫,是该体验下 M1 的性能了。
我的开源 Spring Cloud 项目 PassJava 一直是在 Windows 和 Ubuntu 上运行,最近不是换 Mac M1 了么,想把这个项目在 M1 上也跑起来,毕竟我的那台 Windows 用起来发烫,是该体验下 M1 的性能了!
对数据备份有所了解的朋友应该都听说过“两地三中心”的备份模式,即热数据和备份数据处于同一城市,并且在异地再设立一个冷备份。虽然两地三中心的概念源自企业级解决方案,但这并不影响我们借鉴其理念用于规划私人 NAS 数据的备份。
比如有这样的情况,客户是专门做影视的,渲染服务器在国内,拍摄组分布在欧洲各地,每天产生的数据高达500G,需要传到云服务器进行转码渲染,处理后数据差不多300G,然后再传回本地做备份
简介:Markdown Nice是支持自定义样式的 Markdown 编辑器,可用于微信公众号、知乎等多个平台排版
所有框架类的 js 和 css 一律不用本地的,使用 bootcdn 上的链接,自己修改后的库可以买 oss、cdn 等加速了。
作为hexo多年的使用者,微博图床一直是我的默认选项,hexo+typora+iPic更是我这几年写文章的黄金组合。而图床中,新浪图床一直都是我的默认选项,速度快、稳定同时支持大图片批量上传更是让其成为了众多图床工具的默认选项。虽然今年早些的时候,部分如「ws1、ws2……」的域名就已经无法使用了,但通过某些手段还是可以让其存活的,而最近,所有调用的微博图床图片都无法加载并提示“403 Forbidden”了。
我们正在经历一个 Data + AI 的黄金时期,AI 已在大数据领域展现出巨大的潜力。QCon 全球软件开发大会·广州站邀请到 Datafuse Labs 联合创始人张雁飞老师分享题为《Databend: 大模型时代的 Cloud Warehouse 设计探索》的演讲,本文为 Databend 公众号由此整理。 完整幻灯片下载: https://qcon.infoq.cn/2023/guangzhou/presentation/5257
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储 OSS、块存储 ESSD、弹性伸缩 ESS 以及抢占式实例实现了相比 Apache Kafka 10 倍的成本优势并且提供了自动弹性的能力。
领取专属 10元无门槛券
手把手带您无忧上云