在近日的一个风和日丽的下午,正在快乐的写 bug 时,突然间钉钉就被 call 爆了,原来是 k8s 测试集群的一个 namespace 突然不见了。这个 namespace 里面有 60 多个服务,瞬间全部没有了……虽然得益于我们的 CI/CD 系统,这些服务很快都重新部署并正常运行了,但是如果在生产环境,那后果就是不可想象的了。在排查这个问题发生的原因的同时,集群资源的灾备和恢复功能就提上日程了,这时 Velero 就出现了。
许多传统企业使用 Linux 自带的 crontab 来做定时任务的方案,该方案非常简单,适合做主机上的运维工作,比如定时清理日志、周期性做健康检查。随着信息化时代的高速发展,业务变得越来越复杂,很多场景都需要定时任务,但是 crontab 方案存在高可用问题,不适合应用在业务应用上。
一般意义上,备份指的是数据备份或系统备份,容灾指的是不在同一机房的数据备份或应用系统备份。备份采用备份软件技术实现,而容灾通过复制或镜像软件实现,两者的根本区别在于:
Kubernetes 集群备份一直是我们的痛点。虽然可以通过Etcd v3备份与恢复来实现K8S集群备份,但是这种备份很难恢复单个 Namespace。
之前负责的锡慧在线小程序是一款公益性质在线教育类小程序,因疫情影响导致流量暴增,日访问过百万
tech/powerjob/server/extension/dfs/DFsService.java
意大利电信公司TIM的漏洞研究部门Red Team Research (RTR) 发现了2个影响爱立信 OSS-RC 的新漏洞。TIM RTR已向爱立信报告了这些漏洞。
使用maven,gradle等构建项目必定会用到nexus来搭建私服,Maven的公服与私服是非常重要的概念
大家好,我是山月,这是我最近新开的专栏:「前端部署系列」。包括 Docker、CICD 等内容,大纲图示如下:
ossutil支持在Windows、Linux、macOS等系统中运行,您可以根据实际环境下载和安装合适的版本。
集成一键配置:LAMP/LNMP/Tomcat/Node.js、网站、数据库、FTP、SSL,一键部署源码,通过Web端轻松管理服务器。
概述 昨天想在Ubuntu上用一下HTK工具包来绘制语音信号的频谱图和提取MFCC的结果,但由于前段时间把Ubuntu升级到13.04,系统的声卡驱动是ALSA(Advanced Linux Soun
ALSA(Advanced Linux Sound Architecture)是linux上主流的音频结构,在没有出现ALSA架构之前,一直使用的是OSS(Open Sound System)音频架构。关于OSS的退出以及ALSA的出现,可以看 Linux音频驱动-OSS和ALSA声音系统简介及其比较。
ELK作为日志UI产品,自诞生就备受关注,时至今日也热度不减,在Github上有着高达 54.7k的关注。
自从 github 提供了 github actions 后,个人或者依赖于 github 的公司可以考虑把持续集成方案迁到 github actions。
对于很多站长朋友来说,网站数据是非常重要的,所以一定要勤备份,以防服务器出问题,数据不至于丢失无法还原。
最近,基于大模型的代码生成已经普遍应用于各大开发软件中。但是,LLM的固有偏见会影响其代码生成的创造性,
FaaS(函数即服务)、Serverless、小程序和弹性云计算的诞生可以归因于云计算发展的趋势和应用架构的演变。
最近遇到一个日志备份 io 过高的问题,业务日志每十分钟备份一次,本来是用 Python 写一个根据规则扫描备份日志问题不大,但是随着业务越来越多,单机上的日志文件越来越大,文件数量也越来越多,导致每每备份的瞬间 io 阻塞严重, CPU 和 load 异常的高,好在备份速度很快,对业务影响不是很大,这个问题会随着业务增长,越来越明显,这段时间抽空对备份方式做了优化,效果十分显著,整理篇文章记录一下。
:现在有个视频video.avi,有个音频 audio.mp3,将其合并成output.avi
上周刚忙完某安全证书的考证,本来这周就应该开始学一些应急响应的东西,碰巧碰到某大佬,问我有一个功能想实现,能不能写一个脚本凑合一下
Hugging Face 技术负责人 Philipp Schmid 表示:“代码自动补全工具,如 GitHub Copilot,已被超过一百万开发者使用,帮助他们的编码速度提高了 55%。看到像 Magicoder 和 OSS-INSTRUCT 这样的开源创新超越了 OpenAI 的 GPT-3.5 和 Google DeepMind 的 Gemini Ultra,真是令人振奋。这些进步不仅展示了人工智能技术的快速发展,也突显了开源社区在推动这一领域创新中的重要角色。”
盘点2020年wordpress常用的50个插件合集,50个插件已经打包整理好,可以选择性安装或者是去搜索添加。如果后台经常出现安装不成功的!大部分的插件是可以在网上搜到的或者是在wordpress后台搜索添加。
2021/12/25版本 版本号:2.4.6 功能: 1.增加了pgsql数据库初始化,用户可选用pgsql进行开发。 2.增加了业务数据库功能,用户可通过yaml中配置自己的业务数据库,根据name获取业务库进行业务操作,实现框架和业务的数据库分离。 3.oss集成了华为云oss。 4.前端打包增加了提示内存不足时的一键node内存扩容build命令。 5.调整了获取用户信息的方法,增加了不鉴权模式下的用户信息获取方式。 6.配置页面调整。 7.取消了自动化代码中数据库类型和size的选择模块,防止自动化
GitHub Wiki:https://github.com/hengboy/api-boot/wiki 码云 Wiki:https://gitee.com/hengboy/api-boot/wikis
人群创建成功后会存储在Hive表和OSS中,画像平台用户有时需要拉取人群数据并应用到一些业务中。比如用户希望在Push平台上针对指定人群下的所有用户推送消息,此时可以使用画像平台接口拉取人群数据;在七夕活动中,运营人员投放使用了多个人群,为了分析不同人群的转化效果,此时需要将人群结果的Hive表提供给数据分析师使用。综上可知,人群数据对外输出方式主要分为两种:Hive表和服务接口。
需求痛点:最近接到产品的需求,说到需求的痛点:预览视频多用于前端展示,过大影响端内加载体验,且造成更多存储费用。
在上一篇我的MacOS上一些好用的软件(集合)中介绍了一些我常用的软件,并且是定期更新的。本文主要是补充一些我上一台MacBook Pro中使用的一些好用软件,只是没有特别大的需求所以现在新买的的Mac Studio里没有装他们,但不能否认的是他们依然是一些好用的软件
在国内开源项目活跃度PAM(Project Activity Metric)中,SRS排第38名,这是音视频圈大师兄都认可的排名算法,要知道大师兄认可的东西那不容易,必须得客观才行。 这个不仅仅是个名次问题,更重要的是它代表了开源项目的健康度,是非常难得的一种算法,值得每个开源的开发者了解,特别是开源项目的维护者。 开源项目好不好,先看Star,再看PAM。 我先从SRS的经历,分享下为什么对这个PAM指标这么重视。 备注:本文有不少链接,可以阅读原文,打开简书的版本。 Why Important 如果按
t-code:ob74设定自动清账的条件,设定正确的话,然后f.13执行清账。在OB74设定自动清账的标准时,可以选择是按照分配号、金额等不同的标准来寻找匹配的行项目。
HDFS 是 Hadoop 生态的默认存储系统,很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的,在云上维护 HDFS 一点也不轻松,需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情,而且还费用高昂,成本可能是对象存储是十倍以上。
得到pageNum=5,将其封装到一个PageDomain实体中 然后调用PageHelper.startPage(page,size…)进行分页。
使用velero可以对集群进行备份和恢复,降低集群DR造成的影响。velero的基本原理就是将集群的数据备份到对象存储中,在恢复的时候将数据从对象存储中拉取下来。可以从官方文档查看可接收的对象存储,本地存储可以使用Minio。下面演示使用velero将openstack上的openshift集群备份恢复到阿里云的openshift上。
Serverless架构是近年来迅速兴起的一个技术概念。基于这种架构能构建出多种应用场景,适用于各行各业。只要是对轻计算、高弹性、无状态等场景有诉求,您都可以通过本文来熟悉一些基础概念,并从相关场景中获得启发。
作者简介 妙成,携程云原生研发工程师,主要从事Elasticsearch、JuiceFS的研发运维,关注分布式数据库、NoSQL。 小峰, 携程云原生研发工程师,主要专注于数据库容器化领域,对分布式存储有浓厚兴趣。 一、摘要 携程的冷数据规模在 10PB+,包括备份数据、图片语音训练数据和日志数据等,存储方案主要是本地磁盘和GlusterFS。在实际使用中这些方案遇到了不少痛点: GlusterFS 在单目录下文件众多时,ls命令速度很慢; 受疫情期间机器采购周期的制约,无法灵活地根据实际需求弹性扩缩容
centos6系列于2020年11月份已经停止提供服务,现在各大镜像源已经关闭centos6的yum源,需要下载镜像后在本地搭建yum源方便使用。
导读:2 个月前,张戈博客分享了一篇Python+Shell 定时备份网站到阿里云 OSS 的教程,已经有非常多的站长朋友用上了,反馈还不错,也有不少朋友提出了很多优化建议,比如上传完成后能否删除本地
nohup 详解
目前我司正处于一种混乱的开发环境中; 对于数据库字段增修都是开发人员直上服务器数据库修改(我多次强调); 我未入职前,是直接通过SFTP连接服务器,对项目进行开发和修改(话说造成代码覆盖都不知道是谁干的,多次建议开发使用Git); 虽然对开发规范有所改变,但还是因为不可抗力因素无法执行,也是造成我最近想跳槽的原因;
这个再怎么强调都不为过,很多新手用户完全不重视,每次都是出了问题再来后悔莫及,所以定期备份自己的网站目录和数据库到自己的本地电脑或者是网盘里面存放。
目前我司正处于一种混乱的开发环境中; 对于数据库字段增修都是开发人员直上服务器数据库修改(我多次强调); 我未入职前,是直接通过SFTP连接服务器,对项目进行开发和修改(话说造成代码覆盖都不知道是谁干的,多次建议开发使用Git); 入职后我写一个开发规范文档:软件开发手册(欢迎各位大佬提出意见) 虽然对开发规范有所改变,但还是因为不可抗力因素无法执行,也是造成我最近想跳槽的原因;
因为前久新注册了一个域名,第一时间后搭建了一个WordPress,想着应该和另外两个站至少不一样吧,目前同时运营着3个wp博客站,个人觉得深白博客站的海报全局还是比较统一的,不说好看毕竟各人审美不一样。本站大部分文章为查资料找教程后通过自己实践写出来的,还望大家转载时著名一下小破站链接。
数据湖的起源,应该追溯到 2010 年 10 月。基于对半结构化、非结构化存储的需求,同时为了推广自家的 Pentaho 产品以及 Hadoop,2010 年 Pentaho 的创始人兼 CTO James Dixon 首次提出了数据湖的概念。
平时大家是不是研读过很多关于安装高可用kubernetes的文献,对于如何安装想必都有自己的私藏宝典吧?
1.关于IDEA的安装与使用具体参考https://github.com/judasn/IntelliJ-IDEA-Tutorial
Spring Boot---(9)SpringBoot项目发布到docker的tomcat容器
简介: 阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。
本文介绍php OSS文件读取和写入文件,workerman生成临时文件并输出浏览器下载
npm 作为一种包管理工具,无论你是泛前端还是大前端都已经离不开它。它的出现方便了万千少年。让我们跨过了 Ctrl+C、Ctrl+V,通过 npm install x 的方式将别人的优秀代码模块引入到自己的项目中。这些优秀的模块能被共享的原因,一方面是有 npm 这么一个包管理工具,另外就是 npm 仓库。
ApiBoot是一款基于SpringBoot1.x,SpringBoot2.x的接口服务集成基础框架,内部提供了框架的封装集成、使用扩展、自动化配置等,让接口开发者可以选着性完成开箱即用,不再为搭建接口框架而犯愁,从而极大的提高开发效率。
领取专属 10元无门槛券
手把手带您无忧上云