工作中使用 Redis 时,如果大家公司没有专业运维,可能我们开发就会面临运维的工作,包括 Redis 的运行状态监控,数据迁移,主从集群、切片集群的部署和运维等等。本文我就从这三个方面,给大家介绍一些工具,帮助大家更好的运维管理 Redis。
DCache是基于TARS框架的分布式NoSQL存储系统,数据基于内存存储,同时提供持久化功能,主要应用于分布式缓存。继2019年4月发布体验版后,今天v1.0正式版在github发布,项目地址https://github.com/Tencent/DCache
在很多传统企业,经常会用到FTP服务,这些FTP服务会逐渐遇到使用、稳定性、性能等问题。
本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天 甚至更高后,我们需要具备哪些能力才能保障集群高可用、高可靠、高性能、高吞吐、安全的运行。
更低的CAPEX和OPEX、更快地推出新业务和创新、更及时地响应客户需求,... 。这些业务上云或者迁移到云上之后带来的好处已经为越来越多的人所熟知。然而,最近在跟几个客户沟通时,发现客户对于业务上云的过程存在着天然的恐惧心理。在保证数据的情况下,成功地把业务从本地的数据中心迁移到公有云、私有云或混合云。这个过程的确复杂,但并非不可控。笔者相信下面介绍的业务上云的方法论将有助于减少CIO们对业务上云的担心,并提高实际上云过程中的成功率。
中集车辆(集团)有限公司(以下简称:中集车辆集团),是在原深圳中集重型机械有限公司的基础上,于2003年获国家商务部批准成立的。中集车辆集团是世界最大的集装箱制造集团——中国国际海运集装箱(集团)股份有限公司(以下简称:中集集团)的全资子公司,是中集集团立足于专用汽车行业的集团式企业。
本文主要介绍知乎订单系统后端语言栈的转型升级过程,包括其间踩过的一些坑和遇到的一些问题。一来是想通过本篇文章为其它应用服务转型提供借鉴经验,二来是总结对于订单系统的理解。鉴于文字功底不足,对于业务理解不充分的地方,欢迎留言交流。文章大纲如下:
你是否曾经往服务器发布更新的时候想,“一切正常,如期运行!”然后你却必须一直处理用户的抱怨:为什么你们的系统总是报错?
“和大家分享华为对Zabbix的三个探索实践,为了解决集群管理、Agent迁移、高可用管理问题,设计了水平扩展方案。为了实时监控数据实时呈现,设计了数据实时消费方案,还有为了构建万物互联的智能世界,设计了网络的体验监控方案。
近一年都在做语言栈的转型,也注意到周围很多公司都在做相似的事情,大概的路径是 Python -> Go -> Java,转型的起因也是有诸多的因素,像 Python 这种开发速度快,执行相对慢的语言更适合中小型项目,加上国内语言生态不够成熟,项目做大了会发现大家一刀切的转到其它语言上,当然这些说的是在做 web 后端方向上,Python 在数据分析和人工智能方向上还是势头很猛的。Go 可能还是因为它能承载的并发更高,性能更好而逐渐流行起来。在并发模型上 Java 原生 API 使用上确实做得不好驾驭,Go 则要相对好用很多。还有在某些垂直领域上,Java 的生态已经很成熟,其它语言栈上则需要自己造轮子,相应对于开发人员的水平要求就会低很多了。
随着 DT 时代的来临,数据对于企业经营决策的价值日益凸显,而企业在进行互联网+转型的过程中,如何让数据架构平滑迁移到大数据平台,对于传统业务的转型升级至关重要。企业 IT 部门该如何进行 PB 级别大数据平台的迁移规划呢,请看云智慧运维总监张克琛带来的经验分享。 提到 PB 级别的大数据解决方案市面上有很多,比较火的有 Hadoop、Spark、Kafka 等等,如果是一个新上线的系统,相信大家都能找到适合自己的方案。但“大数据”在 09 年才逐渐成为互联网信息技术的流行词汇,一个较老的系统如何平滑迁移到
欢迎来到《21天精通IPv4 to IPv6》的第二周!今天,作为你们的猫头虎博主,我将带领大家探讨企业网络从IPv4到IPv6的迁移。本文将详细介绍迁移策略、企业迁移案例、关键步骤和易错操作。本篇博客充满了实用的关键词,如IPv6迁移策略、企业网络升级、IPv6配置技巧,旨在帮助无论是初学者还是专业人士都能轻松掌握IPv6迁移。
本文将深入探讨Sqoop的使用方法、优化技巧,以及面试必备知识点与常见问题解析,助你在面试中展现出深厚的Sqoop技术功底。
OSDMap 机制是 Ceph 架构中非常重要的部分,PG 在 OSD 上的分布和监控由 OSDMap 机制执行。OSDMap 机制和 CRUSH 算法一起构成了 Ceph 分布式架构的基石。
如今的企业比以往任何时候都能访问更多的数据。这些数据正在以惊人的速度增长,无论是数量还是变化量。无论是传统的分析还是机器学习和人工智能等前沿技术,将这些信息从所有信息源集中到云存储库对业务至关重要。
对于那些考虑进行云计算部署的企业来说,有效的成本管理对于成功至关重要。企业需要最大程度地利用云计算技术,需要在关键活动领域中尽早采取行动,以便随着云计算足迹的增加而有效地优化成本。
控制台链接:https://console.tencentcloud.com/trocketmq
Redis单节点存在一些局限性,特别是在处理大规模数据、高并发请求和提供高可用性方面。以下是一些常见的Redis单节点的局限性:
毫无疑问,数字化迁移(DX)正在彻底改变业界开展业务的方式,而云计算则是数字化迁移的关键。云的弹性确实可以帮助数字企业更快地进行沟通,增加企业的创新。但为了充分利用云计算的价值,企业必须确保在涉及迁移现有的应用程序和加速软件时,不会产生冲突。 很多企业通过提升和将现有的内部应用迁移到云端来实现其迁移进程,对应用程序本身几乎没有任何改变。但在云端运行相同的单片应用架构意味着企业的应用程序不是为了最大限度地提高云计算的收益而建立的。恰恰相反,他们经常提出可扩展性问题,导致成本增加并需要耗费大量时间的应用程序支持
毫无疑问,数字化迁移(DX)正在彻底改变业界开展业务的方式,而云计算则是数字化迁移的关键。云的弹性确实可以帮助数字企业更快地进行沟通,增加企业的创新。但为了充分利用云计算的价值,企业必须确保在涉及迁移
在Redis运维过程中,由于Bigkey 的存在,会影响业务程序的响应速度,严重的还会造成可用性损失,DBA也一直和业务开发方强调 Bigkey 的规避方法以及危害。
VMware的分布式资源调度(Distributed Resource Scheduler,DRS),可以动态地分配和平衡计算容量,将硬件资源聚集到逻辑资源池中。可以持续不断地监控资源池的利用率,智能分配资源,允许用户自己定义规则和方案来决定虚拟机共享资源的方式及它们之间优先权的判断根据。 以往,vSphere DRS一直处于被动状态——它会对虚拟机工作负载的任何更改作出反应,并迁移虚拟机以在不同主机间分配负载。 在vSphere 6.5中,借助VMware vCenterServer®与VMwarevRealize®Operations™(vROps)配合使用,DRS可以根据可预测的未来工作负载变化采取行动。 这有助于DRS主动地迁移虚拟机并在集群中腾出空间以适应未来的工作负载需求。例如,如果您的虚拟机工作负载每天上午9点会达到高峰,预测性的DRS将能够基于来自vROPs的历史数据预先检测到此模式,并且可以使用以下任一技术来准备群集资源: •将虚拟机迁移到不同的主机以适应未来的工作负载并避免主机过度使用。 •使用VMwarevSphere®分布式电源管理(DPM)从备用模式恢复新主机以适应未来需求。
磁盘损坏对于一个大集群来说,可以说是必然发生的事情,即使再小的概率,磁盘量上去,总会坏那么几块盘,这个时候就会触发内部的修复过程,修复就是让不满足副本要求的PG,恢复到满足的情况
因为系统数据量持续性增大,腾讯云的MySQL已经达到瓶颈,无法进行升级操作,如果自己搭建一个分库分表系统,速度和可靠性上面都会很差,综合各方面考虑,最后决定采用阿里云的PolarDB-X分布式数据库。
尊敬的腾讯云用户,您好! 云监控「事件告警」相关功能将于2021年12月31日正式下线,相关能力将由「事件总线」承载。 本次变更仅涉及云监控事件告警部分功能,其它能力保持不变。迁移到事件总线后与现有事件告警体验一致。 为保证您的事件相关服务可以正常使用,您可开通「事件总线」。点击“阅读原文”参考「一键迁移文档」,可将云监控侧存量告警策略与推送目标一键迁移至事件总线。同时,请您手动在事件总线启用事件告警规则。 事件总线产品在原有功能上新增规则匹配、自定义事件集、多目标投递等特性。想要了解更多关于「事件总线」
周成,腾讯云工程师,主要负责腾讯 etcd 监控平台设计、开发、运维工作,具备大规模 Kubernetes 和 etcd 集群运维开发经验。 唐聪,腾讯云资深工程师,极客时间专栏《etcd实战课》作者,etcd活跃贡献者, 主要负责腾讯云万级K8s集群和内部业务的公共etcd平台以及serverless 产品研发设计工作。 背景 随着 Kubernetes 成为容器编排领域的霸主,越来越多的业务大规模在生产环境使用 Kubernetes 来部署、管理服务。腾讯云TKE正是基于原生 Kubernetes,提
行者:在关乎企业生存的必选项“数字化转型”以及国家信创战略的共同冲击下,企业需要改变现有业务和IT的架构,更快速地应对挑战、响应变化,增强自身的竞争力。其中,作为企业服务集成核心的ESB平台如何进行信创迁移和建设,是企业解决系统间信息贯通的关键问题,实现完整的服务治理,达成能力开放,以及化解风险隐患,横纵向打通系统集成通道,从业务层与通讯层两方面保证信息安全的重要事项。
MIUI 是小米公司旗下基于 Android 系统深度优化、定制、开发的第三方手机操作系统,也是小米的第一个产品。MIUI 在 Android 系统基础上,针对中国用户进行了深度定制,在此之上孕育出了一系列的应用,比如主题商店、小米音乐、应用商店、小米阅读等。
由于云采用率急剧提高,市面上用来保护、管理和监控云环境的解决方案多得让人眼花缭乱。为了帮助你简化这个过程,我们建议使用下列产品来满足采用云方面的所有要求。 📷 我们分析了这几个方面:管理云环境、建立数据库、使用和监控软件即服务(SaaS)应用程序及其他云度量指标,当然还有云安全。 管理云部署 无论你是在规划迁移,还是已经在公有云环境下,云资产的管理、维护和服务交付都需要大量的专业知识。对比较大的企业而言,选择哪一种类型的云部署来得特别复杂;这需要确定哪些资源迁移过去,哪些资源应该仍留在企业
这次迁移算是TBDS集群的第一次完整迁移案例,包括用户的业务数据,平台应用,从项目启动到最后完成迁移差不多耗费了1个月的时间。
李航:国家信创战略背景下,信创产业从党政、金融等领域高速扩展到电信、制造、教育等更广阔的市场。
前言 作者在腾讯一直从事数据相关领域的系统运营和运营平台的建设工作。目前主要负责 TDW 的系统运营,TDW 是腾讯内部最大的离线处理平台,也是国内最大的 HADOOP 集群之一。 在运营这么大集群的时候,运营面临各种各样的难题,在解决这些难题的过程中,团队提炼出来的一个运营理念,用两句话去描述。 用建模的思路去解决运营的难题 运营的问题怎么解决?你必须用一些数据建模的办法,把这个难题解析清楚,然后我们再去考虑运营平台建设。 运营平台支撑模型运作 不是为了建设运营平台而建设,而是它必须有一定的运营理念。下文
11月动态 云原生网关 【新功能】Kong 网关支持公网IPV6,方便客户端到网关使用IPV6通信。 【新功能】Kong 网关优化高级限流功能,支持自定义返回和对接自建Redis。 【新功能】Kong 网关支持添加多个公网负载均衡,提供多个公网接入点。 【新功能】Kong 网关支持关联腾讯云Prometheus,方便您使用云上Prometheus查看网关监控。 【新功能】Kong 网关支持请求/响应修改能力,您可以使用运行时变量对请求/响应进行新增/删除/修改。 【新功能】Nginx Ingress 支持自
作者介绍:2012年进入腾讯,负责腾讯云数据库平台(CDB)和腾讯云分布式存储平台(CBS)的运维工作,对数据库高可用、数据库调优、分布式存储运维等领域有丰富的经验。 记CBS一次动人心魄的数据保卫战 接触分布式存储已经有一年多的时间了,首次遇到存储侧三份数据都有异常的情况,三份数据异常意味着客户数据的丢失,这个对云存储来讲是致命的打击。为了保证数据的安全,CBS运维和开发的同学进行了持续两天一夜的数据保卫战,最终做到数据0丢失,那么CBS运维和开发的同学是如何通过紧密合作来扭转乾坤的?且听我慢慢道来:
MySQL在业界流行多年,很好地支撑了携程的业务发展。但随着技术多元化及业务的不断发展,MySQL也遇到了新的挑战,主要体现在:业务数据模型呈现多元化,OLTP和OLAP出现融合的趋势;在MySQL数据库上慢查询治理成本高;使用传统的分库分表方案对开发不友好,核心数据库改造成分库分表方案,时间一般以年为单位。
在当今业务快速增长的市场中,用户希望其应用程序始终可用并保持最新状态,这通常说起来容易做起来难。满足这一需求通常涉及迁移到云平台,这提供了更高的可扩展性和灵活性,从而使企业工程团队更快速地创新,并提供用户在不断寻求的令人愉悦的用户体验。
微服务体系的发展并不是一蹴而就的,经过了2014年前后的低潮期,微服务概念顶层的泡沫逐渐褪去,那些真正能够在企业落地的实践在一轮又一轮的大浪淘沙后被甄别、沉淀。在软件开发行业,微软服务正从一个流行术语转向实战战略。随着越来越多的企业开始采用微服务,行业内也累积了不少的经验教训。
数字化时代,应用成为企业开展各项业务的落脚点。随着业务的快速发展,应用的功能迭代变得越来越频繁、业务系统变得越来越复杂、对IT资源的需求也变得越来越弹性。如何合理高效分配利用底层IT资源、管理上层应用、平衡二者关系,成为企业当下数字化建设中的重要关注点。
作者:Yomut 原文:https://my.oschina.net/yomut/blog/714497
昨天,小悦在 Redis 交流群(想进群交流的请查看文末进群方式)发起了一个话题讨论:你们觉得好用的第三方Redis工具有哪些?有几位朋友推荐了几款不错的Redis工具,加上之前笔者用过的一些工具,这一节内容就来简单盘点一下这些好用的工具。
之前写了一篇文章分析了Datapump迁移数据的一些准备总结,反响还不错。Datapump数据迁移前的准备工作,最近碰到一个场景,根据评估还是使用Datapump比较好。主要的原因如下: 1.原来的环境在Solaris下,硬件资源老旧,需要迁移到Linux下,跨平台迁移使用逻辑迁移优先 2.原来的环境使用10gR2,现在需要顺带迁移到11gR2,充分解决备库“不中用”的情况 3.迁移的数据量不算大,在几百G以内,可以充分利用带宽和I/O吞吐量来达到预期的时间窗口。 而在这个方案之外,考虑到提高性能,我们采用
计费组是为网易互娱产品提供统一登录和支付高效解决方案的公共支持部门,对内是互娱的各个游戏工作室,对外是国内外数百个渠道。由于业务场景的特殊性,我们为各个游戏产品部署了不同的应用服务,其中大产品环境独立,小产品集中部署。
业务同学反馈有个服务在部署容器后不间断收到积压告警,该服务对积压敏感,影响派单的时效性。原来部署到ECS上的服务没有积压情况,准备往容器迁移。下面是业务同学做的排除测试,另外容器当前在J/K可用区部署,而MQ集群部署在B/G/F区。
近几年由于各个行业的数据体量都在飞速增长,伴随着云计算产业的快速发展,上云,已经成为了众多企业优化运维手段、突破数据存储瓶颈的关键选择。目前绝大多数企业都正在进行或已实现整体业务的迁移上云。
印度股票经纪公司Zerodha 是全球最大的散户股票投资平台,每天要处理800 万笔交易。该公司拥有一套复杂、综合的基础设施,严格监管的技术堆栈,最终用户应用程序和需要各种外部依赖的内部系统,公司需要一个“统一、集中的监控基础设施,在各种复杂环境中运行,” 首席技术官 Kailash Nadh 说。
MySQL监控是一个很大复杂的任务,不同的应用有着不同的需求。“监控”是大家滥用的术语之一,承载了几重意思。我们讲到的监控工具被分为非互动的和互动的两类。非互动监控常常就是一个自动化系统,它接收系统的测量值,如果有超出安全范围的,就通过发出警告提醒管理员。互动监控工具可以让你实时地观测服务器。 1、MySQL可视化工具,这些工具都可以免费使用。
前言 随着微服务架构的流行,一次请求通常涉及到多个组件及应用,往往需要根据整个请求的链路信息进行问题排查。 因此,企业通常会引入可帮助其了解系统行为、用于分析性能问题工具- APM (应用性能监控)。以便在发生故障时,进行调用链路追踪,快速定位和解决问题。 目前 APM 开源及商业化产品已经比较成熟,但搭建 APM 平台是自建还是上云呢?本文通过成本和产品功能的角度,给大家提供 APM 选型方案的建议。教您如何实时了解并追踪应用性能情况,低成本打造最佳用户体验。 自建成本分析 在成本问题上,小编粗略的计算了
Ceph是一个分布式存储系统,可以动态地扩展和缩减存储容量。下面分别描述Ceph的PG动态分布策略和智能重平衡的实现方式。
领取专属 10元无门槛券
手把手带您无忧上云