在实际业务中,出现资源不可用的原因种类可能很多,有的概率很低,比如网线被挖断了,机房失火,地震等等导致网络不可用,有的概率相对来说很高比如服务器硬件资源不足,服务器故障等等。这些问题都可能会导致对应的资源不可用。
8月18日,云+社区开发者大会(杭州站)圆满落幕。本次云+社区开发者大会诚邀业内技术大咖为你带来云开发、小程序、云上“多活”架构等革命性的技术,更有云上直播以及零成本获客这几个当前电商领域的热点业务话题,与大家共探技术与产业转型背景下的电商如何成为时代引领者。下面是腾讯云TVP王晓波老师关于如何基于公有云提供的这些基础设施来简化“多活”架构的一些设计和实践的分享。
秒杀是电商常见的一种营销手段:将少量的商品,以极低的价格,在特定的时间点开始出售,网站通过这种营销手段,制造某种轰动效应,从而达到网站推广的目的,秒杀虽然对网站推广有很多好处,但是对网站技术却是极大的挑战:网站是为正常运营设计的,而秒杀活动带来的并发访问用户却是平时的数百倍甚至上千倍,网站如果为秒杀时的最大并发访问量去设计部署,就需要比正常运营多很多服务器,而这些服务器在大多数时候都是用不上的,对于成本而言就比较浪费了,所以秒杀业务不能使用正常的网站业务流程,也不能和正常的网站交易业务公用一台服务器,必须设计部署专门的秒杀系统,进行专门应对。
图片1.png 服务器数据恢复故障描述 客户的服务器共有8块450GB SAS硬盘,其中7块硬盘组成一个RAID5阵列,1块热备盘。阵列中2块硬盘损坏并离线,导致RAID5阵列瘫痪,进而影响上层LUN无法正常使用。经工程师检测硬盘无物理故障,无坏道,随后北亚工程师将所有磁盘镜像成文件。 数据恢复过程 一、RAID组结构及掉线盘分析 服务器的LUN都是基于RAID组的,所以需要先对底层RAID组的信息作出分析,再依据这些数据重构原始的RAID组。通过分析得知4号盘为hot Spare盘。继续分析Oracl
中秋前,圈内一则 “顺丰运维工程师因误删库被开除” 的消息在圈内炸锅了。虽说程序员群体并不八婆,但都纷纷就此事件抛出深藏内心的酸爽感。
异常测试,是检测系统对异常情况的处理。异常测试覆盖硬件或软件异常时的处理。测试方应通过人为制造错误情况测试系统对错误操作、错误报文的反应,检查程序中的屏幕或页面是否给出了清晰且充分的提示或约束;一旦出现错误情况,系统是否能正常报告,并检查系统的错误提示是否清晰且充分;测试系统是否处理了用户的异常操作,还是造成死机或处理错误。
本次分享的案例是关于HP FC MSA2000存储瘫痪抢救Oracle数据库的案例,故障存储整个存储空间由8块硬盘组成,其中7块硬盘组成一个RAID5的阵列,剩余1块做成热备盘使用。由于RAID5阵列中出现2块硬盘损坏,而此时只有一块热备盘成功激活,因此导致RAID5阵列瘫痪,上层LUN无法正常使用。 由于存储是因为RAID阵列中某些磁盘掉线,从而导致整个存储不可用。因此接收到磁盘以后先对所有磁盘做物理检测,检测完后发现没有物理故障。排除物理故障后对数据全部备份后在进行进一步的分析。 【故障分析】 1、分析故障原因 由于前两个步骤并没有检测到磁盘有物理故障或者是坏道,由此推断可能是由于某些磁盘读写不稳定导致故障发生。因为HP MSA2000控制器检查磁盘的策略很严格,一旦某些磁盘性能不稳定,HP MSA2000控制器就认为是坏盘,就将认为是坏盘的磁盘踢出RAID组。而一旦RAID组中掉线的盘到达到RAID级别允许掉盘的极限,那么这个RAID组将变的不可用,上层基于RAID组的LUN也将变的不可用。目前初步了解的情况为基于RAID组的LUN有6个,均分配给HP-Unix小机使用,上层做的LVM逻辑卷,重要数据为Oracle数据库及OA服务端。 2、分析RAID组结构 HP MSA2000存储的LUN都是基于RAID组的,因此需要先分析底层RAID组的信息,然后根据分析的信息重构原始的RAID组。分析每一块数据盘,发现4号盘的数据同其它数据盘不太一样,初步认为可能是hot Spare盘。接着分析其他数据盘,分析Oracle数据库页在每个磁盘中分布的情况,并根据数据分布的情况得出RAID组的条带大小,磁盘顺序及数据走向等RAID组的重要信息。 3、分析RAID组掉线盘 根据上述分析的RAID信息,尝试通过北亚RAID虚拟程序将原始的RAID组虚拟出来。但由于整个RAID组中一共掉线两块盘,因此需要分析这两块硬盘掉线的顺序。仔细分析每一块硬盘中的数据,发现有一块硬盘在同一个条带上的数据和其他硬盘明显不一样,因此初步判断此硬盘可能是最先掉线的,通过北亚RAID校验程序对这个条带做校验,发现除掉刚才分析的那块硬盘得出的数据是最好的,因此可以明确最先掉线的硬盘了。 4、分析RAID组中的LUN信息 由于LUN是基于RAID组的,因此需要根据上述分析的信息将RAID组最新的状态虚拟出来。然后分析LUN在RAID组中的分配情况,以及LUN分配的数据块MAP。由于底层有6个LUN,因此只需要将每一个LUN的数据块分布MAP提取出来。然后针对这些信息编写相应的程序,对所有LUN的数据MAP做解析,然后根据数据MAP并导出所有LUN的数据。 【数据恢复过程】 1、解析修复LVM逻辑卷 分析生成出来的所有LUN,发现所有LUN中均包含HP-Unix的LVM逻辑卷信息。尝试解析每个LUN中的LVM信息,发现其中一共有三套LVM,其中45G的LVM中划分了一个LV,里面存放OA服务器端的数据,190G的LVM中划分了一个LV,里面存放临时备份数据。剩余4个LUN组成一个2.1T左右的LVM,也只划分了一个LV,里面存放Oracle数据库文件。编写解释LVM的程序,尝试将每套LVM中的LV卷都解释出来,但发现解释程序出错。 仔细分析程序报错的原因,安排开发工程师debug程序出错的位置,并同时安排高级文件系统工程师对恢复的LUN做检测,检测LVM信息是否会因存储瘫痪导致LMV逻辑卷的信息损坏。经过仔细检测,发现确实因为存储瘫痪导致LVM信息损坏。尝试人工对损坏的区域进行修复,并同步修改程序,重新解析LVM逻辑卷。 2、解析VXFS文件系统 搭建环境,将解释出来的LV卷映射到搭建好的环境中,并尝试Mount文件系统。结果Mount文件系统出错,尝试使用“fsck –F vxfs” 命令修复vxfs文件系统,但修复结果还是不能挂载,怀疑底层vxfs文件系统的部分元数据可能破坏,需要进行手工修复。 3、修复VXFS文件系统 仔细分析解析出来的LV,并根据VXFS文件系统的底层结构校验此文件系统是否完整。分析发现底层VXFS文件系统果然有问题,原来当时存储瘫痪的同时此文件在系统正在执行IO操作,因此导致部分文件系统元文件没有更新以及损坏。人工对这些损坏的元文件进行手工修复,保证VXFS文件系统能够正常解析。再次将修复好的LV卷挂载到HP-Unix小机上,尝试Mount文件系统,文件系统没有报错,成功挂载。 4、检测Oracle数据库文件并启动数据库 在HP-Unix机器上mount文件系统后,将所有用户数据均备份至指定磁盘空间。所有用户数据大小在1TB左右。 使用Oracle数据库文件检测工具“dbv”检测每个数据库文件是否完整,发现并没有错误。再使用北亚Oracle数据库检测工具,发现有部分数据库文件和日志文件校验不一致,安排北亚工程师对此类文件进行修复
当windows服务器遭到入侵时,在运行过程中经常需要检索和深入分析相应的安全日志。除安全防护设备外,系统软件内置系统日志是调查取证的关键材料,但此类系统日志数量非常庞大,须要对windows安全日志开展合理深入分析,以获取我们需要的有用信息,这一点尤为重要。本文详细介绍了windows的系统日志种类,存储具体位置,检索方式,以及使用工具的方便检索。
不久前发了篇文章,关于什么是DDoS 攻击的文章,后来看到有人要求说讲讲CC 攻击,于是便有了这篇文章
程序员一生与bug奋战,可谓是杀敌无数,见怪不怪了! 在知识社交平台中,一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读,可见程序员们对这个话题的敏感度有多高。 1、麻省理工“只能
程序员一生与bug奋战,可谓是杀敌无数,见怪不怪l了!在某知识社交平台中,一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读,可见程序员对这个话题的敏感度有多高。
在传统的 Java Web 项目中, 使用数据库进行存储数据,弊端主要来自于性能方面。由于数据库持久化数据主要是面向磁盘,而磁盘的读/写比较慢.
数据库的分布式存储分为前端的分布式和后端服务的分布式数据存储。Javaweb的开发领域中使用后端的数据分布式和集群数据微服务处理模式。数据用户的请求在前端会承接一部分,数据的请求方式分为前端的限流操作。用户在客户端的请求事件就是数据请求流,数据存储在数组中是字节。数据通过传输协议控制数据请求的传输方式,后端服务和前端服务解耦分离。很多的数据在前端轻量级的数据库中进行动态存储,数据库mongodb轻量级。轻量级和重量级的区别方式是存储数据的数据量大小。
昨天,关于西安一码通崩溃事件:完美诠释了什么叫“死锁”!的段子火了。笑话看完了,今天一起学习下干货吧! 早上,我们收到了一位读者的分享,是一篇来自业主群的BUG分析。 是的,你没看错!就是来自业主群! 这是什么神仙小区?不仅让DD想招呼HR去小区门口蹲点挖人,是不是招聘效率会提高很多呢? 下面是正文内容,大家一起来看看他们的干货吧! 冬日的古城长安,防疫的形势严峻,两千精英共驰援,八方援军助检测。 为了有效控制疫情,西安市已启动了多轮次的全员核酸检测工作。12月20日在广泛要求48小时有效核酸及连续多日核
程序员一生与bug奋战,可谓是杀敌无数,见怪不怪了!在某知识社交平台中,一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读,可见程序员们对这个话题的敏感度有多高。本文,笔者特意精选了
DDoS 攻击,全称是 Distributed Denial of Service,翻译成中文就是分布式拒绝服务。
2014年互联网安全状况总结 2014年2月27日,中央成立了网络安全和信息化领导小组,习总书记任组长,并发表重要讲话,强调“没有网络安全,就没有国家安全;没有信息化,就没有现代化。”显示出最高层保障网络安全、维护国家利益、推送信息化发展的决心。网络安全和信息化建设已经上升为国家重大战略。同时,习主席第一次系统、完整地提出了中国的互联网治理观。通过一系列举措加快国内网络空间法治化进程,并且通过巴西会议、首届世界互联网大会、中美互联网对话等面向全球发出声音。 2014年,也是中国互联网历史上有特别意义的一年。
在过去的工作中,我曾经面对过5w每秒的高并发秒杀功能,在这个过程中,整个Web系统遇到了很多的问题和挑战。如果Web系统不做针对性的优化,会轻而易举地陷入到异常状态。我们现在一起来讨论下,优化的思路和方法啊。
作为后端的程序开发人员,经常听到高并发,但是高并发到底有多高?其实是没有数值定义的
几点说明 1、本系列Spring Cloud的博客参考了方志朋所著《深入理解Spring Cloud与微服务构建》; 2、大家如果想更加深入的理解Spring Cloud 建议多实战、多看书;
在HP存储RAID5硬盘离线LVM下VXFS文件系统是如何进行恢复的呢?HP存储也是在企业中常用的存储设备了,本次分享的故障设备为:HP FC MSA2000存储,由于RAID5阵列中出现2块硬盘损坏并离线,而此时只有一块热备盘成功激活,因此导致RAID5阵列瘫痪,上层LUN无法正常使用,整个存储空间由8块450GB SAS的硬盘组成,其中7块硬盘组成一个RAID5的阵列,剩余1块做成热备盘使用。
负责谷歌DDoS防御的云安全可靠性工程师Damian Menscher最近披露,有攻击者正在利用 GitLab 托管服务器上的安全漏洞来构建僵尸网络,并发起规模惊人的分布式拒绝服务攻击(DDoS)。其中一些攻击的峰值流量,甚至超过了1 Tbps 。
网站最头痛的就是被攻击,常见的服务器攻击方式主要有这几种:端口渗透、端口渗透、密码破解、DDOS攻击。其中,DDOS是目前最强大,也是最难防御的攻击方式之一。
UUID(Universally Unique Identifier)是国际标准化组织(ISO)提出的一个概念。UUID是一个128比特的数值,这个数值可以通过一定的算法计算出来。为了提高效率,常用的UUID可缩短至16位比特。
西安一码通其它业务我们暂且不分析,那并不是重点,因为没有完全崩溃,崩溃的仅有扫码显示功能。
今日(8月23日)宝塔面板官方紧急更新了一处安全问题。 宝塔Linux面板是提升运维效率的服务器管理软件,支持一键LAMP/LNMP/集群/监控/网站/FTP/数据库/JAVA等100多项服务器管理功能。有30个人的专业团队研发及维护,经过200多个版本的迭代,功能全,少出错且足够安全,已获得全球百万用户认可安装。运维要高效,装宝塔。 宝塔Win
Redis 经常用于系统中的缓存,可以极大地提高了系统性能和效率,但同时也带来一些问题。一个是数据一致性问题。从严格意义上讲,只要使用缓存,就会出现一致性问题,这是无法解决的。另一个问题是本文将讨论的缓存穿透,缓存击穿和缓存雪崩,这三个问题不仅限于 Redis,其他缓存工具同样需要面对这三个问题。接下来我详细讲解这三个问题以及对应的解决方案。
本文收录在我开源的《Java学习面试指南》中,目前已经更新有近200道面试官常考的面试题,涵盖了Java系列、Redis系列、MySQL系列、多线程系列、Kafka系列、JVM系列、ZooKeeper系列等等。GitHub地址:https://github.com/hdgaadd/JavaGetOffer,相信你看了一定会有所收获。
对于市面上的很多网站来说,除了能给它开发出来之外,后期的运营维护也是非常重要的,有不少人都不知道做好一个网站之后后期应该怎样维护,那么网站运营维护中需要用到什么服务器,除此之外要想做好网站的运营维护工作,还需要注意哪些呢?
5 月 28 日消息,携程官网和客户端出现故障,目前全部搜索功能都无法使用,搜索框中出现一段代码,而携程官网显示,“携程网站目前遇到问题,深表歉意,正在紧急修复中…”此外,携程的二级页面均无法打开
绝大部分 DoS 攻击,一般来说都是目标系统收到大量服务请求,最终导致拒绝服务状态。实际上,随着技术的发展,如果要让现在的系统“拒绝服务”,是需要海量请求配合的——也就是所谓的泛洪攻击才能做到的,这就需要用到分布式拒绝服务,也就是 DDoS 攻击了。但在前不久结束的 DEF CON 大会上,安全研究人员在 Windows SMB 服务中发现一个漏洞,利用该漏洞,即便是一台普通性能的计算机,也能对拥有海量运算资源的服务器发动 DoS 攻击。 近日,RiskSense的安全研究人员找到了一个20年之久的Wind
随着互联网的发展,越来越多的企业开始使用VPS服务器来托管其网站。然而,一些企业经常会遇到网站速度慢、响应时间长等问题,这不仅会影响用户的体验,还会导致客户流失。因此,优化VPS服务器的性能,提升网站访问速度变得尤为重要。本文将介绍如何通过一系列优化措施来提高VPS服务器的性能,从而实现网站的快速访问。
GCI:CGI 是Web 服务器运行时外部程序的规范,按CGI 编写的程序可以扩展服务器功能。CGI 应用程序能与浏览器进行交互,还可通过数据库API 与数据库服务器等外部数据源进行通信,从数据库服务器中获取数据。格式化为HTML文档后,发送给浏览器,也可以将从浏览器获得的数据放到数据库中。几乎所有服务器都支持CGI,可用任何语言编写CGI,包括流行的C、C ++、VB 和Delphi 等。CGI 分为标准CGI 和间接CGI两种。标准CGI 使用命令行参数或环境变量表示服务器的详细请求,服务器与浏览器通信采用标准输入输出方式。间接CGI 又称缓冲CGI,在CGI 程序和CGI 接口之间插入一个缓冲程序,缓冲程序与CGI 接口间用标准输入输出进行通信。
早前,我们发表过一篇《PostgreSQL 与 Navicat :数据库的中坚力量》 ,从产品的发展介绍了两者的渊源与共性,获得了许多童鞋的认可。而随着PostgreSQL 在国内热度愈发高涨,应用也愈发广泛。近期,我们收到许多用户的问询,涉及一些使用时的技术问题,例如:PostgreSQL 查询延时的优化方法等。今天,小编就带大家解析如何通过 Navicat 工具便捷地跟踪、设置查询超时语句时长和设置权限来确保你的 PostgreSQL 数据库实例保持良好状况和可用性,并保障数据库系统的性能稳定。
如果您接收的订阅出现此错误消息,可能是由以下几种原因导致的:缺失凭据:某些视图在发布时具有嵌入的凭据。如果嵌入式凭据现已过时或视图在重新发布时未包含嵌入式凭据,则您可能会收到以上错误消息。
如今的云计算正飘在互联网天空备受追捧,有阿里、亚马逊这样财大气粗的服务商,也有开始对云计算概念觉悟的服务使用者,特别是对财力、物力有限的中小企业而言,把IT系统诉诸云计算无疑是个不错的选择,尽管服务商“广告做得好”,但中小企业最看重的还是价格因素。 节约是创业刚需 一组来自阿里云的数据显示,在阿里云平台进行创业的团体中,绝对主力是“80后”,尤其是在游戏、移动等与云计算结合紧密的领域。近来,刚刚迈入社会的“90后”也开始迅速崛起,“超级课程表”创始人CEO余佳文就是其中代表。 “在服务器瘫痪、投资人撤销投资
客户是地产行业客户,云服务器主要部署OA和sql server数据库,由于内部IT薄弱,没有做好安全防护,导致服务器被病毒入侵。
做性能测试过程中遇到了一些问题,现总结下来,希望能给大家带来一些参考,写的不好请多包涵和指教。因为是公司的项目,为避免信息泄漏,所以把相关信息涂掉了。 问题一: 做接口性能测试时,单用户时响应时间是5
高并发(High Concurrency)是系统运行过程中遇到的一种“短时间内大量操作请求”的情况,主要发生在web系统中通过大量访问收到大量请求时(例如12306的抢票情况;双十一活动)。这种情况的发生会导致系统在此期间执行大量的操作,比如请求资源、数据库操作等。
我们前一阵子参加了在旧金山举办的Dato数据科学峰会。来自业界和学界的千余名数据科学研究人员在大会上对数据科学、机器学习和预测应用方面的最新发展进行了交流和探讨。 以下是大会中讨论的数据科学家在未来可能使用的八个Python工具。 SFrame和SGraph 峰会上的一个重磅消息是Dato将在BSD协议下开源SFrame和SGraph。SFrame(Scaleable Data Frame)是一个为大数据处理优化内存和性能的数据框(DataFrame)结构。SGraph是一个类似的概念,但代表的不是数据框而
2022年6月6-9日,RSA Conference 2022将在美国旧金山召开。作为全球网络安全行业一年一度的盛宴,RSAC大会被誉为安全界的“奥林匹克”,是网络安全的重要风向标之一。
近日,恶意软件开发人员在测试窃取程序的一个变种时感染了自己的系统,此举直接触发了数据流向命令和控制 (C2) 服务器,并进一步流向网络犯罪论坛。据悉,该程序名为Raccoon,是一种信息窃取程序,其可以从数十个应用程序中收集数据。该人员的受感染系统是通过Cavalier 平台发现的,该平台是一个监控受感染机器的网络犯罪情报数据库。从自我感染系统收集的数据表明,该人员测试了恶意软件从谷歌浏览器中提取密码的能力,不过,这是任何信息窃取软件的基本属性,这些不足以确定开发者的身份。值得一提的是,研究人员从提取的信息中还发现了Benjamin Engel ,该名黑客来自柏林,也是 2014 年德国黑客电影《我是谁》的主角。
今天在聊聊Web一些常见的安全防范措施,比如sql注入,可能很多人会很奇怪为什么最近都是一些Web安全防护之类的文章,因为我之前未涉及到这些问题,基本都是系统或者程序框架已经完善了这些内容,只是最近接触的项目很多都涉及安全防护领域,所以遇到了这些问题就简单记录下,不一定什么时候就用到了,免费到时候慌慌张张,无从下手。
最近阅读了《Redis开发与运维》,非常不错。这里对书中的知识整理一下,方便自己回顾一下Redis的整个体系,来对相关知识点查漏补缺。
电网调度综合自动化系统SCADA功能为调度员、集控员提供了各个变电站的实时数据及信息,并可以使他们方便地进行事故重演或历史数据和信息查询。在系统设计时,需要考虑更多的是网络结构、通讯规约转换、数据存储方式介质和满足SCADA功能的几项性能指标要求,而没有考虑系统全网时钟不同步会造成什么影响。由于系统全网时钟不同步会造成一些较为特殊的故障,如数据和信息丢失、SOE事件信息逻辑混乱、某些工作站死机甚至系统瘫痪,因而为了消除时钟不同步的影响,我们有必要分析时钟同步在系统中的作用及各种实现方式。
主流的服务器攻击方式有多种手段,但是唯独DDoS攻击、CC攻击以及ARP欺骗,这些攻击方式被称为三大攻击手段,不仅可以致使服务器瘫痪,而且还很无解。
领取专属 10元无门槛券
手把手带您无忧上云