首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

2017年度盘点丨基础架构演化:从“以资源为中心”到“以应用为中心”的迁移

作者:刘建,搜狗架构师,商业平台基础平台负责人,十多年Java相关研发经验,在互联网软件体系结构、分布式计算、面向服务体系结构、用户身份安全等方面有浓厚的兴趣及实践经验。 责编:钱曙光(qianshg@csdn.net) 声明: CSDN专家原创投稿文章,未经授权禁止任何形式的转载。 谈到基础架构,不同的人有不同的理解。一般说来,我们将支撑应用研发部署的底层软硬件的集合叫做基础架构。它不仅涉及到IDC、机房、机架、网络、主机、存储等硬件资源,也涉及到操作系统、系统软件、日志管理、应用管理监控等基础软件资

09

2017年度盘点丨基础架构演化:从“以资源为中心”到“以应用为中心”的迁移...

谈到基础架构,不同的人有不同的理解。一般说来,我们将支撑应用研发部署的底层软硬件的集合叫做基础架构。它不仅涉及到IDC、机房、机架、网络、主机、存储等硬件资源,也涉及到操作系统、系统软件、日志管理、应用管理监控等基础软件资源。基础架构支持了分布式服务、大数据、云计算、机器学习等基础领域,也成为IT类企业提升生产力、降低成本的核心。近些年来,随着虚拟化、容器化等新技术的不断涌现和发展,随着应用开发模式从单体应用、MVC、SOA到微服务化,基础架构领域发生了翻天覆地的变化,其对应用的灵活性和透明性不断提升,也显著提升了研发效率,降低了研发成本。

02

千万级规模高性能、高并发的网络架构经验分享

在开始谈我对架构本质的理解之前,先谈谈对今天技术沙龙主题的个人见解,千万级规模的网站感觉数量级是非常大的,对这个数量级我们战略上 要重 视 它 , 战术上又 要 藐 视 它。先举个例子感受一下千万级到底是什么数量级?现在很流行的优步(Uber),从媒体公布的信息看,它每天接单量平均在百万左右, 假如每天有10个小时的服务时间,平均QPS只有30左右。对于一个后台服务器,单机的平均QPS可以到达800-1000,单独看写的业务量很简单 。为什么我们又不能说轻视它?第一,我们看它的数据存储,每天一百万的话,一年数据量的规模是多少?其次,刚才说的订单量,每一个订单要推送给附近的司机、司机要并 发抢单,后面业务场景的访问量往往是前者的上百倍,轻松就超过上亿级别了。

00

四大特性揭示IDC数据中心存储需求—恒梦数据

目前,Internet上的数据量爆炸性增长,数据总量呈指数上升,IDC数据中心存储系统必须具有足够的容量以适应不断增长的数据量。 IDC数据中心存储需求之1.大容量 目前,Internet上的数据量爆炸性增长,数据总量呈指数上升,IDC数据中心存储系统必须具有足够的容量以适应不断增长的数据量。存储系统不光要有大量的现实容量,还应该具有很好的可扩展性,能根据数据量的增长提供无缝的、不停机的容量扩充。 IDC数据中心存储需求之2.高性能 信息是具有时效性的,对于企业而言,及时获得所需数据非常关键;对于ICP而言,较高的访问速度是服务质量的重要指标。对于宽带应用,存储系统的带宽要与网络带宽相适应。因此,存储系统的响应速度和吞吐率是IDC数据中心存储系统应该密切关注的问题。从历史上看,计算机速度的瓶颈已逐渐从20世纪80年代的CPU和90年代的网络带宽转移到I/O子系统。因此,要提高IDC数据中心存储系统的整体性能,存储系统的性能提高是一个关键问题。 IDC数据中心存储需求之3.高可用性 IDC数据中心存储系统存储了企业大量的关键数据,因此,必须保证这些数据始终是安全可用的。在任何情况下,例如系统产生错误或遇到意外灾难,数据都不能丢失。系统应具有快速故障恢复能力,保证应用系统永不停机(7×24小时不间断工作),数据始终保持完整性和一致性。 IDC数据中心存储需求之4.可管理性 IDC数据中心存储系统保存着大量的业务数据。对这些数据的管理不光体现在应用层的管理,还体现在存储系统的管理。这主要表现在集中的自动化管理,如数据按特定规则的备份、对系统性能和流量等特性的监测、存储设备的负载平衡等。 以上IDC数据中心存储系统特点需要用相应的技术进行保障。某些技术能在几个方面对存储系统做出贡献,特别是存储系统的管理渗透到整个系统的各个方面,我们很难把它从系统中单独分离出来。但作为讨论方便,我们仍从系统要求出发分别对上述特点进行讨论。 针对存储容量问题,现在最成熟的还是基于磁盘、光盘和磁带的存储技术。这些技术在很长时间内仍将占有主流地位。现在磁盘、磁带的存储容量每年增长1倍,基本上能适应数据的增长。在IDC数据中心存储系统,存储任务是由以上述技术为基础构成的存储系统来完成的,主要有磁盘阵列、磁带库和光盘库。新出现的SAN(存储区域网)、NAS(附网存储)和集群存储等新的网络存储结构为存储系统容量和性能的扩展提供了有力的支持。另外,数据共享技术在一定的条件下可以缓解容量问题。 对于高性能方面,在单个磁盘读写性能提升空间有限的前提下,并行I/O技术和Cache技术成为主角。并行I/O技术目前在国际上正被广泛研究,像磁盘阵列技术、多通道技术等已得到广泛应用。目前研究的重点是大规模并行I/O和多级存储技术,它们主要是从存储系统的整体结构入手,利用SAN和集群等技术进一步提高存储系统的整体性能。对于Cache技术,针对不同的应用(如数据库中事务处理方式、WWW方式等)采用合适的数据预取策略正被广泛应用。此外,采用光纤通道技术作为新一代存储接口已成为趋势,促进了存储系统性能的提高。 对于数据可用性问题可从多个层面进行讨论。磁盘阵列是一种最基本的高可用存储技术。在IDC数据中心存储系统,应选择双电源、双控制器、没有单点故障的磁盘阵列。对于系统层面,集群、SAN等技术也可以大大促进系统可用性的提高。另外,Standby技术、系统整体冗余、远程实时备份和灾难恢复等技术也是高可用性存储所不可缺少的技术。 我们看到,冗余磁盘阵列、存储区域网和集群技术对存储系统的各个方面都有较好的贡献,将这几种技术紧密联系在一起就构成了满足IDC数据中心存储系统要求的存储系统。对于IDC数据中心存储系统而言,这几种技术必然会得到进一步的重视。 存储管理贯穿于存储系统的各个方面。数据共享、无缝扩展、实时备份、容错技术、系统监控、流量控制、远程数据备份、灾难恢复等无一不需要相应的软件进行保障。对于IDC数据中心存储系统,高效、稳定、安全的存储软件是必不可少的,而这一点过去往往被人们忽视。现在,人们已开始认识到存储管理的重要性。著名IT企业,如IBM、Compaq、HP等,均推出了自己的存储管理软件,专业的存储软件公司,如VERTIAS公司,在存储软件方面更有全线的存储管理软件可供选择。 IDC数据中心存储系统作为一个整体,需要大量相互融合的技术进行保障。一方面要发展更好的技术,另一方面要把各种技术结合成为一个整体,提供稳定、安全、高效的整体解决方案。

01
领券