首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

年均节省千万元的大数据成本管控体系,是如何构建的?| ArchSummit

企业降本增效是越来越热门的话题,除去较为粗暴的“毕业”之外,企业还可以在许多地方下功夫,例如降低大数据成本、营销成本、运营成本等等。在 ArchSummit 全球架构师峰会深圳站上,我们邀请了货拉拉大数据架构负责人王海华,他为我们分享了《货拉拉基于混合云的大数据成本管控体系建设实践》,本文为其演讲整理,期待你可以有所收获。 大家好,我是王海华,货拉拉基础架构负责人,我将从以下几方面展开分享。首先是背景与挑战;其次是大数据成本管理体系;接着是存储成本优化和计算成本优化技术细节;最后是总结与展望。 背景与挑

02

腾讯云域名特惠包 现已重磅上线!限时限量开售中~!

腾讯云域名特惠包 腾讯云域名特惠包是腾讯云最新推出的优惠活动类产品,特惠包内含有多个种类的域名资源,以低于普通售价的优惠价格,限时、限量进行购买。 腾讯云域名特惠包内含有多个域名组合,以优惠价方式限量出售。如您有长期、批量注册域名的需求,可提前购买域名特惠包,并在后续注册域名时,选择对应的域名特惠包进行抵扣即可。 (注:域名特惠包仅支持普通域名注册,不包含白金域名、溢价词、保留词等特殊域名。)  腾讯云全新优惠型产品,内含多个业务资源! 组合批量购买,获得更加劲爆、优惠的价格! 一次购买, 1年有

03

存储知识:数据一致性、分级存储、分层存储与信息生命周期管理

一、概述 数据一致性是指关联数据之间的逻辑关系是否正确和完整。问题可以理解为应用程序自己认为的数据状态与最终写入到磁盘中的数据状态是否一致。比如一个事务操作,实际发出了五个写操作,当系统把前面三个写操作的数据成功写入磁盘以后,系统突然故障,导致后面两个写操作没有写入磁盘中。此时应用程序和磁盘对数据状态的理解就不一致。当系统恢复以后,数据库程序重新从磁盘中读出数据时,就会发现数据再逻辑上存在问题,数据不可用。 二、Cache引起的数据一致性问题 引起数据一致性问题的一个主要原因是位于数据I/O路径上的各种Cache或Buffer(包括数据库Cache、文件系统Cache、存储控制器 Cache、磁盘Cache等)。由于不同系统模块处理数据IO的速度是存在差异的,所以就需要添加Cache来缓存IO操作,适配不同模块的处理速度。这些Cache在提高系统处理性能的同时,也可能会“滞留”IO操作,带来一些负面影响。如果在系统发生故障时,仍有部分IO“滞留”在IO操作中,真正写到磁盘中的数据就会少于应用程序实际写出的数据,造成数据的不一致。当系统恢复时,直接从硬盘中读出的数据可能存在逻辑错误,导致应用无法启动。尽管一些数据库系统(如Oracle、DB2)可以根据redo日志重新生成数据,修复逻辑错误,但这个过程是非常耗时的,而且也不一定每次都能成功。对于一些功能相对较弱的数据库(如SQL Server),这个问题就更加严重了。 解决此类文件的方法有两个,关闭Cache或创建快照(Snapshot)。尽管关闭Cache会导致系统处理性能的下降,但在有些应用中,这却是唯一的选择。比如一些高等级的容灾方案中(RPO为0),都是利用同步镜像技术在生产中心和灾备中心之间实时同步复制数据。由于数据是实时复制的,所以就必须要关闭Cache。 快照的目的是为数据卷创建一个在特定时间点的状态视图,通过这个视图只可以看到数据卷在创建时刻的数据,在此时间点之后源数据卷的更新(有新的数据写入),不会反映在快照视图中。利用这个快照视图,就可以做数据的备份或复制。那么快照视图的数据一致性是如何保证的呢?这涉及到多个实体(存储控制器和安装在主机上的快照代理)和一系列的动作。典型的操作流程是:存储控制器要为某个数据卷创建快照时,通知快照代理;快照代理收到通知后,通知应用程序暂停IO操作(进入 backup模式),并flush数据库和文件系统中的Cache,之后给存储控制器返回消息,指示已可以创建快照;存储控制器收到快照代理返回的指示消息后,立即创建快照视图,并通知快照代理快照创建完毕;快照代理通知应用程序正常运行。由于应用程序暂停了IO操作,并且flush了主机中的 Cache,所以也就保证了数据的一致性。 创建快照是对应用性能是有一定的影响的(以Oracle数据库为例,进入Backup模式大约需要2分钟,退出Backup模式需要1分钟,再加上通信所需时间,一次快照需要约4分钟的时间),所以快照的创建不能太频繁。 三、时间不同步引起的数据一致性问题 引起数据不一致性的另外一个主要原因是对相关联的多个数据卷进行操作(如备份、复制)时,在时间上不同步。比如一个Oracle数据库的数据库文件、 Redo日志文件、归档日志文件分别存储在不同的卷上,如果在备份或复制的时候未考虑几个卷之间的关联,分别对一个个卷进行操作,那么备份或复制生成的卷就一定存在数据不一致问题。 此类问题的解决方法就是建立“卷组(Volume Group)”,把多个关联数据卷组成一个组,在创建快照时同时为组内多个卷建立快照,保证这些快照在时间上的同步。之后再利用卷的快照视图进行复制或备份等操作,由此产生的数据副本就严格保证了数据的一致性。 四、文件共享中的数据一致性问题 通常所采用的双机或集群方式实现同构和异构服务器、工作站与存储设备间的数据共享,主要应用在非线性编辑等需要多台主机同时对一个磁盘分区进行读写。

03

从程序员到百万高管的路有多远?《技术人修炼之道》电子书限时仅需9.9元!

做技术本身工具性非常强,然而除了掌握必须依赖的技术工具,技术人对其他维度的工具常常视而不见。事实是我们需要在技术架构、思维模式、管理技巧、商业意识等维度进行全方位修炼,才能突破瓶颈,实现能力升级,进而抓住机遇,走出一条职业成长的通天大道。 《技术人修炼之道:从程序员到百万高管的72项技能》是第一本全方位讲解IT技术人技能的著作,书中介绍了大量的模型、策略、方法,是可以“开箱即用”的,对于解决日常工作中的难题非常有帮助。 本周《技术人修炼之道》电子书,限时特惠,10个名额,仅需9.9元! ▼ (扫描下方二维

02

云点播 X CDN | 建站必备,一站式加速帮您全方位降本提速

当前,网站的展现形式越来越丰富,无论是个人建站还是企业建站,内容呈现效果相比过去都更为精致,同时使用到的资源(包括静态脚本、音视频、图片、附件等等)也大幅增加。随着网站访问量的持续走高,这些资源的反复加载会对源站产生很大压力。如果源站的带宽不足,当用户访问网站,就会出现网页加载慢、视频转圈圈等问题,严重影响用户体验,极易造成用户流失,损害业务增长。即使源站带宽充足,反复的资源加载也会浪费大量带宽,带来不小的带宽成本。如何高效加速资源已成为每个建站用户绕不开的问题。 网站视频播放卡顿 网站图片加载缓慢

02

AI落地之难:大多数机器学习模型没有投入生产|QCon

人工智能是一项伟大的技术,但这项伟大的技术,就像人类的大脑一样开发程度不足 5%,它只能被称为弱人工智能。 不过,哪怕只是弱人工智能,它已经让我们的生产生活发生了巨大的变化,如果把人工智能当成虚拟员工,这位员工已经深入到了企业的各个职能线中,从决策到产研,承担着重要的辅助角色,从而帮助企业降本增效来推动形成商业价值。 人工智能采用率的提高同样会对计算资源和基础设施提出新的要求。 第一个,数据问题。人工智能需要大量的数据用以训练模型,如果上层的数据体系没有建设好,人工智能还能做得好就是怪事了。 第二个,算力问

03
领券