腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

323

文章

452015

阅读量

124

订阅数

分布式系统场景注入测试

前言大数据浪潮下，海量数据处理能力的提升是推动大数据不断前行的基础，海量数据处理的分布式系统应运而生，hdfs、hadoop、spark、storm、MQ等等。分布式系统运行的核心是集群化部署，分散化管理，任务均摊，平衡化运行。节点异常、机器异常、运营操作、策略变更都会打破原有的平衡状态进入一种不平衡状态，平台通过状态管理和协议交互逐步演进到另一种平衡状态，同时要保证这种演进过程中系统计算正确性。打破原有的平衡状态的场景非常多，复杂的平衡演进过程中又有很多的场景可能出现，这种交织的变化对分布式系统测试，

腾讯大数据

2018-01-26

1.1K0

腾讯大数据之TDW计算引擎解析——Shuffle

腾讯分布式数据仓库（Tencent distributed Data Warehouse, 简称TDW）基于开源软件Hadoop和Hive进行构建，并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造，目前单集群最大规模达到5600台，每日作业数达到100多万，已经成为公司最大的离线数据处理平台。为了满足用户更加多样的计算需求，TDW也在向实时化方向发展，为用户提供更加高效、稳定、丰富的服务。 TDW计算引擎包括两部分：一个是偏离线的MapReduce，一个是偏实时的Spark，两者内部都包含了一个

腾讯大数据

2018-01-26

2.8K0

腾讯大数据平台质量保障之道

引言：大数据时代，业界各巨头都在投入重兵打造自己的大数据平台，分析挖掘蕴藏在数据金矿中的价值。在腾讯，数平承建了公司级大数据平台，我们的测试团队也有幸一起搭上了大数据的航母。这是一种机遇，更是一种挑战。因为大数据平台的技术复杂度、机器规模、容量、发展速度等都远非传统的后台系统可比，以前积累的测试方法和建设的工具平台很多并不适用于大数据测试，业界也没有很成熟的方法可以借鉴。这就需要我们在测试思路和方法上主动探索、大胆创新，过程中难免有弯路和挫折，但我们的成长和收获更多。本文旨在介绍测试团队

腾讯大数据

2018-01-26

1.2K0

数据运营实战（四）：似是而非的数据悖论

本文讲述了一些在数据运营中可能会遇到的“似是而非”的数据悖论，以及如何处理这些问题的方法。首先介绍了辛普森悖论，然后通过一个实际案例，说明了如何在数据运营中避免和解决类似的问题。在实际工作中，我们需要根据具体情况来选择最合适的分析方法，并且不断调整优化，以提高数据运营的效果。

腾讯大数据

2017-11-09

1.1K0

数据报告 : 原来中国最难脱单的省份是……

腾讯大数据

2017-08-21

1.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态