腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

技巅

专栏作者

36

文章

40550

阅读量

30

订阅数

系统架构和代码实现的高可控性

系统架构大数据

在软件系统架构和实现领域，大家都比较注重高可靠性、高性能、高并发。今天我想从另外一个维度说说软件系统架构与实现，那就是高可控性。为什么高可控性如此重要？因为一旦一个系统失去控制，就没有人能够评估出会产生什么样的结果。例如一个海量数据传输系统，如果不能对流量进行很好的控制，那么当大数据量来时可能把某台集群网络打满，也可能把一个交换机的网络io打满，也有可能把整个机房网络打满，导致整个机房瘫痪。今天我就从系统架构和代码两个层面说说怎样做到高可控性。第一，作为一个合格的系统架构师在做架构设

2018-05-25

9280

腾讯云大数据产品研发实战（由IT大咖说整理）

一、TDF（数据工坊）简介 TDF简介源于腾讯云数智大数据套件的轻量云上大数据产品，提供基于SQL的大数据计算框架。适用于需要动态灵活获取大数据计算能力进行批量计算、日志处理或数据仓库

2018-05-25

2.3K0

“我“该学习什么技术

分布式大数据 java 编程算法

谈谈我该学什么技术，以前和最近都遇到一个问题:对于工作了几年，工作内容本身没有什么技术挑战，自己又很想深入的研究技术，但是不知道该学什么了？面对这个问题确实不好确定，因为在计算机这个大行业，特别是技术，更新换代太快了。新技术还没有学会，就已经过时了，很多新技术又出来了。编程语言也是很多，想要学深一门就特别困难，刚把基础语言和API学会，新的框架又出来了，如果你不学习新框架，在实际工作中效率又会比别人低。做了几年编程工作，想做架构，那么做架构又该学什么呢？什么分布式存储，分布式算法，w

2018-05-25

5110

毕业工作五年的总结和感悟（中）

hadoop linux hive 大数据日志数据

今天终于又能抽出一点时间来写文章了，接着前一篇继续写。前一篇文章有博友就评论说写了很多废话，其实本身就是一些工作中的点点滴滴，自己想到什么就写什么，没有太多的构思文章的内容和结构，就算自己回顾自己工作的这五年吧。上篇博客提到自己主要支持各个团队使用scribe归集日志，这也包括归集日志到hadoop系统里面。所以这时的自己开始接触hadoop生态系统了，刚开始也是从网上找各种安装使用教程，遇到各种问题也基本上都是通过google解决。通过安装和使用hadoop，对hadoop大部

2018-05-25

6860

大数据实战技术之开篇-学习实践环境搭建

大数据数据库数据处理

大家都知道现在的大数据如火如荼，如果你还在由于是否进入大数据的行业，那么你就out了。现在大数据进入到了各行各业，各种大数据创业公司也是层出不穷，对于大数据的技术人才需求很是旺盛。不过学习大数据技术其实还是有一定门槛的，首先必须有良好的计算机和编程基础，然后还有数据库或者数据仓库相关的技术，不一定需要很深入，但是需要理解。既然号称大数据，那么“大”就是最大的特征，随着社会的发展和各行各业都开始注重数据带来的价值，大数据只会越来越大，但是同时又要求我们处理的时间越来越短。所以只有通过技术优

2018-05-25

5080

传统企业打造互联网技术团队

企业开源云计算数据分析大数据

最近传统企业向互联网转型的话题越来越热，对于处于不同行业的人对这个肯定有不同的看法。我作为一个一直在互联网从事技术研发工作的人也简单来谈谈自己的感受。最近也和一些传统企业的相关人员做了交流，首先肯定主要是在技术层面上。其实现在很多传统企业进行转型主要有两个方面，一个是电子商务，另一个就是云计算。做云计算的目的是为了改善现有的IT基础设施，能够更加适合企业在各个业务上的增长。当然就目前的情况来看，还没有哪一家传统企业真正的算转型成功了，很多企业苦不堪言，甚至很多已经失败，然后吸取经

2018-05-25

4440

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态