腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
腾讯大数据的专栏
专栏作者
举报
323
文章
444930
阅读量
124
订阅数
订阅专栏
申请加入专栏
全部文章
大数据
机器学习
数据库
编程算法
spark
深度学习
sql
神经网络
开源
angel
腾讯
数据处理
人工智能
分布式
hadoop
jdk
https
数据分析
apache
网络安全
存储
微信
数据
游戏
运维
java
云数据库 SQL Server
腾讯云开发者社区
联邦学习
数据结构
云直播
hive
隐私计算
数据湖
postgresql
api
腾讯移动推送
容器
安全
优化
其他
ios
node.js
linux
容器镜像服务
短视频
TDSQL MySQL 版
kubernetes
小程序
系统架构
腾讯移动分析
数据安全
jvm
推荐系统
云计算
flink
数据挖掘
android
打包
github
文件存储
文字识别
mongodb
网站
企业
serverless
缓存
数据可视化
微服务
数据集成
基础
架构
开发者
视频
NLP 服务
自动驾驶
python
ide
git
微信小程序音视频
数据迁移
html5
pytorch
模式识别
任务调度
特征工程
性能测试
Elasticsearch Service
智能客服机器人
大数据存储
腾讯云
软件
实践
系统
费用中心
私有网络
对象存储
语音识别
人脸识别
创业扶持
iphone
php
javascript
jquery
单片机
oracle
云数据库 Redis
mvc
svn
spring
mapreduce
容器服务
消息队列 CMQ 版
SSL 证书
知识图谱
腾讯计费
腾讯云测试服务
图像处理
高性能计算
日志数据
电商
金融
o2o
出行
http
yarn
云+未来
devops
压力测试
无人驾驶
图像识别
强化学习
sql server
jdbc
决策树
zookeeper
自动化测试
tcp/ip
gcc
迁移学习
机器人
架构设计
图片加速
kafka
虚拟化
安全治理
sdk
迁移
raft
腾讯广告算法大赛
数据接入平台
数据库管理
流计算 Oceanus
移动推送
可信计算
教育
app
bi
im
wifi
报表
编译器
产品
行业
互联网
集群
开发
论文
模型
内存
搜索
统计
网络
研发
智慧城市
搜索文章
搜索
搜索
关闭
Hadoop Raid-实战经验总结
hadoop
大数据
spark
系统架构
分布式文件系统用于解决海量数据存储的问题,腾讯大数据采用HDFS(Hadoop分布式文件系统)作为数据存储的基础设施,并在其上构建如Hive、HBase、Spark等计算服务。 HDFS块存储采用三副本策略来保证数据可靠性,随着数据量的不断增长,三副本策略为可靠性牺牲的存储空间也越来越大。如何在不降低数据可靠性的基础上,进一步降低存储空间成本,成为腾讯大数据迫切需要解决的问题。 我们对facebook版本的hadoop raid分析发现,还有很多细节需要优化改进,本文就hadoop raid存在的问题进行探
腾讯大数据
2018-01-29
2K
0
Storm上的实时统计利器-easycount
大数据
系统架构
背景 Storm是TRC(腾讯实时计算)平台的核心组件。与Hadoop不同,storm之上没有像hive,pig之类的解放应用开发人员效率的工具。开发原生的storm应用必须掌握storm的api,开发门槛高,调试困难,效率低下。 EasyCount(SQL on strom)是构建在storm之上的一套实时计算系统。应用开发人员只需通过配置定制化的脚本来完成业务逻辑的描述,能够快速实现各种实时统计需求,降低使用门槛,提升开发效率。 系统设计与实现 上图是EC系统的架构图。用于描述用户业务逻辑的SQL
腾讯大数据
2018-01-26
1.1K
0
精准推荐平台现网引流测试初探
系统架构
机器学习
大数据
前言 大数据时代,海量流量和数据是变现的源泉。腾讯拥有最多样的用户数据,社交、聊天、游戏、听音乐、看电影、逛电商,等等,有巨大的挖掘空间,个性化精准推荐无疑是一把开矿的钥匙。TEG-数据平台部基于“数据+算法+系统”的设计理念,海量数据实时采集、流式计算、实时建模、实时推荐,构建海量、实时、精准的个性化精准推荐平台。建设这套能承载300亿次/天的推荐请求,300000次/天多维交叉计算的分布式实时计算平台是一项浩大工程,保障这套平台质量也是非常大的挑战。 本文将重点介绍现网引流测试方法在TEG-数据平台部
腾讯大数据
2018-01-26
1.8K
0
HBase在腾讯大数据的应用实践
数据库
云数据库 SQL Server
hadoop
系统架构
前言随着腾讯产品与技术的发展,几乎任何一个与用户相关的在线业务的数据量都在亿级别,每日系统调用次数从亿到百亿,对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的逻辑与物理形式相对独立等,比较适用于中小规模的数据,但对于数据的规模和并发读写方面进行大规模扩展时,RDBMS性能会大大降低,分布式更为困难。 为什么会选择HBase? 高可靠性。HBase是运行在Hadoop上的NoSQL数据库,它的数据由HDFS做了数据冗余,具有高可靠性。同时TDW(腾讯分布式数据仓
腾讯大数据
2018-01-26
1.4K
0
分布式高可靠消息中间件-Hippo
分布式
大数据
系统架构
前言 随着大数据产品的日渐丰富以及数据应用场景需求的增加,TDBank作为腾讯大数据平台的数据接入环节的位置也越发显得重要(见下图)。截止目前为止TDBank日均接入数据已经超过2W亿条每天(约600TB/天),并且数据量还在持续不断上升。Tube 作为整个数据接入体系的存储层发挥着重要作用。Tube作为一个面向高吞吐高性能的分布式消息中间件,其性能及稳定性在万亿级数据体量下经受住了考验。 但对于一些高价值、高敏感度的数据时,我们亟需一个高可靠高可用的消息中间件。(Tube在极端场景下,比如物理宕机无法恢
腾讯大数据
2018-01-26
2K
1
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档