腾讯大数据的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏成员

328

文章

479528

阅读量

125

订阅数

百亿级实时消息推送的实战之道，与王者荣耀一趟车就是这么稳！

移动推送腾讯移动推送 linux 数据库数据处理

这是一篇干货满满、如假包换的文章读完大约要10分钟要说现在市面上最火爆的手游，莫非拥有两亿注册用户的王者荣耀了。据悉，王者荣耀的渗透率高达22.3%，这意味着每7个中国人中就有一位是王者荣耀注册用户。众所周知，手游App对推送实时性和稳定性要求非常高，而王者荣耀这种日活跃千万级的应用对推送的要求就更高了，下面我们来看看王者荣耀背后的信鸽推送是怎么应对挑战，做到海量、实时和精准推送的。 2017年7月7日-8日，ArchSummit全球架构师峰会在深圳召开。ArchSummit全球架构师峰会是InfoQ

腾讯大数据

2023-03-03

6500

腾讯上万节点大规模集群的跨城自动迁移

迁移任务调度数据迁移数据处理

前言作者在腾讯一直从事数据相关领域的系统运营和运营平台的建设工作。目前主要负责 TDW 的系统运营，TDW 是腾讯内部最大的离线处理平台，也是国内最大的 HADOOP 集群之一。在运营这么大集群的时候，运营面临各种各样的难题，在解决这些难题的过程中，团队提炼出来的一个运营理念，用两句话去描述。用建模的思路去解决运营的难题运营的问题怎么解决？你必须用一些数据建模的办法，把这个难题解析清楚，然后我们再去考虑运营平台建设。运营平台支撑模型运作不是为了建设运营平台而建设，而是它必须有一定的运营理念。下文

腾讯大数据

2023-03-03

1.5K0

官宣 | 腾讯捐赠的 InLong 正式毕业成为 Apache 顶级项目！

apache 开源大数据数据集成数据处理

全球最大的开源软件基金会Apache软件基金会正式宣布，Apache InLong 正式毕业成为社区顶级项目，这也是 Apache 社区首个一站式大数据集成顶级项目！ Apache 基金会官博（点击“阅读原文”查看） InLong 中文名“应龙”是中国神话中引流入海的神兽，意寓 InLong 在大数据社区生态中的价值：大数据接入集成。这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架，可以为大数据开发者提供百万亿级数据流高性能处理能力，以及千亿级数据流高可靠服务。而这是继腾讯开源项目

腾讯大数据

2022-06-24

4330

Apache InLong重磅发布 0.10.0 版本，着力降低用户使用门槛

apache hive 大数据数据处理编程算法

导语：Apache InLong 以腾讯内部使用的TDBank为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong(孵化中) 刚刚发布了 0.10.0 版本，该版本是升级为 InLong（中文名：应龙）后的第二个版本，着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与，关闭超过 120 个issue，开发超过 8 个重要Feature。 Apache InLong简介

腾讯大数据

2021-09-18

6760

大数据江湖十年：腾讯底层技术的进化往事

开源大数据数据库数据处理 sql

生活不可能像你想象得那么好，但也不会像你想象得那么糟。人的脆弱和坚强都超乎自己的想象。有时，我们可能脆弱得一句话就泪流满面，有时，也发现自己咬着牙走了很长的路。本文转载自：鹅厂技术派人们常说，腾讯因为微信，拿到了进入移动互联网时代的一张站票，但是在互联网数据像火山一样爆发的前夕，大数据何尝不是腾讯能够屹立顶级科技公司的另外一张隐性门票。去年9月份，腾讯云对外宣布其大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过十万亿维度的数据训练

腾讯大数据

2021-01-12

9530

打造腾讯营销数据闭环，MTA联手腾讯广告平台

大数据数据处理

腾讯移动分析MTA作为业内领先的移动数据服务平台，以移动端数据为依托，以强大的数据分析能力与海量用户画像能力，致力于为开发者提供可靠、精细、有价值的数据服务。现在，MTA已正式与腾讯系优质广告资源打通，为开发者在数据分析后的下一阶段——精细化触达，提供了方便、快捷的精细化运营实践道路，完善了开发者数据运营的数据闭环。 MTA业务合作伙伴：腾讯社交广告：国内最顶级广告流量平台之一，秉持“赋能商业，始终于人”的理念，深耕社交平台广告特性，致力于为广告主提供优质、精准、高效的营销推广服务。智赢销：腾讯品牌

腾讯大数据

2018-01-29

2K0

四两拨千斤：借助Spark GraphX将QQ千亿关系链计算提速20倍

spark 大数据数据处理

腾讯QQ有着国内最大的关系链，而共同好友数，属于社交网络分析的基本指标之一，是其它复杂指标的基础。借助Spark GraphX，我们用寥寥100行核心代码，在高配置的TDW-Spark集群上，只花了2个半小时，便完成了原来需要2天的全量共同好友计算。这标志着QQ千亿级别的关系链计算进入了小时级别时代，并具备复杂图模型的快速计算能力。问题描述共同好友数可以用于刻画用户与用户间的关系紧密程度，包括陌生人／熟人分析，好友亲密度，好友推荐，社团划分等各个方面，是社交网络分析的最基础指标。其计算逻辑非常简单明了

腾讯大数据

2018-01-29

2.6K0

【揭秘】腾讯大数据 98.8 秒完成 100TB 数据排序的架构和算法

大数据数据库数据处理编程算法

上周，腾讯云大数据联合团队以98.8秒的成绩完成100TB数据排序，摘得2016 Sort Benchmark全球排序竞赛冠军。在这次竞赛中，腾讯云数智分布式计算平台分别夺得Sort Benchmark大赛GraySort和Minutesort的冠军，创造了四项世界纪录。（了解详情请点击《腾讯打破2016 Sort Benchmark 4项记录，98.8秒完成100TB数据排序》）此次参赛的腾讯云大数据联合团队，是由腾讯云存储产品中心、腾讯数据平台部组成，团队成员在大数据技术和应用管理上都有着非常丰富的实

腾讯大数据

2018-01-29

1.4K0

揭开大数据测试的神秘面纱

大数据数据处理

一、前言在大数据时代，数据挖掘，人工智能，机器学习这一系列高大上的技术应运而生，针对这一系列高大上的系统，测试同学如何参与其中，做好质量把控呢？与我们熟悉的测试套路又有何不同呢？欲知详情，请听笔者细细道来。二、背景知识介绍模式识别：是目的，就是通过计算机用数学技术方法来研究模式的自动处理和判读。机器学习：是一种方法，是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。数据挖掘：是一种方法，从大量数据中自动搜索隐藏于其中的有着特殊关系性的信息的过程。人工智能：是指由人工制造出来的系

腾讯大数据

2018-01-29

7830

想要“延长产品生命周期”？看这里~看这里~看这里！

对于产品汪和市场喵们，在平时的产品决策和推广中，难免经常听到“产品生命周期“这么个理论。今天我们就来普及一下，作为一款移动互联网的产品，如何定位自己的所处周期，如何判断产品发布效果、市场推广效果，同时洞察互联网行业的发展趋势，来延长产品生命周期，获得更大的价值和效益。 1首先普及概念： ‍ ”产品生命周期(product life cycle)，简称PLC，是产品的市场寿命，即一种新产品从开始进入市场到被市场淘汰的整个过程。产品和人的生命一样，要经历形成、成长、成熟、衰退这样的周期。就产品而言，也就是要经

腾讯大数据

2018-01-26

1.9K2

大型web系统数据缓存设计

数据库数据处理

1. 前言在高访问量的web系统中，缓存几乎是离不开的；但是一个适当、高效的缓存方案设计却并不容易；所以接下来将讨论一下应用系统缓存的设计方面应该注意哪些东西，包括缓存的选型、常见缓存系统的特点和数据指标、缓存对象结构设计和失效策略以及缓存对象的压缩等等，以期让有需求的同学尤其是初学者能够快速、系统的了解相关知识。 2. 数据库的瓶颈 2.1 数据量关系型数据库的数据量是比较小的，以我们常用的MySQL为例，单表数据条数一般应该控制在2000w以内，如果业务很复杂的话，可能还要低

腾讯大数据

2018-01-26

1.9K0

万亿级数据流集群无缝迁移方案

大数据数据处理

前言在TDBank的接入数据中，有86%的数据流向TDW集群，因此为了减少流量在IDC间穿越，TDBank的集群选择跟TDW部署在同一个IDC。但是，随着业务数据的大规模发展与接入，TDW所在IDC的机器资源已无法满足需求，因此需要迁移到其他IDC。除了因资源不足的迁移外，我们还对重点业务进行隔离的迁移，还有底层架构无法兼容带来的集群的迁移。经过多次迁移经验积累，当前我们基本上可以做到集群的无缝迁移。下面介绍TDBank集群迁移的两种通用方案。方案一：先迁移数据源，再迁移后端消费应用。适用场景：集

腾讯大数据

2018-01-26

1.3K0

腾讯信鸽新功能：应用卸载如何统计？

大数据数据处理

在上班拥挤的地铁中，突然消息铃声响起，好不容易掏出手机一看却是无关痛痒的鸡肋信息......肆意推送的消息会让用户无从招架，不但做不到价值信息的传递，反而容易引起用户的反感，甚至卸载应用。此时，想要留住用户已经太迟。如何根据市场营销中卸载的用户，调整运营策略，成为开发者盘活“流失用户”的关键所在。为此，腾讯信鸽推送平台上线了一项全新的强大功能--应用卸载上报。对于运营者来讲，流失的用户包括未活跃用户和卸载用户。分析用户流失主要关注几个指标：次日留存，7日留存，月留存。然而，根据以上数据判断用户行为

腾讯大数据

2018-01-26

3.8K1

解密最接近人脑的智能学习机器 ——深度学习及并行化实现

机器学习人工智能数据处理

训练深层模型是长期以来的难题，近年来以层次化、逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望，并在多个应用领域获得了成功。深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石，已有多个针对不同深度模型的开源实现，Google、Facebook、百度、腾讯等公司也实现了各自的并行化框架。深度学习是目前最接近人脑的智能学习方法，深度学习引爆的这场革命，将人工智能带上了一个新的台阶，将对一大批产品和服务产生深远影响。 1.深度学习的革命人工智能(Artificial Intelligen

腾讯大数据

2018-01-26

1.1K0

CSDN专访腾讯蒋杰：深度揭秘腾讯大数据平台

大数据 spark 数据处理

腾讯业务产品线众多，拥有海量的活跃用户，每天线上产生的数据超乎想象，必然会成为数据大户，为了保证公司各业务产品能够使用更丰富优质的数据服务，腾讯的大数据平台做了那些工作？具备哪些能力？记者采访到了腾讯数据平台总经理蒋杰先生，他将给大家揭秘腾讯的大数据平台！建设专业数据平台、持续提升处理能力、贴身满足业务需求、挖掘创造数据价值———蒋杰（腾讯大数据团队使命） CSDN：首先还是请蒋总介绍一下自己和你的职业生涯。蒋杰：我是蒋杰，目前是腾讯数据平台部的负责人。我的第一份工作其实并非在互联网行业，而是在传

腾讯大数据

2018-01-26

3.3K0

腾讯云分析支持微信告警啦！

数据处理大数据

在过去的一个月里，微信公众平台开放了图文分析等数据统计功能。眼尖的人也许早就发现，在微信公众平台的图文分析右上角，出现了"数据由腾讯云分析提供"字样. 通过这一非正式亮相，腾讯云分析也正式从幕后的角色，转到了台前。腾讯云分析（MTA）是一款专业的移动应用统计分析工具，支持主流智能手机平台。开发者可以方便地通过嵌入统计SDK，实现对移动应用的全面监测，实时掌握产品表现，准确洞察用户行为。在众人的期待中，MTA在9月9日上线了错误管理功能，在这个功能上，MTA不仅仅满足于帮助开发者分析错误，“管理”二字

腾讯大数据

2018-01-26

4K0

如何抱市场大腿？【从0开始运营APP之②】

大数据数据处理

没有推广费用，节操什么的只能是呵呵呵呵。你要用心去揣摩市场管理者的需求，甚至有时候他们一直没给你回应，但是还是会暗地里骂一声“哔—”然后继续腆着脸：“哥，咱的应用明天能上专题不？来深圳请你吃鸡煲啊.”（本期开始在底部将会刊登上期读者提出的问题，欢迎留言提问）抱市场大腿，你得先知道大腿在哪里第一次做运营的同学，可能把应用上传到了市场之后，就只是单纯地等待市场审核人员去审核你的应用。如果在你的市场推广计划中，对应用的发布时间有限定，那么只是等待是绝对不可以的。仔细翻翻市场的开发者后台，看看有没有相关审核人员

腾讯大数据

2018-01-26

9030

运营app，第一步要做什么？【从0开始运营APP之①】

数据处理大数据

无论是大公司还是小企业，从0开始推广一个APP，都要经历一个创业过程——时刻面临人少、缺资源，“无推广预算”的窘境。腾讯云分析从这个月开始，将推出【从0开始运营APP】专题，分享一位1年内从0做到了100万用户的产品经理心路历程。本篇为第一篇，续集敬请期待。运营app，第一步要先建立自己的“数据库” 这个数据库里面必须包括广度和深度两种数据。广度指的是行业数据，你要对整个移动行业的各个门槛数据要有粗略的了解，比如toC产品你要做到千万级才有底气去跟人谈资源交换（两年前是百万级别）；toB产品相对简单点，

腾讯大数据

2018-01-26

1.6K0

揭秘腾讯大数据之平台综述篇

大数据数据分析数据处理

4月12日，在腾讯分享日的大数据分论坛上，腾讯首次对外展现了自己的大数据平台，受到外界的普遍关注，后续，我们将持续为大家分享腾讯大数据的方方面面。本篇为综述篇，针对整体情况做概要性的介绍，后续将会有更详细的离线计算、实时计算、数据实时采集以及大数据应用产品等系列文章输出，绝对干货，敬请期待。腾讯业务产品线众多，拥有海量的活跃用户，每天线上产生的数据超乎想象，必然会成为数据大户。特别是随着传统业务增长放缓，以及移动互联网时代的精细化运营，对于大数据分析和挖掘的重视程度高于以往任何时

腾讯大数据

2018-01-26

2K1

微信小程序从使用到分析快速解析

微信数据处理容器

腾讯大数据

2017-09-08

1.7K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态