本文章提供视频讲解，详细见地址：https://www.bilibili.com/video/BV1uC4y1h7nN
QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品，平台打造了“听、看、玩”的立体泛音乐娱乐生态圈，为累计注册数在8亿以上的用户提供多元化音乐生活体验，畅享平台上超过3000万首歌曲的海量曲库。优质服务的背后，是每天万亿级新增音乐内容和行为数据，PB数据量级的数据计算服务。
我们知道传统的数据处理无外乎涉及 Kafka、Logstash、File Beats、Spark、Flink、CLS、COS 等组件。这些海量服务器组件承担着从数据源取数据，数据聚合过滤等处理，再到数据流转的任务，不管是开发成本、运维成本以及价格方面都有所欠佳。下面将为大家详细介绍：云函数 SCF 是如何降低传统海量服务器组件的开发和运维成本的。 01. 腾讯云云函数 SCF 腾讯云云函数（Serverless Cloud Function，SCF）是腾讯云为企业和开发者们提供的无服务器执行环境，在无需
导读：随着 IT 时代步入到 DT 时代，从数据中挖掘价值已经变得越来越重要。数据仓库系统长期以来一直是企业 IT 架构的重要组成部分，并且逐步与大数据等技术相融合，已然成为建设数据文化的智慧型企业的必然措施。
学习数仓的时候，可能一开始总是被一些英文缩写名字迷惑，OLAP MPP架构 KAPPA架构 ODS等等，这篇文章就来梳理一下这些基本概念。
之前开发过一个画像项目，并为大家介绍了项目过程中部分开发的细节，例如PSM，RFE，USG等模型的标签开发落地。但是后来考虑到对于没有画像开发经验，尤其是零基础的大数据小白而言不是很友好，理解起来也不是很容易。正好最近在看一些文献资料，所以，我又专门开了一个专题，打算重新为大家讲解关于用户画像的知识。感兴趣的小伙伴记得关注加星标，每天第一时间收获技术干货！
每一个游戏制作者都想制作出一款让玩家满意的游戏。但是作为开发者，如何知道哪些点是让游戏玩家满意的，哪些是不满意的？今天我们就聚焦这些点来进行讨论。
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop
<数据猿导读> 无论是为促销产品还是作为战略目标，大数据已然成为很多公司和机构过度使用的术语。笔者认为，数据基本就是两类，一类是人类轨迹产生的数据，另一类机器自动产生的数据。这两类数据构成了我们今天的
上面我们讲了 大数据的数据查询方法 ，使用Hive或者 Impala，但是这些只能查询固定历史的数据，如果要实时计算可能就不是那么合适了。
［导读］无论是为促销产品还是作为战略目标，大数据已然成为很多公司和机构过度使用的术语。笔者认为，数据基本就是两类，一类是人类轨迹产生的数据，另一类机器自动产生的数据。这两类数据构成了我们今天的大数据多结构化数据源。大数据不仅要关注实际数据量的多少， 而最重要的是关注在大数据的处理方法，让数据产生巨大的创新价值。这也就是为何以谷歌为代表的技术创新类的公司会在未来成为全球市值最高的公司的核心原因之一。 本文整理自张礼立博士作品、中国工业评论 实现工业4.0或中国制造2025的前提之一是构建智能工厂， 其核心要
数据仓库的分层设计是为了实现数据仓库的高性能、低成本、高效率、高质量使用。而且分层设计后会带来如下好处：
前言 为什么要分享一下数据分析方面的知识呢？ 一是扩展下知识面 二是期望讨论下数据分析在测试领域的应用场景的可能性 从分享的情况来看，测试人员的思维依旧非常局限，同时大多的测试从业者的知识面是相当的狭窄。 数据分析的关键要点 准备 主要是读写各种各样的文件格式、数据库，获取原始数据集。 处理 主要对原始数据集进行清理、休整、整合、规划化、重塑、切片切换、变形等处理，生成可数据分析的数据集。 转换 对可分析数据集做数据做一些数学和统计运算生成新的数据集。例如分组分类、数据聚合等等。 建模和计算 将新的数据集跟
大家好，我是一哥，周末有读者私聊我咨询了一些问题，遂想起了之前看过的一些关于数据湖的知识，下面是基于之前的所见和自己的思考而成文。
网管产品需要从数据仓库的角度来看，才能获得完整的视图。数据集成真正从大数据的角度来看，才能明白其中的挑战。一个运行了20多年的数据架构，必然有其合理性。也正是因为年代久远，存量过多，才导致举步维艰。在Cloud和5G时代，超密度网络集成和大数据洞察需求给电信供应商带来新的挑战，从数据仓库到数据湖，不仅仅架构的变革，更是思维方式的升级。本文尝试梳理数据架构的演进过程。 01 数据仓库历史沿革 1970年，关系数据库的研究原型System R 和INGRES开始出现，这两个系统的设计目标都是面向on-line
数据猿导读 恒丰银行探索采用大数据技术构建统一的企业级数据管理平台，重构数据仓库应用，减少数据重复加工与存储，促进信息管理应用的数据融合共享，提高数据处理总体效率，提升数据分析和应用创新能力，正逐步取得预期的成效。 📷 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联网普惠金融研究院合办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟协
*LogListener： 是腾讯云日志服务提供的日志采集 Agent，通过在服务器上安装loglistener可以实时采集指定路径上的日志，并对日志原始数据进行结构化后推送至日志服务中枢。
③定量的，定量数据：反映事物数量特征的数据，如长度、面积、体积等几何量，重量、速度等物理量；
导语 | 分析型数据仓库经历了共享存储、无共享MPP、SQL-on-Hadoop几代架构的演进，随着云计算的普及，传统的数据仓库架构在资源弹性，成本等方面已经很难适应云原生的要求。本文由偶数科技 CEO，腾讯云TVP 常雷在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《新一代云原生数据仓库的应用》演讲分享整理而成，为大家详细剖析新一代云原生数据仓库的架构、原理和实现技术，以及如何充分应用云原生数据仓库的特点来实现云上大数据应用。 点击可观看精彩演讲视频
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
