数据应用,是真正体现数仓价值的部分,包括且又不局限于 数据可视化、BI、OLAP、即席查询,实时大屏,用户画像,推荐系统,数据分析,数据挖掘,人脸识别,风控反欺诈等等。
☞ 03.OLAP引擎 [ Kylin Druid Presto Impala Kudu ADB ES .. ]
导读:数据清洗是数据分析的必备环节,在进行分析过程中,会有很多不符合分析要求的数据,例如重复、错误、缺失、异常类数据。
作者 | 蔡芳芳 采访嘉宾 | 陈龙 2020 年 9 月,主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克,首日 IPO 筹资高达 33.6 亿美元,是有记录以来金额最大的软件 IPO,突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今,大数据技术早已进入普及期,数据仓库 / 分析领域更是巨头林立,既有传统厂商 Oracle、Teradata,也有开源软件 Hadoop,还有云厂商 AWS Redshift、Google Bigquery,在这样一个竞争环境下
2020 年 9 月,主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克,首日 IPO 筹资高达 33.6 亿美元,是有记录以来金额最大的软件 IPO,突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今,大数据技术早已进入普及期,数据仓库 / 分析领域更是巨头林立,既有传统厂商 Oracle、Teradata,也有开源软件 Hadoop,还有云厂商 AWS Redshift、Google Bigquery,在这样一个竞争环境下,成立于 2012 年的 Snowflake 能脱颖而出实属不易。那么,Snowflake 在数仓技术方面有哪些独到之处?其成功的背后又有哪些技术原因和趋势值得关注?
21世纪,是数字经济的时代。数据已成为企业和社会最宝贵的资产。在这片前景广阔的领域里,数据发展的历史长河埋藏了怎样的机遇?在未来,数据技术将往哪些方向演进?数据开发者又该如何在新时代中,找到自己的职业发展的最佳锚点? 2021年4月24日,由腾讯云 TVP 主办的首届 Techo TVP 开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」在深圳深铁皇冠假日酒店成功举办。峰会囊括数据库、大数据两大专题,汇聚十二位深耕数据技术领域的顶尖大咖,带来了全天候、全方位、沉浸式的技术分享与交流
何为EDA,何谓探索性数据分析?英文名为Exploratory Data Analysis,是在你拿到数据集后,并不能预知能从数据集中找到什么,但又需要了解数据的基本情况,为了后续更好地预处理数据、特征工程乃至模型建立。因此探索性数据分析,对了解数据集、了解变量之间对相互关系以及变量与预测值之间的关系尤其重要。
腾讯的2020腾讯广告算法大赛已经开始快2周了,因为腾讯云有提供优惠卷,所以这总结一下一些基础的操作,帮助大家薅腾讯的羊毛
QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品,平台打造了“听、看、玩”的立体泛音乐娱乐生态圈,为累计注册数在8亿以上的用户提供多元化音乐生活体验,畅享平台上超过3000万首歌曲的海量曲库。优质服务的背后,是每天万亿级新增音乐内容和行为数据,PB数据量级的数据计算服务。
一般在数据分析的过程中,拿到数据不会去直接去建模,而是先做描述性分析来对数据有一个大致的把握,很多后续的建模方向也是通过描述性分析来进一步决定的。那么除了在Excel/R中可以去做描述性分析。
所谓机器学习和深度学习, 背后的逻辑都是数学, 所以数学基础在这个领域非常关键, 而统计学又是重中之重, 机器学习从某种意义上来说就是一种统计学习。
在您选择和准备数据进行建模之前,您需要事先了解一些基础内容。
描述性统计是借助图表或者总结性的数值来描述数据的统计手段。数据挖掘工作的数据分析阶段,可以借助描述性统计来描述或总结数据的基本情况。
在上一章节《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(上)》,我们讲到实时数仓的建设,互联网大数据技术发展到今天,各个领域基本已经成熟,有各式各样的解决方案可以供我们选择。
引言:在数据分析时,对大量信息进行归纳是最基本的任务,而这就需要用到描述统计方法。
场景描述:今年有个现象,实时数仓的建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库建设的文章和方案。
12月6日-7日,由InfoQ 中国主办的综合性技术盛会QCon全球软件开发大会深圳站召开。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向资深的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。 在 QCon 盛会上,腾讯云大数据专家工程师陈龙为大家带来了题为《看云上 ClickHouse 如何做计算存储分离》的分享,以下是分享整理全文。 各位朋友大家好,我是陈龙,我今天给大家分享的内容是:看云上 ClickHouse 如何做计算存储分离。 首先介绍下我自己,我来自腾讯云
12月6日-7日,由InfoQ 中国主办的综合性技术盛会QCon全球软件开发大会深圳站召开。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向资深的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。
领取专属 10元无门槛券
手把手带您无忧上云