腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据成神之路

专注大数据领域的一切技术~

专栏作者

635

文章

1279922

阅读量

315

订阅数

零跑汽车：BI数据服务体系搭建思路

数据分析汽车 bi 报表数据

零跑汽车自成立以来，始终坚持核心技术的自主研发，成功自研智能动力、智能网联、智能驾驶三大核心技术，是拥有智能电动汽车完整自主研发能力以及掌握核心技术的整车厂家。

王知无-import_bigdata

2023-04-07

4190

阿里大数据之路：数据模型篇大总结

数据库大数据数据分析 sql 架构设计

核心：从业务架构设计（如何快速上手工作）到模型设计，从数据研发到数据服务，做到数据可管理、可追溯、可规避重复建设。

王知无-import_bigdata

2022-11-11

1.3K0

Presto在字节跳动的内部实践与优化

hive 数据分析日志数据大数据 sql

在字节跳动内部，Presto 主要支撑了 Ad-hoc 查询、BI 可视化分析、近实时查询分析等场景，日查询量接近 100 万条。

王知无-import_bigdata

2022-06-05

1.4K0

四万字硬刚Kudu | Kudu基础原理实践小总结

TDSQL MySQL 版 hbase 数据库数据分析数据结构

Hadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？

王知无-import_bigdata

2021-09-22

2.1K0

悄悄学习Doris，偷偷惊艳所有人 | Apache Doris四万字小总结

大数据数据分析数据处理数据结构编程算法

DorisDB是由Apache Doris核心研发团队打造的新一代企业级MPP数据库。它继承了Apache Doris项目十多年研发成果，累积了线上数千台服务器稳定运行经验，并在此基础上，对传统MPP数据库进行了开创性的革新。

王知无-import_bigdata

2021-09-22

4.3K1

浅谈大数据的过去、现在和未来

大数据数据湖数据分析文件存储存储

相信身处于大数据领域的读者多少都能感受到，大数据技术的应用场景正在发生影响深远的变化: 随着实时计算、Kubernetes 的崛起和 HTAP、流批一体的大趋势，之前相对独立的大数据技术正逐渐和传统的在线业务融合。关于该话题，笔者早已如鲠在喉，但因拖延症又犯迟迟没有动笔，最终借最近参加多项会议收获不少感悟的契机才能克服懒惰写下这片文章。

王知无-import_bigdata

2021-07-12

6950

物联网时代的答案 - Apache IoTDB

物联网 jdbc apache 数据库数据分析

至此我们了解到Apache IoTDB(物联网数据库)是为时间序列数据设计的集成数据管理引擎。它为用户提供

王知无-import_bigdata

2021-03-14

9760

分布式系统：数据一致性解决方案

java 分布式 html 数据分析

在分布式系统中，随着系统架构演进，原来的原子性操作会随着系统拆分而无法保障原子性从而产生一致性问题，但业务实际又需要保障一致性，下面我从学习和实战运用总结一下分布式一致性解决方案。

王知无-import_bigdata

2020-12-18

2.9K0

数据仓库架构和建设方法论

数据集成数据库数据分析数据处理 sql

在建设数据仓库之前，数据散落在企业各部门应用的数据存储中，它们之间有着复杂的业务连接关系，从整体上看就如一张巨大的蜘蛛网：结构上错综复杂，却又四通八达。在企业级数据应用上单一业务使用方便，且灵活多变；但涉及到跨业务、多部门联合应用就会存在：①数据来源多样化，管理决策数据过于分散；②数据缺乏标准，难以整合；③数据口径不统一，可信度低；④缺乏数据管控体系，数据质量难以保证。如下图：

王知无-import_bigdata

2020-11-06

2.7K1

Apache Doris核⼼功能 | 数据模型和物化视图

数据分析 apache

Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。

王知无-import_bigdata

2020-11-06

1.1K0

用户行为数据采集系统

数据库数据分析数据处理 sql Elasticsearch Service

本文将重点探讨数据采集层中的用户行为数据采集系统。这里的用户行为，指的是用户与产品UI的交互行为，主要表现在Android App、IOS App与Web页面上。这些交互行为，有的会与后端服务通信，有的仅仅引起前端UI的变化，但是不管是哪种行为，其背后总是伴随着一组属性数据。对于与后端发生交互的行为，我们可以从后端服务日志、业务数据库中拿到相关数据；而对于那些仅仅发生在前端的行为，则需要依靠前端主动上报给后端才能知晓。用户行为数据采集系统，便是负责从前端采集所需的完整的用户行为信息，用于数据分析和其他业务。

王知无-import_bigdata

2020-06-05

3.9K0

实时统计分析系统-Apache Druid

数据分析编程算法 node.js 缓存数据库

Druid.io（以下简称Druid）是2013年底开源出来的，主要解决的是对实时数据以及较近时间的历史数据的多维查询提供高并发(多用户)，低延时，高可靠性的问题。

王知无-import_bigdata

2020-06-04

1.9K0

从NoSQL运动谈分布式系统的CAP、BASE理论

数据分析 nosql hbase TDSQL MySQL 版分布式

自从上世纪80年代以降，关系型数据库（即传统的OLTP和OLAP数据库）一直都是后端业务系统的主导，能够满足很多需求。但是，随着数据量的激增、对查询响应要求提升、越来越多非结构化数据泛滥等原因，关系型数据库的领域面临挑战，因此催生了NoSQL（非关系型、not only SQL）运动——这个词在世纪之交才出现，但是NoSQL思想和数据库出现得要早得多。

王知无-import_bigdata

2020-05-20

1.2K0

ConcurrentHashMap锁机制进化的考量

jdk hashmap 数据分析编程算法

我们知道，HashMap是无法保证线程安全性的，如果在并发环境下插入一个HashMap，哈希桶数组扩容时，有可能会造成链表出现环（美团技术的文章有详解）。若要保证线程安全性，就得使用ConcurrentHashMap。而ConcurrentHashMap在JDK 7和JDK 8中的锁机制设计有相当大的区别，本文来简单谈谈（其实也是老生常谈了）。

王知无-import_bigdata

2020-05-09

1.6K0

Data Lake 三剑客—Delta、Hudi、Iceberg 对比分析

spark html 数据库数据分析数据处理

定性上讲，三者均为 Data Lake 的数据存储中间层，其数据管理的功能均是基于一系列的 meta 文件。meta 文件的角色类似于数据库的 catalog/wal，起到 schema 管理、事务管理和数据管理的功能。与数据库不同的是，这些 meta 文件是与数据文件一起存放在存储引擎中的，用户可以直接看到。这种做法直接继承了大数据分析中数据对用户可见的传统，但是无形中也增加了数据被不小心破坏的风险。一旦某个用户不小心删了 meta 目录，表就被破坏了，想要恢复难度非常大。

王知无-import_bigdata

2020-02-19

3.7K0

三万字长文 | Spark性能优化实战手册

spark 数据库大数据数据分析数据结构

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。

王知无-import_bigdata

2020-02-10

1K0

美团起源数据治理平台的建设与实践

数据库数据安全数据分析 sql

作为一家高度数字化和技术驱动的公司，美团非常重视数据价值的挖掘。在公司日常运行中，通过各种数据分析挖掘手段，为公司发展决策和业务开展提供数据支持。经过多年的发展，美团酒旅内部形成了一套完整的解决方案，核心由数据仓库+各种数据平台的方式实现。其中数据仓库整合各业务线的数据，消灭数据孤岛；各种数据平台拥有不同的特色和定位，例如：自助报表平台、专业数据分析平台、CRM数据平台、各业务方向绩效考核平台等，满足各类数据分析挖掘需求。早期数据仓库与各种数据平台的体系架构如图1所示：

王知无-import_bigdata

2019-10-15

1.8K0

独孤九剑-Spark面试80连击(上)

文件存储数据库大数据数据分析数据处理

场景描述：这是一个Spark的面试题合集。是我自己作为面试者和作为面试官都会被问到或者问到别人的问题，这个总结里面有大量参考了网上和书上各位老师、大佬的一些原文答案，只是希望可以给出更好的回答，一般上我都会把原文链接贴上，如有侵权请联系删除！

王知无-import_bigdata

2019-09-03

1.1K0

Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望

spark 深度学习数据库数据分析数据处理

简介：阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。

王知无-import_bigdata

2019-08-09

1.3K0

Spark之数据倾斜调优

spark hive 大数据数据分析

有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。

王知无-import_bigdata

2019-06-03

5420

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态