腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

暴走大数据

专栏作者

298

文章

539934

阅读量

99

订阅数

腾讯广告业务基于Apache Flink + Hudi的批流一体实践

数据分析数据处理编程算法 javascript 存储

广告主和代理商通过广告投放平台来进行广告投放，由多个媒介进行广告展示，从而触达到潜在用户。整个过程中会产生各种各样的数据，比如展现数据、点击数据。其中非常重要的数据是计费数据，以计费日志为依据向上可统计如行业维度、客户维度的消耗数据，分析不同维度的计费数据有助于业务及时进行商业决策，但目前部门内消耗统计以离线为主，这种T+1延迟的结果已经无法满足商业分析同学的日常分析需求，所以我们的目标为：建设口径统一的实时消耗数据，结合BI工具的自动化配置和展现能力，满足业务实时多维消耗分析，提高数据运营的效率和数据准确性。

大数据真好玩

2022-06-17

1.1K0

Flink重点难点：Flink任务综合调优(Checkpoint/反压/内存)

flink 大数据 jvm 数据处理数据结构

我们在Flink重点难点：状态(Checkpoint和Savepoint)容错与两阶段提交一文中对Flink的Checkpoint做过详细的介绍。

大数据真好玩

2021-11-23

5.3K0

HBase RowKey与索引设计 |「Hbase2.0常见问题性优化小总结续集」

hbase TDSQL MySQL 版数据库大数据数据处理

hbase的内部使用KeyValue的形式存储，其key时rowKey：family:column:logTime,value是其存储的内容。

大数据真好玩

2021-11-05

1.4K0

Hadoop重点难点：Hadoop IO/压缩/序列化

node.js hadoop 文件存储存储数据处理

序列化是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化是指将字节流转回结构化对象的逆过程。

大数据真好玩

2021-10-12

9230

我们在学习Spark的时候，到底在学习什么？

编程算法数据处理大数据存储 spark

Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，基本可以吊打其他的大数据处理框架。

大数据真好玩

2021-07-08

4300

数据仓库基础小知识集锦

数据湖大数据数据处理数据结构存储

权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

大数据真好玩

2021-07-07

5290

Apache Iceberg技术调研&在各大公司的实践应用大总结

flink 数据处理 spark 数据湖分析数据湖

作者在实际工作中调研了Iceberg的一些优缺点和在各大厂的应用，总结在下面。希望能给大家带来一些启示。

大数据真好玩

2021-07-07

3.7K0

推荐系统之标签体系

大数据数据处理电商

一个推荐系统效果好与坏最基本的保障、最基础的是什么？如果让我来回答，一定是标签体系。我这里说的标签主要是针对物料的，对于电商平台来说就是商品；对于音乐平台来说就是每一个首歌，对于新闻资讯平台来说就是每一条新闻。下一篇要介绍的是用户画像，画像中那些用户实时变化的兴趣点大都也是来自于标签体系，依据用户长期和短期行为中对于物料搜索、点击、收藏、评论、转发等事件，将物料的标签传导到用户画像上，就构成了用户的实时画像和离线画像中的各个动态维度。

大数据真好玩

2021-01-26

9960

Druid实时大数据分析原理

数据库数据分析数据处理数据结构 sql

Druid是一个分布式支持实时分析的数据存储系统，为分析而生，在处理数据的规模和数据处理实时性方面比传统OLAP系统有显著的性能改进。与阿里的druid无关。

大数据真好玩

2020-06-03

3.9K0

揭秘大数据时代秒级查询响应引擎的架构设计

数据库 sql 数据处理 hive 大数据

近年来，大数据技术发展迅速，从过去的 Hive、Spark，到现在的 Flink、ClickHouse、Iceberg 等，各种大数据技术推陈出新，不断演进大数据存储和引擎系统的架构，来适应大数据时代的海量数据处理需求。

大数据真好玩

2020-02-11

1.3K0

Flink面试通关手册

api sql 分布式数据结构数据处理

2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。

大数据真好玩

2019-12-09

1.3K0

基于HBase和Spark构建企业级数据处理平台

hbase TDSQL MySQL 版数据处理机器学习大数据

Micro-Batch Processing：100ms延迟，Continuous Processing：1ms延迟

大数据真好玩

2019-11-05

9000

最火的实时计算框架Flink和下一代分布式消息队列Pulsar的批流融合

大数据 apache windows 编程算法数据处理

Apache Flink 和 Apache Pulsar 的开源数据技术框架可以以不同的方式融合，来提供大规模弹性数据处理。Flink Forward San Francisco 2019 大会上郭斯杰发表演讲，介绍了 Flink 和 Pulsar 在批流应用程序的融合情况。这篇文章会简要介绍 Apache Pulsar 及其与其他消息系统的不同之处，并讲解如何融合 Pulsar 和 Flink 协同工作，为大规模弹性数据处理提供无缝的开发人员体验。

大数据真好玩

2019-09-10

1.1K0

离线数仓从0到1

uml 数据库日志数据大数据数据处理

技术升级快于我们的想象，今天的故事在明天来看就是一种常识。对于数仓而言，又何尝不是？互联网的发展，导致大数据的人才缺口。互联网公司雨后春笋，传统行业机巧转身。短短几年，数据行业已沧海桑田。今天谈大数据已不复当年雾里看花的景象，它像一列更高速的快车，和老前辈们一样，向自己的终点加速。

大数据真好玩

2019-08-30

1.5K0

MQ详解及四大MQ比较

数据处理 rabbitmq mqtt apache 消息队列 CMQ 版

一、消息中间件相关知识 1、概述消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。 2、消息中间件的组成 2.1 Broker 消息服务器，作为server提供消息核心服务 2.2 Producer 消息生产者，业务的发起方，负责生产消息传输给broker， 2.3 Consumer 消息消费者，业务的处理方，负责从broker获取消息并进行业务逻辑处理 2.4 Topic 主题，发布订阅模式下的消息统一汇集地，不同生产者向topic发送消息，由MQ服务器分发到不同的订阅者，实现消息的广播 2.5 Queue 队列，PTP模式下，特定生产者向特定queue发送消息，消费者订阅特定的queue完成指定消息的接收 2.6 Message 消息体，根据不同通信协议定义的固定格式进行编码的数据包，来封装业务数据，实现消息的传输 3 消息中间件模式分类 3.1 点对点 PTP点对点:使用queue作为通信载体

大数据真好玩

2019-08-08

9.6K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态