腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Spark学习技巧
本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。
专栏作者
举报
810
文章
1230756
阅读量
247
订阅数
订阅专栏
申请加入专栏
全部文章（810）
spark（162）
大数据（156）
sql（131）
数据库（123）
编程算法（122）
java（101）
kafka（57）
数据分析（54）
存储（52）
其他（51）
分布式（45）
hive（45）
flink（45）
缓存（44）
云数据库 SQL Server（43）
hbase（41）
apache（39）
node.js（36）
api（35）
hadoop（30）
数据结构（29）
数据处理（28）
http（24）
ide（23）
linux（21）
zookeeper（21）
scala（20）
云数据库 Redis（20）
机器学习（19）
文件存储（19）
TDSQL MySQL 版（19）
jvm（19）
https（16）
数据（15）
开源（14）
网站（13）
网络安全（13）
windows（13）
mapreduce（12）
jdk（12）
javascript（11）
bash（11）
数据安全（11）
yarn（11）
运维（11）
数据湖（11）
企业（10）
Elasticsearch Service（10）
html（9）
json（9）
unix（9）
神经网络（9）
深度学习（9）
日志数据（9）
hashmap（9）
云计算（9）
打包（8）
git（8）
消息队列 CMQ 版（8）
系统架构（8）
maven（7）
人工智能（7）
安全（7）
php（6）
python（6）
bash 指令（6）
知识图谱（6）
腾讯云测试服务（6）
数据迁移（6）
推荐系统（6）
实时数仓（6）
数据挖掘（5）
xml（5）
jquery（5）
jar（5）
批量计算（5）
容器（5）
面向对象编程（5）
rpc（5）
rabbitmq（5）
设计（5）
数据仓库（5）
自动驾驶（4）
android（4）
搜索引擎（4）
spring（4）
mongodb（4）
电商（4）
tcp/ip（4）
微信（4）
微服务（4）
数据集成（4）
app（4）
join（4）
框架（4）
模型（4）
区块链（3）
go（3）
eclipse（3）
github（3）
全文检索（3）
容器镜像服务（3）
serverless（3）
自动化（3）
压力测试（3）
uml（3）
数据可视化（3）
架构设计（3）
任务调度（3）
bug（3）
key（3）
mysql（3）
offset（3）
partition（3）
ps（3）
产品（3）
管理（3）
函数（3）
架构（3）
流量（3）
排序（3）
日志（3）
异常（3）
官方文档（2）
NLP 服务（2）
c++（2）
c#（2）
ruby（2）
lua（2）
单片机（2）
postgresql（2）
nginx（2）
访问管理（2）
云数据库 MongoDB（2）
消息队列 CKafka 版（2）
大数据解决方案（2）
kubernetes（2）
无人驾驶（2）
ssh（2）
卷积神经网络（2）
erp（2）
jdbc（2）
二叉树（2）
aop（2）
processing（2）
sdk（2）
实时监控（2）
学习方法（2）
数据库管理（2）
数据脱敏（2）
bi（2）
date（2）
hdfs（2）
null（2）
shuffle（2）
测试（2）
程序（2）
程序员（2）
服务（2）
链表（2）
内存（2）
配置（2）
入门（2）
实践（2）
系统（2）
原理（2）
费用中心（1）
负载均衡（1）
比特币（1）
tensorflow（1）
ios（1）
objective-c（1）
c 语言（1）
actionscript（1）
css（1）
ajax（1）
sqlite（1）
nosql（1）
memcached（1）
access（1）
mvc（1）
svn（1）
struts（1）
tomcat（1）
中文分词（1）
lucene/solr（1）
analyzer（1）
负载均衡缓存（1）
tornado（1）
GPU 云服务器（1）
专用宿主机（1）
云数据迁移（1）
日志服务（1）
云直播（1）
短视频（1）
腾讯云可观测平台（1）
SSL 证书（1）
数据加密服务（1）
腾讯git代码托管（工蜂）（1）
数据备份（1）
express（1）
rollup.js（1）
游戏（1）
互联网金融（1）
爬虫（1）
正则表达式（1）
mybatis（1）
sql server（1）
opencv（1）
自动化测试（1）
kotlin（1）
scrapy（1）
dubbo（1）
ddos（1）
udp（1）
kernel（1）
socket编程（1）
无监督学习（1）
nat（1）
nest（1）
视频分析（1）
flutter（1）
风控平台（1）
安全运营平台（1）
特征工程（1）
unicode（1）
迁移（1）
groovy（1）
功能测试（1）
性能测试（1）
es（1）
实时数据集成（1）
事件总线（1）
腾讯云数据仓库 TCHouse（1）
数据湖分析（1）
智能推荐平台（1）
教育（1）
数据库审计（1）
class（1）
cpu（1）
data（1）
decimal（1）
dump（1）
elk（1）
event（1）
exists（1）
final（1）
flume（1）
foreach（1）
for循环（1）
frequency（1）
function（1）
gc（1）
google（1）
gson（1）
initialization（1）
ip（1）
it（1）
jackson（1）
java8（1）
lambda（1）
list（1）
map（1）
message（1）
overflow（1）
public（1）
push（1）
quartz（1）
rank（1）
redis（1）
request（1）
return（1）
select（1）
server（1）
sqoop（1）
stack（1）
static（1）
streaming（1）
string（1）
stringbuilder（1）
subquery（1）
thrift（1）
web（1）
报表（1）
闭包（1）
变量（1）
编译（1）
边缘计算（1）
创业（1）
磁盘（1）
单例模式（1）
登录（1）
多线程（1）
工具（1）
工作（1）
行业（1）
混合云（1）
集合（1）
技巧（1）
集群（1）
监控（1）
解决方案（1）
开发（1）
面试（1）
生命周期（1）
事件（1）
实时计算（1）
事务（1）
数据管理（1）
同步（1）
统计（1）
网关（1）
线程池（1）
效率（1）
协议（1）
性能（1）
性能监控（1）
性能优化（1）
异步编程（1）
中间件（1）
字符串（1）
搜索文章
搜索
搜索
关闭
SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
flume
sqoop
数据
同步
flink
Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。
Spark学习技巧
2024-03-27
373
0
Flink在涂鸦防护体系中的应用
flink
登录
框架
数据
统计
随着互联网的快速发展，数据量呈爆炸性增长，安全分析领域面临着前所未有的挑战。传统的安全分析方法在处理海量数据时显得力不从心，无法满足实时、高效的需求。为了解决这一问题，Flink作为一种实时数据处理框架，逐渐在安全分析领域崭露头角。本文将基于涂鸦SOC平台建设经验浅谈Flink在安全分析领域的应用。
Spark学习技巧
2024-02-22
68
0
FlinkCEP - Flink的复杂事件处理
flink
event
public
监控
事件
FlinkCEP是在Flink上层实现的复杂事件处理库。 它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。
Spark学习技巧
2023-12-05
203
0
更快更稳更易用: Flink 自适应批处理能力演进
flink
data
date
partition
shuffle
Flink 是流批一体计算框架，早些年主要用于流计算场景。近些年随着流批一体概念的推广，越来越多的企业开始使用 Flink 处理批业务。
Spark学习技巧
2023-03-21
697
0
Flink+Clickhouse在广投集团实时数仓的最佳实践
hbase
kafka
实时数仓
flink
mysql
由于历史原因，大型集团企业往往多个帐套系统共存，包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统，集团财务共享中心的财务人员在核对财务凭证数据时经常需要跨多个系统查询且每个系统使用方式不一，同时因为系统累计数据庞大，制单和查询操作经常出现卡顿，工作效率非常低。
Spark学习技巧
2023-03-21
740
0
流批一体在京东的探索与实践
sql
hive
flink
function
join
提到流批一体，不得不提传统的大数据平台 —— Lambda 架构。它能够有效地支撑离线和实时的数据开发需求，但它流和批两条数据链路割裂所导致的高开发维护成本以及数据口径不一致是无法忽视的缺陷。
Spark学习技巧
2023-03-21
811
0
如何提高Flink大规模作业的调度器性能
flink
大数据
缓存
编程算法
在 Flink 1.12 中调度大规模作业时，需要大量的时间来初始化作业和部署任务。调度器还需要大量的堆内存来存储执行拓扑和主机临时部署描述符。例如，对于一个拓扑结构的作业，该作业包含两个与全对全边相连且并行度为 10k 的作业（这意味着有 10k 个源任务和 10k 个接收器任务，并且每个源任务都连接到所有接收器任务） ，Flink 的 JobManager 需要 30 GiB 的堆内存和超过 4 分钟的时间来部署所有任务。
Spark学习技巧
2022-03-14
1.3K
0
Flink SQL代码生成与UDF重复调用的优化
javascript
sql
编程算法
flink
大数据
代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅的性能提升。
Spark学习技巧
2022-03-14
1.4K
0
Flink CDC 2.0 数据处理流程全面解析
大数据
flink
数据处理
8月份 FlinkCDC 发布2.0.0版本，相较于1.0版本，在全量读取阶段支持分布式读取、支持checkpoint，且在全量 + 增量读取的过程在不锁表的情况下保障数据一致性。
Spark学习技巧
2022-01-13
1.5K
0
基于 Flink 搭建实时平台
flink
系统架构
hbase
TDSQL MySQL 版
大数据
1一、前言 在大数据时代，金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中，某些中介机构会搜集大量的号并进行“养号”工作，即在一年周期里让这些号形成正常的消费、通讯记录，目的是将这些号“培养”得非常健康，然后卖给有欺诈意向的用户。这类用户通过网上信息提交审核，骗到贷款后就“销声匿迹”了。
Spark学习技巧
2022-01-13
525
0
2021年总结实时数仓最新架构图
实时数仓
flink
大数据
云计算
1 基于Flink的滴滴实时数仓实践 分享嘉宾：潘澄,滴滴基础平台 资深研发工程师 分享大纲： 整体概况 业务实践 平台&引擎 总结反思 未来规划 📷 📷 2 实时OLAP，从0到1 分享嘉宾：高正炎,比特大陆 分享大纲： 业务背景 机遇挑战 架构演进 架构优化 未来展望 📷 📷 3 腾讯基于Flink + Iceberg 全场景实时数仓的建设实践 分享嘉宾：苏舒,腾讯平台 高级研发工程师 分享大纲： 背景及痛点 数据胡技术apache iceberg flink+ iceberg构建实时数仓 未来规划
Spark学习技巧
2022-01-13
1.8K
0
Uber 如何为近实时特性构建可伸缩流管道？
windows
bash
flink
大数据
Uber 致力于为全球客户提供可靠的服务。要达到这个目标，我们很大程度上依靠机器学习来作出明智的决定，如预测和增益。所以，用来产生机器学习数据和特征的实时流管道已经越来越受到重视。
Spark学习技巧
2022-01-13
809
0
Flink深度学习流处理核心组件 Time&Window 深度解析
flink
大数据
processing
编程算法
unix
Apache Flink（以下简称 Flink） 是一个天然支持无限流数据处理的分布式计算框架，在 Flink 中 Window 可以将无限流切分成有限流，是处理有限流的核心组件，现在 Flink 中 Window 可以是时间驱动的（Time Window），也可以是数据驱动的（Count Window）。
Spark学习技巧
2022-01-13
301
0
电商供应链数仓平台该如何建设？哪些点需要注意？
数据可视化
flink
kafka
数据库
大数据
导读：随着蜀海供应链业务的发展，供应链中各个环节角色的工作人员利用数据对业务进行增长分析的需求越来越迫切。在过去大数据分析平台架构1.0的实践中，存在数据生产链路太长，架构太复杂，开发运维成本都很高，之前的团队对这个架构的驾驭能力不足，数据冗余，对业务的适应能力较弱和不能快速的响应业务各种数据需求等诸多问题，基于这种问题，我们通过引入Apache Doris引擎优化生产方案，实现蜀海供应链大数据数仓的升级，在数据开发上跑通了一套完整的流程，使我们数据需求的日常迭代更加迅速和开发效率的提升，同时也解决了我们在1.0架构中存在的诸多问题。
Spark学习技巧
2022-01-12
811
0
伴鱼：借助 Flink 完成机器学习特征系统的升级
特征工程
云数据库 Redis
编程算法
bash
flink
在伴鱼，我们在多个在线场景使用机器学习提高用户的使用体验，例如：在伴鱼绘本中，我们根据用户的帖子浏览记录，为用户推荐他们感兴趣的帖子；在转化后台里，我们根据用户的绘本购买记录，为用户推荐他们可能感兴趣的课程等。
Spark学习技巧
2022-01-12
535
0
实战 | flink sql 与微博热搜的碰撞！！！
flink
大数据
sql
编程算法
kafka
根据微博目前站内词条消费情况，计算 top 50 消费热度词条，每分钟更新一次，并且按照列表展现给用户。
Spark学习技巧
2021-07-27
842
0
实时数仓不保障时效还玩个毛？
flink
大数据
unix
数据处理
懒癌患者福利，先说本文结论，通过以下两个指标就已经能监控和判定 90% 数据延迟、乱序问题了。
Spark学习技巧
2021-07-27
1K
0
快手基于 Flink 的持续优化与实践
flink
大数据
sql
kafka
jar
摘要：本文由快手实时计算负责人董亭亭分享，主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括：
Spark学习技巧
2021-03-11
1K
0
网易数据湖探索与实践-范欣欣
数据湖
flink
大数据
html
hive
导读：今天主要和大家交流的是网易在数据湖Iceberg的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖Iceberg的探索以及实践之路。
Spark学习技巧
2021-03-05
936
0
spark源码阅读基本思路
spark
rpc
linux
flink
编程算法
a.解决企业中bug。比如flink早期bug，就很多，如json序列化工具，在开启flink仅一次处理，json格式不符合要求，就会抛异常而挂掉，然后重试，挂掉。这明显不科学，要解决这个bug就要会读源码，改源码。
Spark学习技巧
2021-03-05
1.2K
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档