腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Java进阶之路
专栏成员
举报
68
文章
140275
阅读量
26
订阅数
订阅专栏
申请加入专栏
全部文章(68)
java(23)
大数据(9)
其他(8)
python(8)
编程算法(8)
缓存(4)
node.js(3)
yarn(3)
分布式(3)
jdk(3)
hadoop(3)
jvm(3)
hashmap(3)
安全(3)
javascript(2)
go(2)
数据库(2)
linux(2)
nginx(2)
spring(2)
日志服务(2)
容器(2)
存储(2)
开源(2)
shell(2)
spark(2)
面向对象编程(2)
数据处理(2)
数据结构(2)
负载均衡(1)
php(1)
bash(1)
xml(1)
json(1)
nosql(1)
云数据库 Redis(1)
打包(1)
ide(1)
git(1)
github(1)
api(1)
maven(1)
中文分词(1)
analyzer(1)
unix(1)
apache(1)
bash 指令(1)
TDSQL MySQL 版(1)
海外加速(1)
网站(1)
http(1)
爬虫(1)
网络安全(1)
正则表达式(1)
zookeeper(1)
dubbo(1)
rabbitmq(1)
https(1)
hbase(1)
nat(1)
processing(1)
kafka(1)
flink(1)
key(1)
程序员(1)
函数(1)
搜索文章
搜索
搜索
关闭
Flink内存管理
jvm
flink
大数据
spark
编程算法
自从2003-2006年,Google发表了三篇著名的大数据相关论文(Google FS,MapReduce,Big Table)后,内存问题一直困扰大数据工程师们。
神秘的寇先森
2020-03-20
764
0
理解Flink watermark
unix
大数据
编程算法
所谓事件时间,就是Flink DataStream中的数据元素自身带有的、其实际发生时记录的时间戳,具有业务含义,并与系统时间独立。很显然,由于外部系统产生的数据往往不能及时、按序到达Flink系统,所以事件时间比处理时间有更强的不可预测性。
神秘的寇先森
2020-02-19
1.3K
0
Flink使用中遇到的问题
大数据
数据处理和 barrier 处理都由主线程处理,如果主线程处理太慢(比如使用 RocksDBBackend,state 操作慢导致整体处理慢),导致 barrier 处理的慢,也会影响整体 Checkpoint 的进度,在这一步我们需要能够查看某个 PID 对应 hotmethod,这里推荐两个方法: 1、 多次连续 jstack,查看一直处于 RUNNABLE 状态的线程有哪些; 2、使用工具 AsyncProfile dump 一份火焰图,查看占用 CPU 最多的栈;
神秘的寇先森
2020-02-19
1.7K
1
理解Flink checkpoint
大数据
数据处理
Checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保 证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Chandy-Lamport algorithm”算法 (分布式快照算法)。 参考:checkpoint
神秘的寇先森
2020-02-19
1.4K
0
Flink on YARN 基础架构与启动流程
yarn
node.js
大数据
本文转载Flink官方社区文章:一张图轻松掌握 Flink on YARN 基础架构与启动流程
神秘的寇先森
2020-02-19
2.2K
0
Flink架构
yarn
node.js
大数据
Flink整体由JobManager和TaskManager组成,遵循主从设计原则,JobManager为Master节点,TaskManager为worker节点,组件之间通信是借助Akka Framework;
神秘的寇先森
2020-02-19
1.1K
0
数据可视化工具zeppelin安装与使用
bash
xml
bash 指令
大数据
java
下载安装包,修改配置文件 登录zeppeline官网 下载完解压缩 复制zeppelin-env.sh.template重命名为zeppelin-env.sh 复制zeppelin-site.xml.template重命名为zeppelin-site.xml,编辑文件 <property> <name>zeppelin.server.port</name> <value>8089</value> <description>Server port.</description> </propert
神秘的寇先森
2020-02-13
1.7K
0
轻松理解Hbase面向列的存储
hbase
TDSQL MySQL 版
存储
数据库
大数据
说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。
神秘的寇先森
2019-01-28
2.9K
0
springboot创建及使用多线程的几种方式
spring
数据处理
大数据
在数据处理中,多线程用到的场景很多,在满足计算机CPU处理能力的情况下,使用多线程可以明显提高程序运行效率,缩短大数据处理的能力。作为java程序开发,离不开spring,那么在spring中怎么创建多线程并将注册到spring的类在多线程中使用呢?我自己总结了一下,可以有两种方式,使用线程池和spring自带多线程注解使用。 使用线程池 我一般使用固定线程数量的线程池,假如数据量很大,我会将数据放到一个大集合中,然后按照一定的比例分配数目,同时我自己写了一个分页类,线程的数量可以根据分页类来自动调整。看代
神秘的寇先森
2018-06-19
8.5K
1
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档