腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据成神之路
专注大数据领域的一切技术~
专栏作者
举报
635
文章
1279196
阅读量
315
订阅数
订阅专栏
申请加入专栏
全部文章（635）
大数据（273）
sql（163）
数据库（129）
kafka（105）
spark（100）
flink（91）
编程算法（83）
apache（70）
存储（60）
hive（59）
java（52）
node.js（52）
api（52）
数据（43）
hadoop（41）
文件存储（39）
缓存（39）
hbase（36）
云数据库 SQL Server（35）
TDSQL MySQL 版（33）
数据处理（31）
分布式（29）
数据结构（28）
scala（25）
云数据库 Redis（24）
mapreduce（24）
数据分析（20）
javascript（19）
linux（19）
yarn（18）
https（18）
python（17）
网络安全（17）
unix（16）
jvm（16）
windows（16）
zookeeper（14）
打包（13）
消息队列 CMQ 版（13）
开发（13）
批量计算（12）
http（12）
bash（11）
数据湖（11）
数据迁移（10）
云计算（10）
面试（10）
xml（9）
企业（9）
数据安全（9）
Elasticsearch Service（9）
bash 指令（8）
腾讯云测试服务（8）
面向对象编程（8）
框架（8）
优化（8）
jar（7）
运维（7）
processing（7）
机器学习（6）
json（6）
日志数据（6）
开源（6）
hashmap（6）
tcp/ip（6）
rabbitmq（6）
数据可视化（6）
微服务（6）
架构（6）
html（5）
神经网络（5）
深度学习（5）
压力测试（5）
jdbc（5）
rpc（5）
nosql（4）
spring（4）
网站（4）
express（4）
sql server（4）
nest（4）
任务调度（4）
es（4）
数据集成（4）
工具（4）
配置（4）
数据管理（4）
系统（4）
性能（4）
oracle（3）
github（3）
maven（3）
人工智能（3）
vr 视频解决方案（3）
electron（3）
容器（3）
shell（3）
socket编程（3）
kerberos（3）
性能测试（3）
实时数仓（3）
测试（3）
工作（3）
行业（3）
集群（3）
内存（3）
设计（3）
实践（3）
索引（3）
原理（3）
对象存储（2）
官方文档（2）
数据挖掘（2）
css（2）
ajax（2）
android（2）
ide（2）
lucene/solr（2）
nginx（2）
容器镜像服务（2）
海外加速（2）
mongodb（2）
rollup.js（2）
kubernetes（2）
uml（2）
架构设计（2）
5g（2）
迁移（2）
clickhouse（2）
报表（2）
产品（2）
磁盘（2）
函数（2）
后端（2）
监控（2）
解决方案（2）
模型（2）
排序（2）
事件（2）
异常（2）
最佳实践（2）
负载均衡（1）
自动驾驶（1）
ios（1）
iphone（1）
php（1）
go（1）
lua（1）
erlang（1）
regex（1）
react（1）
typescript（1）
postgresql（1）
flask（1）
sqlalchemy（1）
git（1）
搜索引擎（1）
负载均衡缓存（1）
专用宿主机（1）
云数据迁移（1）
日志服务（1）
腾讯云可观测平台（1）
命令行工具（1）
云数据库 MongoDB（1）
es 2（1）
图像处理（1）
数据备份（1）
电商（1）
出行（1）
serverless（1）
游戏（1）
无人驾驶（1）
jdk（1）
推荐系统（1）
markdown（1）
zabbix（1）
微信（1）
机器人（1）
物联网（1）
系统架构（1）
腾讯云开发者社区（1）
安全治理（1）
raft（1）
实时监控（1）
数据库管理（1）
流计算 Oceanus（1）
大数据存储（1）
汽车（1）
腾讯云（1）
bi（1）
bigdata（1）
block（1）
class（1）
code（1）
combine（1）
configuration（1）
csv（1）
data（1）
dp（1）
export（1）
fifo（1）
hash（1）
import（1）
ip（1）
key（1）
memory（1）
mysql（1）
netty（1）
populate（1）
properties（1）
pulsar（1）
queue（1）
rank（1）
root（1）
scheduler（1）
select（1）
state（1）
sum（1）
table（1）
task（1）
time（1）
vi（1）
window（1）
报表工具（1）
登录（1）
队列（1）
服务（1）
高性能（1）
管理（1）
规范化（1）
基础（1）
架构师（1）
接口（1）
连接（1）
日志（1）
入门（1）
实时计算（1）
数据采集（1）
数据同步（1）
算法（1）
微信公众号（1）
线程（1）
效率（1）
协议（1）
研发（1）
语法（1）
中间件（1）
字符串（1）
搜索文章
搜索
搜索
关闭
我出题，你来算。根据Flink TaskManager内存模型，各部分内存分配？
jvm
flink
大数据
缓存
Hi，我是王知无，一个大数据领域的原创作者。 先上一张官方给出的Flink(1.10版本以后)内存模型图示：
王知无-import_bigdata
2022-03-11
583
0
【Spark重点难点】你的代码跑起来谁说了算？(内存管理)
spark
存储
文件存储
缓存
jvm
这节课我们要讲的是Spark中的 【内存模型】，也就是决定我们Spark代码运行所需要的资源信息。
王知无-import_bigdata
2021-12-08
626
0
Flink重点难点：内存模型与内存结构
flink
大数据
jvm
文件存储
java
Java 虚拟机在执行Java程序的过程中会把它在主存中管理的内存部分划分成多个区域，每个区域存放不同类型的数据。下图所示为java虚拟机运行的时候，主要的内存分区：
王知无-import_bigdata
2021-09-22
1.2K
0
真·屠龙之术 | 一次SparkSQL性能分析与优化之旅及相关工具小结
linux
java
编程算法
官方文档
jvm
本文是一个OLAP数据源接入到SparkSQL并进行优化的过程。本文总结了调优过程当中一些可以借鉴与讨论的地方，鉴于本人水平有限，还请有这方面调优经验的同学不吝赐教。
王知无-import_bigdata
2021-01-06
1.1K
0
Hive性能调优 | 并行执行/严格模式/JVM重用/推测执行
jvm
hadoop
hive
mapreduce
xml
通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。
王知无-import_bigdata
2020-11-06
718
0
实战案例分享：根据 JVM crash 日志定位和分析问题
jvm
文件存储
面向对象编程
下面是一份crash report, 下面是截取了crash report的部分，用于分析：
王知无-import_bigdata
2020-11-06
2.2K
0
Apache Doris在作业帮实时数仓中的应用实践
jvm
编程算法
在Java里经常会判断一个对象是否为空，如果为空的对象访问方法，字段会抛出空指针异常，而空指针异常为运行异常，如果不抓取这个异常，有的时候会导致程序异常，为了解决这个问题，我们通常会在代码里显式的去判断该对象是否为空，进行为空的逻辑处理，这种做法逻辑虽然明确，但是由于空的逻辑并不是经常碰到，这样会导致有多余的逻辑分支判断。
王知无-import_bigdata
2020-11-06
1.2K
0
JVM架构体系与GC命令小总结
jvm
java
编程算法
海外加速
缓存
Java虚拟机Java virtual machine(JVM) 是物理机器的软件实现。java编译器javac将源码文件.java编译成字节码文件.class，然后这个字节码文件.class被放到JVM中，装载并执行字节码文件.class。JVM架构图如下。
王知无-import_bigdata
2020-06-11
512
0
Flink 1.10之改进的TaskManager内存模型与配置
jvm
缓存
flink
大数据
容器
Flink社区在FLIP-49提出了新版统一的TaskManager内存模型及配置，这也是Flink 1.10版本最主要的改进与优化点之一。根据社区的说法，该proposal致力于解决1.9版本及之前的TM内存配置的三个缺点：
王知无-import_bigdata
2020-05-20
3K
1
HBase优化笔记
hbase
TDSQL MySQL 版
缓存
jvm
编程算法
一般安装好的HBase集群，默认配置是给Master和RegionServer 1G的内存，而Memstore默认占0.4，也就是400MB。显然RegionServer给的1G真的太少了。
王知无-import_bigdata
2020-04-02
1.1K
0
Hbase FAQ热门问答小集合
hbase
TDSQL MySQL 版
jvm
zookeeper
问：Hbase大量写入很慢，一个列族，每个200多列，一秒写30000条数据，使用mutate添加数据，clientbuffer缓存大小为10M，四台测试机，128G内存，分配60G给Hbase，该怎么优化？
王知无-import_bigdata
2020-03-18
444
0
Flink原理 | Flink中的数据抽象及数据交换过程
大数据
jvm
文件存储
java
场景描述：Flink作为一个高效的流框架，为了避免JVM的固有缺陷（java对象存储密度低，FGC影响吞吐和响应等），必然走上自主管理内存的道路。
王知无-import_bigdata
2019-12-05
2K
1
Apache Flink的内存管理
文件存储
java
大数据
jvm
scala
JVM： JAVA本身提供了垃圾回收机制来实现内存管理 现今的GC（如Java和.NET）使用分代收集（generation collection），依照对象存活时间的长短使用不同的垃圾收集算法，以达到最好的收集性能。 以Java为例，整个Java堆可以切割成为三个部分： Young： Eden：存放新生对象。 Survivor：存放经过垃圾回收没有被清除的对象。 semi-Spaces：和Survivor做Copying collection。 Tenured：对象多次回收没有被清除，则移到该区块。 Pe
王知无-import_bigdata
2019-11-19
1.1K
0
助力秋招-独孤九剑荡剑式 | Java语言&基础面试题
hashmap
jvm
云数据库 SQL Server
数据库
sql
https://blog.csdn.net/sufu1065/article/details/88051083
王知无-import_bigdata
2019-09-16
631
0
聊聊page cache与Kafka之间的事儿
缓存
kafka
linux
jvm
关于Kafka的一个灵魂拷问：它为什么这么快？ 或者说，为什么它能做到如此大的吞吐量和如此低的延迟？
王知无-import_bigdata
2019-08-16
4.9K
0
Spark内存调优
spark
文件存储
存储
jvm
缓存
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。
王知无-import_bigdata
2019-06-03
1.2K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档