腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

暴走大数据

专栏作者

298

文章

532782

阅读量

99

订阅数

Flink RocksDB托管内存机制的幕后—Cache & Write Buffer Manager

大数据 flink vr 视频解决方案编程算法缓存

为了解决Flink作业使用RocksDB状态后端时的内存超用问题，Flink早在1.10版本就实现了RocksDB的托管内存(managed memory)机制。用户只需启用state.backend.rocksdb.memory.managed参数(默认即为true)，再设定合适的TaskManager托管内存比例taskmanager.memory.managed.fraction，即可满足多数情况的需要。

大数据真好玩

2022-06-17

1.2K0

六大方法彻底解决Flink Table & SQL维表Join

flink 大数据 sql 缓存存储

随着 Flink Table & SQL的发展，Flink SQL中用于进行维表Join也成为了很多场景的选择。

大数据真好玩

2021-11-16

3.1K0

Flink 1.10+之改进的TaskManager内存模型与配置

jvm 缓存 flink 大数据容器

Flink社区在FLIP-49提出了新版统一的TaskManager内存模型及配置，这也是Flink 1.10版本最主要的改进与优化点之一。根据社区的说法，该proposal致力于解决1.9版本及之前的TM内存配置的三个缺点：

大数据真好玩

2021-11-05

5990

Apache Spark 内存管理(堆内/堆外)详解

文件存储存储 jvm 缓存 spark

本文旨在梳理出Spark内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于Spark 2.1版本，阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。

大数据真好玩

2021-09-18

1.1K0

分布式文件系统HDFS原理一网打尽

缓存 api 大数据存储

HDFS是一个分布式文件系统，具有良好的扩展性、容错性以及易用的API。核心思想是将文件切分成等大的数据块，以多副本的形式存储到多个节点上。HDFS采用了经典的主从软件架构，其中主服务被称为NameNode，管理文件系统的元信息，而从服务被称为DataNode，存储实际的数据块，DataNode与NameNode维护了周期性的心跳，为了防止NameNode出现单点故障，HDFS允许一个集群中存在主NameNode，并通过ZooKeeper完成Active NameNode的选举工作。HDFS提供了丰富的访问方式，用户可以通过HDFS shell，HDFS API，数据收集组件以及计算框架等存取HDFS上的文件。

大数据真好玩

2021-07-30

9330

Hbase性能优化百科全书

hbase TDSQL MySQL 版缓存数据库 sql

本文集合了小编在日常学习和生产实践中遇到的使用Hbase中的各种问题和优化方法，分别从表设计、rowkey设计、内存、读写、配置等各个领域对Hbase常用的调优方式进行了总结，希望能对读者有帮助。本文参考结合自己实际优化经验，参考了大量官网和各个前辈的经验，调优后生产环境中的Hbase集群支撑了约50万/s的读和25万/s的写流量洪峰。感谢各位的经验和付出。

大数据真好玩

2021-01-27

1.1K0

【大数据哔哔集20210117】Spark面试题灵魂40问

spark 大数据编程算法缓存 kafka

1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类 local：只启动一个executor local[k]:启动k个executor local[ * ]:启动跟cpu数目相同的 executor

大数据真好玩

2021-01-26

8040

Flink流量控制与反压机制完全总结

缓存 flink 大数据 socket编程 java

笔者最近回顾自己对Flink技术栈细节的理解，发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题，但是不完全理解背后的实现显然说不过去。于是专门写一篇总结，站在大佬们的肩膀上彻底搞清楚Flink是怎么做流控与处理反压的。

大数据真好玩

2020-11-04

1.6K0

ES原理三连击 | 写入原理/查询原理/倒排索引

es 缓存搜索引擎 lucene/solr java

es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？

大数据真好玩

2020-11-03

2.9K0

ES运维实战之系统性能调优

缓存 Elasticsearch Service node.js

文件句柄 Linux中，每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说，显然太小，通过修改/etc/security/limits.conf来增大打开最大句柄数

大数据真好玩

2020-11-03

8410

解密 Redis 助力双 11 背后电商秒杀系统

云数据库 Redis 数据库 sql 缓存消息队列 CMQ 版

秒杀活动是绝大部分电商选择的低价促销、推广品牌的方式。不仅可以给平台带来用户量，还可以提高平台知名度。一个好的秒杀系统，可以提高平台系统的稳定性和公平性，获得更好的用户体验，提升平台的口碑，从而提升秒杀活动的最大价值。

大数据真好玩

2019-11-05

9060

MySQL 性能优化之骨灰级，高阶神技！

ios 数据库云数据库 SQL Server sql 缓存

MySQL调优对于很多程序员而言，都是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。

大数据真好玩

2019-10-30

4010

战斗民族开源 | ClickHouse万亿数据双中心的设计与实践

数据库 sql nginx 大数据缓存

场景描述：Clickhouse是一个用于联机分析处理（OLAP）的列式数据库管理系统。

大数据真好玩

2019-10-30

1.1K0

通俗易懂的”幂等”解读，及8种方案解决重复提交

缓存云数据库 Redis sql 分布式

在提交后执行页面重定向，这就是所谓的Post-Redirect-Get (PRG)模式。简言之，当用户提交了表单后，你去执行一个客户端的重定向，转到提交成功信息页面。这能避免用户按F5导致的重复提交，而其也不会出现浏览器表单重复提交的警告，也能消除按浏览器前进和后退按导致的同样问题。

大数据真好玩

2019-10-30

9390

如何做好 Elasticsearch 性能指标监控

Elasticsearch Service 缓存 jvm 搜索引擎

场景描述：本文是较早的一篇关于Elasticsearch性能指标监控的博文，内容总结全面，作者 Emily Chang，原文地址：https://www.datadoghq.com/blog/monitor-elasticsearch-performance-metrics，由杨文波同学翻译。

大数据真好玩

2019-10-23

1.5K0

从 PageRank Example 谈 Spark 应用程序调优

php 缓存 spark 企业

场景描述：最近做了关于Spark Cache性能测试，开始是拿BigData-Benchmark中Spark KMeans来作为测试基准，分别测试各种Cache下应用程序的运行速度，最后使用Spark PageRank Example来验证。在做PageRank测试时，发现有很多有趣的调优点，想到这些调优点可能对用户来说是普遍有效的，现把它整理出来一一分析，以供大家参考。

大数据真好玩

2019-10-15

3140

聊聊分布式系统架构

rpc 分布式开源缓存文件存储

一、分布式系统的经典基础理论 1、分布式系统设计的两大思路：中心化和去中心化中心化：中心化的设计思想在自然界和人类生活中是如此的普遍和自然，它的设计思想也很简单，分布式集群中的节点按照角色分工，可以分为两种角色--“领导”和“干活的”，中心化的一个思路就是“领导”通常分发任务并监督“干活的”，谁空闲了就给它安排任务，谁病倒了就一脚踢出去，然后把它的任务分给其他人；中心化的另一个思路是领导只负责生成任务而不再指派任务，由每个“干活的”自发去领任务。去中心化：全球IP互联网就是一个典型的去中心化的分布式控

大数据真好玩

2019-09-04

1.2K0

Spark Core源码精读计划16 | 通过ExecutorAllocationManager实现动态Executor分配

缓存 spark http

按照SparkContext初始化的顺序，接下来就轮到调度系统的三大金刚——SchedulerBackend、TaskScheduler、DAGScheduler——出场了。与它们相关的细节非常多，绝不是一两篇文章能够讲清楚的，所以我们之后讲到Spark作业执行时，再自然地回过头详细看它们。本篇来讲解SparkContext初始化的倒数第二个组件：Executor分配管理器，即ExecutorAllocationManager。前面已经讲过，ExecutorAllocationManager可以通过与集群管理器联系，根据当前的负载动态增加或删除Executor，是一个比较智能的机制。

大数据真好玩

2019-08-19

8720

关于Redis的几件小事 | 缓存与数据库双写时的数据一致性

缓存数据库 sql 压力测试

这是最经典的缓存+数据库读写模式，操作如下： ①读的时候，先读缓存，缓存没有就读数据库，然后将取出的数据放到缓存，同时返回请求响应。

大数据真好玩

2019-08-08

4910

关于Redis的几件小事 | 持久化/缓存雪崩与穿透

云数据库 Redis 缓存数据库 sql

redis持久化的意义，在于故障恢复。如果没有对数据进行持久化，那么如果redis遇到灾难性的故障，就会丢失所有的数据。如果通过redis的持久化机制将数据持久化到硬盘上面去，然后在定期将磁盘上的文件备份到一起其他的服务器上面(比如:云服务器),这样就可以保证即使redis遇到了灾难事故，也可以使用提前备份的文件对数据进行回复，之后丢失最近的一部分数据，而不会全部丢失数据。

大数据真好玩

2019-08-08

1.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态