腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
-
服务器
上
的
内存
限制
apache-kafka
我达到了安装
kafka
的
服务器
的
内存
限制
。你能告诉我怎样才能检测到哪个主题占用
的
空间最多吗?或者一般情况下如何解决这个问题。
浏览 43
提问于2020-11-03
得票数 0
1
回答
Openshift资源
限制
和页面缓存
openshift-origin
我在Openshift
上
运行了一个
Kafka
集群。据我所知,
Kafka
的
性能依赖于页面缓存。我正在尝试理解如何最好地
限制
Kafka
容器
上
的
资源,以便它有效地工作。假设只有
Kafka
容器在节点
上
运行,如果我将容器
的
限制
设置为5Gi,那么节点
上
剩余
的
可用
内存
将用于缓冲/缓存。我想知道,如果我将
限制
设置为1
浏览 21
提问于2017-07-25
得票数 0
1
回答
kafka
rest代理性能对其他生产者
的
影响
apache-kafka
、
confluent-rest-proxy
使用
kafka
rest代理时对性能有何影响。使用
kafka
rest代理
的
缺点/缺点是什么?
浏览 3
提问于2021-06-02
得票数 0
1
回答
如何在
kafka
-streams中
限制
rocksdb
内存
使用
docker
、
apache-kafka-streams
、
rocksdb
我正在使用
kafka
-streams,堆外
内存
使用量增长到了机器
的
物理极限。然而,当在docker中运行
kafka
-streams时,
内存
使用量超过了容器
的
限制
,因此容器会被OOM杀死。我
的
假设是rocksdb正在分配非堆空间。-Xmx可以用来
限制
堆
的
使用,但是我找不到任何与rockdb off堆
的
使用类似的东西。rocksdb是如何检测物理
内存
限制
的</
浏览 87
提问于2019-04-07
得票数 1
4
回答
Kafka
映射1073741824字节提交保留
内存
失败
apache-kafka
我正在一个亚马逊网络服务t2实例(一个有1 1gb
内存
的
实例)
上
安装
kafka
。bin/
kafka
-server-start.sh config/server.properties.#本机
内存
分配(mmap)无法映射1073741824字节以提交保留
浏览 4
提问于2016-01-24
得票数 2
回答已采纳
0
回答
在dcos中部署基于docker
的
“远程”服务-vagrant
apache-kafka
、
marathon
、
dcos
我在一台
内存
为16 on
的
物理
服务器
上部署了dcos-vagrant。我没有找到如何做到这一点
的
信息,任何指向正确方向
的
指针都将不胜感激。
浏览 7
提问于2017-12-09
得票数 0
1
回答
卡夫卡流BoundedMemoryRocksDBConfig
apache-kafka-streams
我试图了解
Kafka
流
的
内部是如何与缓存和RocksDB (状态存储)一起工作
的
。,我使用了一个由300个分区组成
的
Kafka
主题。应用程序部署在OpenShift
上
,
内存
分配为4GB。我注意到应用程序
的
内存
不断增加,直到最终出现OOMKILLED。在进行了一些研究之后,我读到自定义RocksDB配置是我应该实现
的
东西,因为对于我
的
应用程序来说,默认大小太大了。我
的
理解是正确<em
浏览 0
提问于2020-11-20
得票数 1
回答已采纳
1
回答
需要Spring
Kafka
KafkaTemplate.flush()吗?
java
、
apache-kafka
、
spring-kafka
我是第一次使用Spring
kafka
,我已经用spring
kafka
创建了一个生产者和消费者。我在本地主机上运行我
的
kafka
服务器
,并创建了一个名为test
的
主题。好
的
,它起作用了,而且非常棒。但是谁能给我解释一下幕后发生了什么?为什么需要调用flush方法。 来自官方
的
spring
kafka
文档。
浏览 18
提问于2018-01-08
得票数 3
回答已采纳
2
回答
在同一机器中创建卡夫卡经纪人和动物园管理员
的
利弊是什么?
docker
、
apache-kafka
、
apache-zookeeper
、
kafka-consumer-api
、
kafka-producer-api
我正在创建一个由3个
kafka
经纪人和3个动物园管理员组成
的
kafka
数据管道,所以我需要使用6台机器来部署3名经纪人和3名动物园管理员。有两种方法可以减少使用
的
机器。1)为了让1位
kafka
经纪人和1位动物园管理员与我在网上搜索
的
同一台物理机器保持一致,我在quora中发现会出现延迟问题,因为
kafka
broker和动物园管理员都在使用相同
的
RAM。2)使用对接器,在一台机器中分别为动物园管理员和代理创建两个连续
内存
,并
限
浏览 1
提问于2016-04-20
得票数 0
回答已采纳
1
回答
使用OGG复制(初始加载)到
Kafka
的
数据库复制
oracle
、
apache-kafka
、
database-replication
、
oracle-golden-gate
我有一个问题,复制到
Kafka
的
OGG复制(加载数据从文件复制)。
Kafka
topic大小无法伸缩,受
服务器
硬盘大小
限制
。我需要通过(初始加载)复制加载200 GB (从1个表)
的
数据,但我在远程
服务器
上
只有100 GB
的
空闲空间。是否有任何选项可以对复制进行
限制
?
浏览 22
提问于2021-02-10
得票数 0
1
回答
当超过一定阈值后不再想接收数据时,使用哪个
Kafka
生产者属性?
apache-kafka
、
kafka-producer-api
使用哪个
Kafka
生产者属性来实现以下目标? 我使用
的
是,它将消息从UDP端口发送到
Kafka
主题。如果
Kafka
生产者
的
内存
超过特定
的
MB (比如300MB),则丢弃所有消息(无需重试),并在生产者
内存
停机时再次恢复接收消息。基本
上
,如果
Kafka
broker不能接收任何消息,我会试图使我
的
服务器
免于崩溃。
浏览 3
提问于2018-08-29
得票数 2
3
回答
Kafka
broker启动
内存
问题
hadoop
、
ubuntu-14.04
、
apache-kafka
、
hadoop-streaming
我是卡夫卡和Hadoop技术
的
新手。我试图在AWS EC2 VM实例
上
安装和运行我
的
第一个单一节点,即单个代理集群,我已经完成了以下工作:2)用java相关条目更新~/.bashrc and ~/.nash_profile文件4)一旦我试图启动
kafka
broker,它就会向我抛出以下错误信息: $ bin/
kafka
-server-start.sh config/server.propertiesA
浏览 3
提问于2015-08-13
得票数 3
回答已采纳
1
回答
spark streaming中
限制
Kafka
消费数据
apache-kafka
、
spark-streaming
、
kafka-consumer-api
Spark从
kafka
获取数据。我想通过spark-streaming
限制
记录消耗。关于卡夫卡
的
数据非常庞大。我使用spark.streaming.
kafka
.maxRatePerPartition=1属性来
限制
spark中
的
记录。但是仍然在5分钟内,我收到了13400条消息。我
的
spark程序每5分钟不能处理超过1000条消息。
Kafka
topic有3个分区。我
的
spark驱动
内存
是5 3GB,有3个执行器,每个
浏览 17
提问于2018-02-06
得票数 0
1
回答
在Ubuntu18.04 EC2
上
安装Thingsboard时出错"[main] Error o.t.server.queue.
kafka
.TbKafkaAdmin - Failed to get all
apache-kafka
、
thingsboard
所以我将使用使用
Kafka
的
ThingsBoard和使用TimescaleDB
的
PostgreSQL。我曾多次尝试使用ThingsBoard安装说明在Ubuntu18.04 EC2 (亚马逊网络服务)
上
安装Thingsboard,但都失败了。给出详细
的
状态说明,我安装了它并得到一条消息"ThingsBoard安装成功!“我尝试打开ThingsBoard
的
web用户界面,但它不起作用。我试着用同样
的
说明在我
的
电脑
上
安装它,它工
浏览 4
提问于2021-01-19
得票数 0
1
回答
负载测试我们
的
弹性集群
node.js
、
elasticsearch
我们目前正在尝试加载我们
的
应用程序,这涉及到大量
的
日志记录到我们
的
弹性集群。_tickDomainCallback (internal/process/next_tick.js:218:9) 编辑:更多
的
浏览 0
提问于2018-08-24
得票数 0
1
回答
在Kubernetes中运行
Kafka
时如何管理页面缓存资源
apache-kafka
、
kubernetes
、
cgroups
、
page-caching
我在Kubernetes
上
运行
Kafka
已经有一段时间了,没有任何重大问题;然而,我最近引入了一个Cassandra吊舱集群,并开始出现卡夫卡
的
性能问题。尽管Cassandra不像
Kafka
那样使用页面缓存,但它确实经常写入磁盘,这可能会影响内核
的
底层缓存。我知道Kubernetes荚是通过cgroup管理
内存
资源
的
,cgroup可以通过在Kubernetes中设置
内存
请求和
限制
来配置这些
内存
资源,但我注意到Cass
浏览 5
提问于2018-02-04
得票数 7
回答已采纳
1
回答
如何
限制
卡夫卡
服务器
内存
?
kubernetes
、
apache-kafka
、
jvm-arguments
我想为
Kafka
服务器
9092端口设置最大值和最小
内存
值。来自Apache站点
的
配置-XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent我
的
目标是在Kubernetes仪表板中设置一个最大
内存
限值,
内存
值不应超过
浏览 4
提问于2021-07-20
得票数 0
1
回答
Apache Ignite异步方法实际
上
是如何工作
的
?
java
、
multithreading
、
asynchronous
、
ignite
我
的
问题是Apache Ignite现在有了putAsync()方法,它实际
上
是如何将我
的
数据排入队列
的
?它会进入
内存
吗?它是否会写入磁盘上
的
日志?一旦我
的
数据完成后,它是如何从未来进入数据库
的
?例如,
Kafka
,当你想发送数据时,你需要调用producer.send(),它是异步
的
,我相信
Kafka
会将你
的
请求放入一个缓冲区,后台线程会通过网络刷新该缓冲区。如果该缓冲区超过<em
浏览 32
提问于2021-01-14
得票数 0
4
回答
每个消费者订阅
Kafka
主题
的
最大
限制
apache-kafka
、
kafka-consumer-api
在
Kafka
中,一个消费者可以订阅
的
主题
的
最大
限制
是什么。我在任何地方都找不到这个记录
的
值。 如果消费者订阅了500000个或更多
的
主题,性能是否会下降。
浏览 6
提问于2017-09-19
得票数 5
1
回答
Spring cloud
Kafka
限制
单位时间内消息消耗
kotlin
、
apache-kafka
、
spring-cloud-stream
、
throttling
我有一个使用spring cloud stream
的
消费者应用程序。这个应用程序正在使用队列中
的
消息(
Kafka
),并且每条消息应用程序向4个不同
的
服务器
发出4个不同
的
HTTP调用,其中一个非常慢(10秒应答)。当队列充满消息时,例如6000,应用程序会崩溃,原因有几个(1 - netty耗尽直接
内存
,2-我们正在使用reactor,线程池变空)。有没有办法通过spring-cloud-stream或者
kafka
来
限制
消费端
的
浏览 28
提问于2020-02-12
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何用简单的方法提高WordPress内存限制?
32位系统内存限制的解决方法
Tomcat服务器配置内存和perm的操作方法
Linux服务器性能的重要指标:打开文件数的限制
微软加码对 GitHub 上的公开代码搜索的限制 | Linux 中国
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券