首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Apache Kafka性能优化

什么是Apache Kafka? Apache Kafka是一个发布-订阅消息系统。 由LinkedIn发起,于2011年初开源。...对生产者的优化建议 1.使用正确的消息确认选项 消息一旦发送到了broker,你想等多久?可通过下面这个选项来设置。...更多的这些设置可参考https://kafka.apache.org/08/configuration.html(不仅包含超时设置,还包括其它的设置如重试和入队列等)。...对Broker的优化建议 1.预备更多的分区 1.1 消费者的数量应该同分区的数量一样多,所以为了更多的并发处理就需要有更多的分区。 1.2 但更多的分区会增加延时。...8.设计和优化你的消息者并适当的向前’pipeline’。 9.选择超时和其它比较重要的配置选项如自动提交等。

1.4K60

Apache 站点优化-长连接

长连接介绍 面临问题: http是一个面向连接的协议,用户完成一次请求需要以下步骤 三次握手 发起请求 响应请求 四次断开 N个请求就重复N次,如果希望用户能够更快的拿到数据,服务器的压力降到最低,让你去优化这个请求过程...解决方案: 答案很明确,那就是建设每次执行的三次握手和四次断开,最好是一次三次握手建立成功后,在这个数据通道完成所有的请求后,然后在四次断开,这就是优化思路–理想中应该是这样。...请求全部完成后,四次断开 优化目的: 减少了三次握手和四次断开的次数。...注意事项: 长连接需要服务器和客户端浏览器都支持 长连接特点: 提升用户访问速度 降低服务器压力 大量空闲长连接可能造成服务器压力过大 二、长连接实现 apache2.4默认开启了长连接,长连接时间为5s

50120

Apache Kylin Cube优化方式

二 :Cube 维度优化主要方式 CubeID 剪枝优化 衍生维度优化 聚合组优化 强制维度 层次维度 联合维度 Cube并发粒度优化 上面的优化方式,都可以认为是对维度的一种剪枝,因为每种优化的最终的目的都是为了减少...kylin.properties中参数xxx=4096 也就是说当cubeid数量大于4096个时是无法进行创建的,会报error 为: 1.检查Cubeid数目 执行命令 :bin/kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader...kylin.hbase.region.count.max=100,kylin.hbase.region.cut=1 上面设置为最小为2个分区,每个分区大小为1G,最多设置100个region分区 参考资料 : http://kylin.apache.org.../blog/2016/02/18/new-aggregation-group/ http://kylin.apache.org/docs/howto/howto_optimize_cubes.html...Apache Kylin 权威指南

44820

Apache Kylin的实践与优化

从2016年开始,美团到店餐饮技术团队就开始使用Apache Kylin作为OLAP引擎,但是随着业务的高速发展,在构建和查询层面都出现了效率问题。...基于Kylin的这套系统,在构建和查询上均出现了严重的效率问题,从而影响到数据的分析决策,并给用户体验优化带来了很大的阻碍。...擎天早在2016年就使用Kylin作为OLAP引擎,历史任务没有切换,仅仅针对MapReduce做了参数优化。...SLA整体达成率 经过了由点及面的整体优化,擎天于2020年6月SLA达成率达到100%。如下图所示: ? 展望 Apache Kylin在2015年11月正式成为Apache基金会的顶级项目。...从开源到成为Apache顶级项目,只花了13个月的时间,而且它也是第一个由中国团队完整贡献到Apache的顶级项目。

83630

Apache站点优化-数据压缩

apache支持两种压缩:deflate、gzip mod_gzip 和mod_deflate比较 首先一个区别是安装它们的Apache Web服务器版本的差异。...Apache 1.x系列没有内建网页压缩技术,所以才去用额外的第三方mod_gzip 模块来执行压缩。...而Apache 2.x官方在开发的时候,就把网页压缩考虑进去,内建了mod_deflate 这个模块,用以取代mod_gzip。虽然两者都是使用的Gzip压缩算法,它们的运作原理是类似的。...应用场景:数据压缩传输 优化目的:提升用户访问页面加载速度,节约带宽 二、数据压缩实现 1)开启模块 LoadModule deflate_module modules/mod_deflate.so 2...no-gzip dont-vary 三、测试 1)生成HTML数据页面 for i in `seq 1 20`;do cat /etc/passwd >> /usr/local/apache

51820

优化你的Apache Kafka部署

翻译自 https://www.confluent.io/wp-content/uploads/Optimizing-Your-Apache-Kafka-Deployment-1.pdf 前言 Apache...这份白皮书涉及到如果确定你的服务目标,配置你的Kafka部署来优化它们,通过监控来确保达到了你的目标。 ? 327.png 确定针对哪些服务目标作优化 第一步是先确定你希望针对哪些服务目标作优化。...这不是说我们对目标中的一个作优化而完全丢掉其他的。它仅仅意味着这些服务目标都是有内在联系的,但你不可能在同一时间内对所有的都作出优化。...确定对哪些服务目标作优化的第二个重要原因是你能够并且也可以通过调整Kafka配置参数到达成它。你需要明白你的用户期望从系统中得到什么来确保你优化Kafka来完成他们需要的。...消费者: auto.commit.enable=false (default true) 优化可用性 为了优化高可用性,你需要调整Kafka,以便其能够快速从故障中恢复。

78020

Apache Kylin 深入Cube和查询优化

Cube优化原理 从以上案例可以看出,通过Cube调优可以显著改善Apache Kylin的构建性能、查询性能及Cube膨胀率。那么这些改进的背后究竟是什么原理呢?...通过这个评分,就可以一眼对整个Apache Kylin的性能体现有一个直观认识,也可以直观地看出Cube优化的重要性和必要性。...如要优化,建议检查集群资源配置和调度。 ? 图14 MapReduce任务生命周期 寻找查询瓶颈 查询是Apache Kylin的强项,但也存在种种因素导致某些查询变慢。...图17 待优化查询(1) 图16的区域3是该查询执行的生命周期,其中绿色泳道代表Apache Kylin查询节点的线程,蓝色泳道代表HBase节点的执行线程。...图 - 18待优化查询(2) 总结 本文着重介绍了Apache Kylin中对Cube和查询进行优化的原理、工具、方案和案例,希望能够帮助使用Apache Kylin的朋友解决工作上的棘手问题。

1.9K80

Apache Kylin优化之—Cube的高级设置

为了缓解 Cube 的构建压力,Apache Kylin 引入了一系列的高级设置,帮助用户筛选出真正需要的 Cuboid。...众所周知,Apache Kylin 的主要工作就是为源数据构建 N 个维度的 Cube,实现聚合的预计算。...此时,Apache Kylin 会通过在线计算的方式,从现有的 Cuboid 中计算出最终结果。...系列总结 根据本系列的原理介绍,在Kylin的高级设置中,用户可以根据查询需求对Cube构建预计算的结果进行优化(剪枝),从而减少占用的存储空间。...而优化得当的Cube可以在占用尽量少的存储空间的同时提供极强的查询性能。 转载理由: 圣人之下,皆是蝼蚁。 推荐阅读: ApacheKylinv2.0最新功能和深度 技术解读

1.1K70
领券