学习
实践
活动
专区
工具
TVP
写文章
  • 广告
    关闭

    新年·上云精选

    热卖云产品新年特惠,2核2G轻量应用服务器9元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Apache Kafka性能优化

    什么是Apache Kafka? Apache Kafka是一个发布-订阅消息系统。 由LinkedIn发起,于2011年初开源。 对生产者的优化建议 1.使用正确的消息确认选项 消息一旦发送到了broker,你想等多久?可通过下面这个选项来设置。 更多的这些设置可参考https://kafka.apache.org/08/configuration.html(不仅包含超时设置,还包括其它的设置如重试和入队列等)。 对Broker的优化建议 1.预备更多的分区 1.1 消费者的数量应该同分区的数量一样多,所以为了更多的并发处理就需要有更多的分区。 1.2 但更多的分区会增加延时。 8.设计和优化你的消息者并适当的向前’pipeline’。 9.选择超时和其它比较重要的配置选项如自动提交等。

    79160

    Apache 站点优化-长连接

    长连接介绍 面临问题: http是一个面向连接的协议,用户完成一次请求需要以下步骤 三次握手 发起请求 响应请求 四次断开 N个请求就重复N次,如果希望用户能够更快的拿到数据,服务器的压力降到最低,让你去优化这个请求过程 解决方案: 答案很明确,那就是建设每次执行的三次握手和四次断开,最好是一次三次握手建立成功后,在这个数据通道完成所有的请求后,然后在四次断开,这就是优化思路–理想中应该是这样。 请求全部完成后,四次断开 优化目的: 减少了三次握手和四次断开的次数。 注意事项: 长连接需要服务器和客户端浏览器都支持 长连接特点: 提升用户访问速度 降低服务器压力 大量空闲长连接可能造成服务器压力过大 二、长连接实现 apache2.4默认开启了长连接,长连接时间为5s

    7020

    Apache Kylin Cube优化方式

    二 :Cube 维度优化主要方式 CubeID 剪枝优化 衍生维度优化 聚合组优化 强制维度 层次维度 联合维度 Cube并发粒度优化 上面的优化方式,都可以认为是对维度的一种剪枝,因为每种优化的最终的目的都是为了减少 kylin.properties中参数xxx=4096 也就是说当cubeid数量大于4096个时是无法进行创建的,会报error 为: 1.检查Cubeid数目 执行命令 :bin/kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader kylin.hbase.region.count.max=100,kylin.hbase.region.cut=1 上面设置为最小为2个分区,每个分区大小为1G,最多设置100个region分区 参考资料 : http://kylin.apache.org /blog/2016/02/18/new-aggregation-group/ http://kylin.apache.org/docs/howto/howto_optimize_cubes.html Apache Kylin 权威指南

    11720

    Apache站点优化-数据压缩

    apache支持两种压缩:deflate、gzip mod_gzip 和mod_deflate比较 首先一个区别是安装它们的Apache Web服务器版本的差异。 Apache 1.x系列没有内建网页压缩技术,所以才去用额外的第三方mod_gzip 模块来执行压缩。 而Apache 2.x官方在开发的时候,就把网页压缩考虑进去,内建了mod_deflate 这个模块,用以取代mod_gzip。虽然两者都是使用的Gzip压缩算法,它们的运作原理是类似的。 应用场景:数据压缩传输 优化目的:提升用户访问页面加载速度,节约带宽 二、数据压缩实现 1)开启模块 LoadModule deflate_module modules/mod_deflate.so 2 no-gzip dont-vary </IfModule> 三、测试 1)生成HTML数据页面 for i in `seq 1 20`;do cat /etc/passwd >> /usr/local/apache

    7220

    Apache Kylin的实践与优化

    从2016年开始,美团到店餐饮技术团队就开始使用Apache Kylin作为OLAP引擎,但是随着业务的高速发展,在构建和查询层面都出现了效率问题。 基于Kylin的这套系统,在构建和查询上均出现了严重的效率问题,从而影响到数据的分析决策,并给用户体验优化带来了很大的阻碍。 擎天早在2016年就使用Kylin作为OLAP引擎,历史任务没有切换,仅仅针对MapReduce做了参数优化。 SLA整体达成率 经过了由点及面的整体优化,擎天于2020年6月SLA达成率达到100%。如下图所示: ? 展望 Apache Kylin在2015年11月正式成为Apache基金会的顶级项目。 从开源到成为Apache顶级项目,只花了13个月的时间,而且它也是第一个由中国团队完整贡献到Apache的顶级项目。

    37730

    优化你的Apache Kafka部署

    翻译自 https://www.confluent.io/wp-content/uploads/Optimizing-Your-Apache-Kafka-Deployment-1.pdf 前言 Apache 这份白皮书涉及到如果确定你的服务目标,配置你的Kafka部署来优化它们,通过监控来确保达到了你的目标。 ? 327.png 确定针对哪些服务目标作优化 第一步是先确定你希望针对哪些服务目标作优化。 这不是说我们对目标中的一个作优化而完全丢掉其他的。它仅仅意味着这些服务目标都是有内在联系的,但你不可能在同一时间内对所有的都作出优化。 确定对哪些服务目标作优化的第二个重要原因是你能够并且也可以通过调整Kafka配置参数到达成它。你需要明白你的用户期望从系统中得到什么来确保你优化Kafka来完成他们需要的。 消费者: auto.commit.enable=false (default true) 优化可用性 为了优化高可用性,你需要调整Kafka,以便其能够快速从故障中恢复。

    44220

    Apache Kylin 深入Cube和查询优化

    Cube优化原理 从以上案例可以看出,通过Cube调优可以显著改善Apache Kylin的构建性能、查询性能及Cube膨胀率。那么这些改进的背后究竟是什么原理呢? 通过这个评分,就可以一眼对整个Apache Kylin的性能体现有一个直观认识,也可以直观地看出Cube优化的重要性和必要性。 如要优化,建议检查集群资源配置和调度。 ? 图14 MapReduce任务生命周期 寻找查询瓶颈 查询是Apache Kylin的强项,但也存在种种因素导致某些查询变慢。 图17 待优化查询(1) 图16的区域3是该查询执行的生命周期,其中绿色泳道代表Apache Kylin查询节点的线程,蓝色泳道代表HBase节点的执行线程。 图 - 18待优化查询(2) 总结 本文着重介绍了Apache Kylin中对Cube和查询进行优化的原理、工具、方案和案例,希望能够帮助使用Apache Kylin的朋友解决工作上的棘手问题。

    1.2K80

    Apache Kylin优化之—Cube的高级设置

    为了缓解 Cube 的构建压力,Apache Kylin 引入了一系列的高级设置,帮助用户筛选出真正需要的 Cuboid。 众所周知,Apache Kylin 的主要工作就是为源数据构建 N 个维度的 Cube,实现聚合的预计算。 此时,Apache Kylin 会通过在线计算的方式,从现有的 Cuboid 中计算出最终结果。 系列总结 根据本系列的原理介绍,在Kylin的高级设置中,用户可以根据查询需求对Cube构建预计算的结果进行优化(剪枝),从而减少占用的存储空间。 而优化得当的Cube可以在占用尽量少的存储空间的同时提供极强的查询性能。 转载理由: 圣人之下,皆是蝼蚁。 推荐阅读: ApacheKylinv2.0最新功能和深度 技术解读

    66070

    Apache Calcite 框架 50 倍性能优化实践

    于是我就开始了这段性能优化之旅。 1、Calcite 简介 Apache Calcite是一款开源的动态数据管理框架,它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力,但不包括数据存储、处理数据的算法和存储元数据的存储库 (Rule)进行优化; 4)SQL 执行,按照执行计划执行。 如果当前类型的“表”能够支持我们自己写代码优化这个过滤器,那么执行完自定义优化器,可以把该过滤条件从集合中移除,否则,就让calcite来过滤,简言之就是,如果我们不处理List filters ,Calcite Cacite 在这个地方通过设置缓存大小来优化缓存设置。 org.apache.calcite.interpreter.JaninoRexCompiler#baz ?

    1.8K10

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 流计算 Oceanus

      流计算 Oceanus

      流计算 Oceanus 是基于Flink构建的云上全托管的实时计算服务。您无须关注基础设施运维,通过云端一站式开发环境,轻松构建点击流分析、电商精准推荐、金融风控、物联网 IoT 等应用。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券