首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

微博基于ClickHouse灵活监控百亿流量下的业务指标

我们经常碰到多维度的数据储存和查询分析需求,比如,我们可能需要基于秒级粒度去统计某个接口 TP999 耗时,或者需要基于秒级粒度去统计微博广告在各个场景下的请求量,再或者我们需要基于分钟粒度去展示广告收入的日环比和同比...比如一个接口的耗时持续出现在 [ 0-10 ]ms 和 [ 90 -100 ]ms 两个区间,但是计算出来的平均值却是在 50ms 左右。...完整的查询 SQL 如下: SELECT datetime, quantile(0.999)(cost_time) FROM default.ods_nginx_access_log SAMPLE...此时,这张物化视图聚合表 dw_nginx_access_log_1s 就在实时聚合明细表 ods_nginx_access_log 中的数据了,我们可以通过下面这条 SQL 查询监控数据: SELECT...分主机 QPS 监控效果如下: ? 四、请求量的日环比和同比监控 在微博广告的监控需求中,经常需要对一些指标进行历史走势对比监控,如下图所示: ?

2.6K20

伴鱼事件分析平台设计

最近一,北京地区的,发生过绘本浏览行为的用户,按照年龄段分布的情况如何? 最近一,注册过伴鱼绘本的用户,7 日留存率如何?有什么变化趋势? 最近一,用户下单的转化路径上,各环节的转化率如何?...我们希望回答「最近一,在北京地区,不同年龄段的用户在下单一对一课程时,下单金额的平均数对比」这个问题。...这个问题可以很直观地拆解为下图所示的事件分析,其中: 事件类型 = 下单一对一课程 指标 = 下单金额的平均数 过滤条件 = 北京地区 维度分组 = 按照年龄段分组 时间范围 = 最近一 注:事件分析创建流程...分析查询:用户通过前端页面,进行事件、条件、维度的勾选,后端将它们拼接为 SQL 语句,从 ClickHouse 中查询数据,展示给前端页面。...事件分析可以用最朴素的 SQL 语句实现。

37010
您找到你想要的搜索结果了吗?
是的
没有找到

伴鱼事件分析平台设计

最近一,北京地区的,发生过绘本浏览行为的用户,按照年龄段分布的情况如何? 最近一,注册过伴鱼绘本的用户,7 日留存率如何?有什么变化趋势? 最近一,用户下单的转化路径上,各环节的转化率如何?...我们希望回答「最近一,在北京地区,不同年龄段的用户在下单一对一课程时,下单金额的平均数对比」这个问题。...这个问题可以很直观地拆解为下图所示的事件分析,其中: 事件类型 = 下单一对一课程 指标 = 下单金额的平均数 过滤条件 = 北京地区 维度分组 = 按照年龄段分组 时间范围 = 最近一 注:事件分析创建流程...分析查询:用户通过前端页面,进行事件、条件、维度的勾选,后端将它们拼接为 SQL 语句,从 ClickHouse 中查询数据,展示给前端页面。...事件分析可以用最朴素的 SQL 语句实现。

42720

asp.net cms_基于asp的开源项目

/SQL Server 2000/2005存储过程进行多层架构开发的内容管理系统。...浪CMS 浪CMS采用微软最新的dotNET2.0技术平台构架,基于MSSQL2005(兼容MSSQL2000)技术,是目前华中地区自主网站管理系统开发厂商之一。...浪CMS软件团队的闪耀智慧。 官网:http://www.zoomla.cn/index.shtml 6....本系统采用MS SQL 和存储过程,系统运行速度快,安全性非常好,创新的可视化标签系统和数据模型功能,让你用本系统可以建立几乎所有类型的网站,开发任何风格的网站风格。...将博CMS—JUMBOTCMS 是一套同时面向最终用户和开发者的免费的网站内容管理系统(是个人独立开发),系.net2.0开发,支持Access/SqlServer数据库。

2.5K10

干货 | CrateDb在携程机票BI的实践

举例:在价格趋势的接口中,我们提供了多种价格趋势组合:国内、国际、单程、往返、航线、航班。如果使用redis存储,需要维护同一份数据多种key的存储方式,极大地浪费了存储空间。...数据库,它结合了SQL的通晓程度和NoSQL的可扩展性和数据灵活性: a、使用SQL处理结构化或非结构化的任何类型的数据 b、以实时速度执行SQL查询,甚至JOIN和聚合 c、简单缩放 3.2 CrateDB...3.3 CrateDB与接口查询 CrateDB提供了如MYSQL的表、字段等概念(底层使用ES存储引擎),我们可以将同一份数据源进行多维度的操作,比如上述讲到的价格趋势里面基于航线和航班的价格趋势,这两个接口可以使用同一套数据源...3.4 CrateDB与接口维护 1)与接口结合使用 因为CrateDB支持标准的SQL,我们开发了机票大数据基础平台的通用性api系统,通过将取数逻辑SQL化的方式,同时利用qconfig api将新增的数据需求进行模板化...5 rancher管理CrateDB集群 3.5 与接口结合的其他优势 1)存储机制多样化,底层的存储机制支持多样化的数据类型,同时支持partition、sharding; 2)数据结构化,CrateDB

46820

图表类型,你选对了吗?

而自己在新年的头一,一方面忙于工作,试着挑战一些更高难度的工作;另一方面在积极“充电”。自然而然公众号就拖更了。不过值得庆幸的是,今天更新了。今天给大家分享的内容是如何准确选择图表类型。...大概能分为以下几类: 1)趋势 趋势是最基础的图表,包括折线图、柱状、堆积等多种形式。 2)占比 占比反应出不同部分占据总体的百分比。这类图形有饼、环形、百分比堆积条形等。...02 图表作用 我们根据亿提供的图表来详细了解各个图表的作用。 1)柱状 柱形适于比较数据之间的多少。另外,柱状可以用来观察某一事件的变化趋势。...如果将整体拆分可以做成堆积,同时观察到部分所占比重及变化趋势。 ? 2)条形 条形显示各个项目之间的比较情况,和柱状类似的作用。柱状是纵向显示,条形是横向显示。 ?...11)漏斗 漏斗用来表示层筛选的过程,主要用于转化过程。 ? 12)地理 地理呈现出跟地理相关的。可以用来显示气温和地理的关系等。常见有区域地图、散点地图、热力地图等。 ?

1.4K10

Mysql和Redis查询速度的对比

新的一已经开始,不知道小伙伴今天状态可好啊?状态的好坏关系到学习和工作效率。工具也是一样,专注的方向不同,决定了在不同的场景,会有各自的优势。...结果是:我们发现mysql用了996.98ms。而redis用了114.77ms。(效果如下) Mysql: ? Redis: ?...也就是说100ms左右的加载速度,人眼看到的基本上就是秒加载了。 这里的对比并不是说Mysql不好,而且这个对比也是有一定的问题,因为本人的SQL查询语句可能优化并不是特别好。...不提供对SQL的支持:如果不支持SQL这样的工业标准,将会对用户产生一定的学习和应用迁移成本; 2....支持的特性不够丰富:现有产品所提供的功能都比较有限,大多数NoSQL数据库都不支持事务,也不像MS SQL Server和Oracle那样能提供各种附加功能,比如BI和报表等。

5.2K10

五分钟 SQL Server 学习入门——基本篇

我也是在后来把基础知识学完之后,才看到一张,很棒的学习路线图。先把这个分享给大家: 对于这张,相信不用多解释了吧。...什么是SQL? SQL 指结构化查询语言 SQL 使我们有能力访问数据库 SQL 是一种 ANSI 的标准计算机语言 SQL 是一门 ANSI 的标准计算机语言,用来访问和操作数据库系统。...SQL 可与数据库程序协同工作,比如 MS Access、DB2、Informix、MS SQL Server、Oracle、Sybase 以及其他数据库系统。...SQL 面向数据库执行查询 SQL 可从数据库取回数据 SQL 可在数据库中插入新的记录 SQL 可更新数据库中的数据 SQL 可从数据库删除记录 SQL 可创建新数据库 SQL 可在数据库中创建新表...RDBMS 是 SQL 的基础,同样也是所有现代数据库系统的基础,比如 MS SQL Server, IBM DB2, Oracle, MySQL 以及 Microsoft Access

2.1K40

ASPCMS_net开源项目

浪CMS【不提供下载】 浪CMS采用微软最新的dotNET2.0技术平台构架,基于MSSQL2005(兼容MSSQL2000)技术,是目前华中地区自主网站管理系统开发厂商之一。...浪CMS软件团队的闪耀智慧。 官网:http://www.zoomla.cn/index.shtml 6....本系统采用MS SQL 和存储过程,系统运行速度快,安全性非常好,创新的可视化标签系统和数据模型功能,让你用本系统可以建立几乎所有类型的网站,开发任何风格的网站风格。...风讯FoosunCMS FoosunCMS是一款具有强大的功能的基于ASP+ACCESS/MSSQL构架的内容管理软件,国内领先的第一款开源的、集成web2.0元素的、模块化的CMS建站系统。...将博CMS—JUMBOTCMS【需要保留版权】 是一套同时面向最终用户和开发者的免费的网站内容管理系统(是个人独立开发),系.net2.0开发,支持Access/SqlServer数据库。

1.3K20
领券