CAT总体介绍 CAT(Central Application Tracking)是由吴其敏（前大众点评首席架构师，现携程架构负责人）主导设计基于Java开发打造的实时应用监控平台，为大众点评网提供了全面的监控服务和决策支持...CAT作为大众点评网基础监控组件，它已经在中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等）中得到广泛应用，为点评各业务线提供系统的性能指标、健康状况、基础告警等。 CAT解决什么问题？...2000+ 业务应用（包括部分.net以及Job） 7000+ 应用服务器 50TB 消息，~450亿消息（每天） 项目地址：https://github.com/dianping/cat 大众点评网监控系统架构剖析...点评这些也在用，主要是zabbix，他和CAT互相补充。 之前小米开源的系统应该也是基于指标的画图以及告警，和CAT应该是两类不同的系统。...App监控点评做了三个部分： 返回码系统（多维度下，API、城市、运营商、网络、APP版本等） 实时Crash日志（版本、平台、模块等维度） 测速系统（打开一个APP某个页面的分段速度测试，一个页面可能包括广告
，提高认知，比如写点评、分享、收藏等。...此外，面对大众点评超大数据流量的冲击，我们还要保证时效性和稳定性，这对系统也提出了非常高的要求。在这样的背景下，我们搭建了一套用户行为系统（User Action System，以下简称UAS）。...无法满足现有业务系统的查询需求，如何让系统既统一又灵活？这对我们的业务架构能力提出了新要求。 针对问题模型，方案思考 格式统一 面对繁杂的格式，我们如何进行统一？...系统整体架构 针对这样的一些想法，开始搭建我们的UAS系统，下图是UAS系统目前的整体架构： ?...---------- END ---------- 也许你还想看 大众点评账号业务高可用进阶之路 数据驱动精准化营销在大众点评的实践 WWDC案例解读：大众点评相机直接扫描支付是怎么实现的
项目地址：https://github.com/dianping/cat 编译步骤： 这个项目比较另类，把编译需要的jar包，单独放在git分支mvn-repo...
自动化的故障模拟系统业界已有实践，如Netflix的SimianAmy，阿里的MonkeyKing等。 美团点评内部也有类似的工具，casekiller等等。...另外，在Client，当前针对美团点评使用的Thrift协议，进行： 流量染色。...多次请求，观察CAT（美团点评开发的开源监控系统，参考之前的博客）报表，其中Receive为接收到的需要转发的次数，Dispatch为实际转发数量。 ?...还会有更多的课题等待我们去攻克，希望感兴趣的同学可以一起参与进来，和我们共同把系统做得更好。 参考资料 分布式会话跟踪系统架构设计与实践，美团点评技术博客....从0到1构建美团压测工具，美团点评技术博客. javassit.
尤其是经过与大众点评的业务融合，从单一业务发展成了覆盖到店餐饮、到店综合、猫眼、外卖、酒店、旅游等多个垂直领域的综合性电商，并且在各个领域都处于行业领先的地位。...在这背后，美团点评不仅面临激烈的行业竞争，还有黑色产业（以下简称“黑产”）带来的各种风险，因为我们的业务有这样一些特点： 品类多、覆盖面广：包括几乎所有吃喝玩乐服务，其中不乏容易被销赃的品类。...用户多、商户多：美团点评拥有6亿以上用户，400万以上合作商家，覆盖了很大部分国内网民和商户。 交易高频：每日订单峰值突破千万。...所以美团点评需要一套灵活高效的风险控制系统和工作机制来防控这些风险。 归纳一下，风控系统面临的挑战有： 业务多、风险点多：上面提到的风险涉及到各个业务的购买流程、用户操作、商家操作等多个场景。...以美团点评为例，可带来的利益有： 促销优惠：相关的风险场景有下单、支付、购买、验券等。 商家销量和排名等：涉及购买、搜索、销量展示等页面。 用户余额：即需要控制登录、查看余额等动作。
背景 美团点评作为国内最大的O2O平台，业务热度的高峰低谷非常显著且规律，如果遇到节假日或促销活动，流量还会在短时间内出现成倍的增长。...我们选择HULK作为项目名，就是希望美团点评服务在接入HULK之后可以拥有绿巨人般强大的变身能力（弹性扩缩），进而在此基础上提升服务的健壮性、稳定性及资源利用率。 ?...但这种方案对Google中的部分C/C++服务适用，在美团点评Java服务的场景下，实例内存配额调整可能会导致OOM，而重启服务非我们所愿。 下图是HULK某台宿主机一天内的实例部署情况： ?...根据美团点评的服务特性，HULK会尽量保证在早晚高峰的时期动态扩容在线服务承接流量，而在低峰期会对应缩容在线服务，并调度部署离线任务执行。...我们从美团点评的服务特殊性出发，打造适用于大规模容器化场景的调度体系，后续还会在大数据离线任务场景下做更优化的深层智能调度。
论坛里有这样一个帖子，看完后，心情深舒畅。 在各大技术论坛大家好像都写了很多类似小而精巧的问题，供大家讨论，切磋，就像一杯小的 java tea，工作之余喝一口...
总览 一级需求 二级需求 管理门户 会员门户 三级需求 系统管理 企业中心 会员中心 统计分析 四级需求 企业信息管理
餐饮在线点评系统除查看会员促销活动、查看站内消息等简单业务流程外，相对复杂的业务流程包括管理员注册餐厅，发布餐厅信息，餐厅信息主要包括特色菜、促销活动、团购活动和优惠券信息。...餐厅信息发布后，用户可以在会员门户查看餐厅的特色菜信息，并能对餐厅进行点评。 另外，针对餐厅管理员发布的团购活动，用户可以在会员门户进行团购下单操作。...管理员注册和发布餐厅信息 用户在线点评餐厅 用户参加团购活动 用户下载优惠券
背景 原大众点评的订单单表早就已经突破两百G，由于查询维度较多，即使加了两个从库，优化索引，仍然存在很多查询不理想的情况。
业务的快速增长，要求系统在快速迭代的同时，保持很好的扩展性和可用性。其中，交易系统除了满足上述要求之外，还必须保持数据的强一致性。对系统开发人员而言，这既是机遇，也是挑战。...本文主要梳理大众点评支付渠道网关系统在面对这些成长烦恼时的演进之路，以及过程中的一些思考和实践。...在整个系统的演进过程中，核心思路是：大系统做小，做简单（具体描述可参考《高可用性系统在大众点评的实践与经验》）。在渠道网关系统实践过程中，可以明显区分出几个有代表性的阶段。...这个阶段系统实践比较简单，主要就是“短、平、快”，快速接入新的第三方支付渠道并保证能用。系统架构如图1。 ?...至此，基本保证了在部分第三方渠道有损的情况下，渠道网关系统的柔性可用。演化后的此阶段系统架构如图6。 ?
如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一...同时除了对ID号码自身的要求，业务还对ID号生成系统的可用性要求极高，想象一下，如果ID生成系统瘫痪，整个美团点评支付、优惠券发券、骑手派单等关键动作都无法执行，这就会带来一场灾难。...若未写过，证明是新服务节点，直接创建持久节点leaf_forever/${self}并写入自身系统时间，接下来综合对比其余Leaf节点的系统时间来判断自身系统时间是否准确，具体做法是取leaf_temporary...Leaf现状 Leaf在美团点评公司内部服务包含金融、支付交易、餐饮、外卖、酒店旅游、猫眼电影等众多业务线。...作者简介 照东，美团点评基础架构团队成员，主要参与美团大型分布式链路跟踪系统Mtrace和美团点评分布式ID生成系统Leaf的开发工作。曾就职于阿里巴巴，2016年7月加入美团。
演示环境 - 操作系统：windows10 - python版本：python 3.7 - 代码编辑器：pycharm 2018.2 - 使用模块：requests,json,re,fontTools...可以看到，评论中的某些文字点评网做了特殊处理，这就是所谓的字体反爬。 抓取数据 前面的步骤，我们已经知道点评网对评论内容做了处理，至于是如何处理，这里我们先不管，还是先把数据拿到再说。...猜想这就是点评网自己定义的字体。居然自定义了字体，那么网页中肯定需要加载字体文件，所以果断打开network对字体文件进行抓包。...我们可以看到，点评网有许多个自定义的字体，这里只需要找自己想要的字体文件即可，即找字体文件的url。...不得不服点评网，反爬虫做的真是厉害。。。 我就知道你在看
企业 餐饮企业 食材提供商 食材 特色菜 团购活动 优惠券 促销活动 会员团购订单 优惠券下载和浏览记录表 会员信息管理 局部概念模型 会员 会员扩展信息 会员积分记录 餐饮点评记录...会员消息记录 系统管理 局部概念模型 系统用户单位信息 系统用户单位组织机构 系统用户信息 系统角色信息 系统菜单信息 系统日志 系统数据字典类型 系统数据字典参数
杨静 ༅ 新智元: @wei 你可以写一篇点评！ 我: @杨静 ༅ 新智元 这里这么多 ML 大牛，哪里轮得到我这个语言学家点评啊。我算是雾里看花，因为做的都是工程系统，也有强烈共鸣罢了。...债务的结果就是系统报废。历史上见过不少开发了很多年的系统，最后死掉了，封存了，无人问津了。当然，死系统的原先的开发者往往带着教训和经验，在下一轮重开炉灶的系统中，轻装上阵，做得更好。...如果一切都保留到语用层面最后定夺，很怀疑任何系统设计者会受得了那样的千头万绪。反正我们在实践中是不行的。...最后做出了一个畸形的系统出来，给 POS 打补丁的模块是整个系统最大的模块，比所有其他模块（包括前处理、Brill POS、NE、chunking、SVO、Events）加起来还大。...反正，NLP 终归是长线项目，时间压力只是要求系统先转起来，iteratively 和 incrementally 地擦屁股和维护协调是系统转起来以后的必由之路。
背景介绍 ---- 饿了么监控系统 EMonitor ：是一款服务于饿了么所有技术部门的一站式监控系统，覆盖了系统监控、容器监控、网络监控、中间件监控、业务监控、接入层监控以及前端监控的数据存储与查询。...CAT：是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。 本文通过对比分析下两者所做的事情为契机讨论监控系统或许该有的面貌，以及浅谈下监控系统发展的各个阶段。...平台打通整合阶段 上一阶段存在的问题：系统监控、中间件和业务监控、部分业务监控、链路监控与指标监控都各搞一套数据收集、预处理、存储、查询、展现、告警流程，各个系统处理数据格式、使用方式不统一。...告警方式：可以统一的针对各个层面的监控数据做统一化的告警排障过程：只需要在一个监控系统中就可以查看到所有的监控曲线和链路信息。...目前我们 EMonitor 已完成这个阶段，将公司之前存在已久的 3 套独立的监控系统统一整合成现如今的一套监控系统。
原文出处： 美团点评技术博客 所谓高可用性指的是系统如何保证比较高的服务可用率，在出现故障时如何应对，包括及时发现、故障转移、尽快从故障中恢复等等。...本文主要以点评的交易 系统的演进为主来描述如何做到高可用，并结合了一些自己的经验。需要强调的是，高可用性只是一个结果，应该更多地关注迭代过程，关注业务发展。...频率要低：减少出故障的次数 设计：根据业务变化不断进行迭代 以点评交易系统的演进过程为例。 幼儿时期：2012年前 使命：满足业务要求，快速上线。...系统可能会演进为下图这样： ? 上面点评交易系统的发展几个阶段，只以业务系统的演进为例。...点评的监控系统CAT能很好的提供这些指标变化，我们系统在这些基础上也做了一些更实时的能力，比 如订单系统QPS就是秒级的监控曲线。 ? 有效的恢复机制 比如运维的四板斧：回滚、重启、扩容、下服务器。
我们负责的系统是美团点评智能支付的核心链路，承担着智能支付100%的流量，内部习惯称为核心交易。...发生频率要低之别人死我们不死 1.1 消除依赖、弱化依赖和控制依赖 用STAR法则举一个场景： 情境(situation) 我们要设计一个系统A，完成：使用我们美团点评的POS机，通过系统A连接银行进行付款...关闭测试模式则超过限流阈值系统做异常抛出处理。限流策略可以随时关闭。 可以使用Netflix的Hystrix或者美团点评自己研发的Rhino来做特殊的针对性限流。 4....美团点评内部可以使用的用于发现、定位、处理的系统和平台非常多，但是如果一个个打开链接或者登陆系统，势必影响解决速度。所以我们要做集成，让问题一站式解决。...和Hystrix对比： 内部通过CAT（美团点评开源的监控系统，参见之前的博客“深度剖析开源分布式监控CAT”）进行了一系列埋点，方便进行服务异常报警。
大众点评终于有归属了。说到大众点评，我总会想起另一个“慢公司”：豆瓣，杨勃花1个月时间开发的社区。 它已经成为一个兴趣社交王国。...这就是慢公司，如豆瓣、大众点评等。 “大众点评”已在这两年一改往日作风，加快扩张步伐。2010年团购火热时大众点评推出团购平台，市场份额仅次于美团。...它有文化点评数据库。豆瓣的初心是连接“人”与“物”，帮助人们发现图书、音乐、电影和生活的方方面面。歌曲、图书和电影，歌手、影人、作家，以及基于这些条目的评价和评论数据。...这一点与大众点评有一些相似之处，但大众点评的对象是线下商铺，是“实体”。 物体数据库正在形成。...标签是组织不同类型的海量信息的最有效的方式，基于标签可以索引出感兴趣的内容，系统可以根据标签进行推荐。标签搜索是搜索引擎的细分。 有了这些数据可以干嘛呢？
清结算系统第一重要的是保证准确打款，第二重要的是保证及时打款。我们负责的系统是美团点评智能支付的核心链路，承担着智能支付100%的流量，内部习惯称为核心交易。...发生频率要低之别人死我们不死 1.1 消除依赖、弱化依赖和控制依赖 用STAR法则举一个场景： 情境(situation) 我们要设计一个系统A，完成：使用我们美团点评的POS机，通过系统A连接银行进行付款...关闭测试模式则超过限流阈值系统做异常抛出处理。限流策略可以随时关闭。 可以使用Netflix的Hystrix或者美团点评自己研发的Rhino来做特殊的针对性限流。 4....美团点评内部可以使用的用于发现、定位、处理的系统和平台非常多，但是如果一个个打开链接或者登陆系统，势必影响解决速度。所以我们要做集成，让问题一站式解决。希望达到的效果举例如下： ?...和Hystrix对比： 内部通过CAT（美团点评开源的监控系统，参见之前的博客“深度剖析开源分布式监控CAT”）进行了一系列埋点，方便进行服务异常报警。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
