展开

关键词

干货 | StarRocks在住宿智能数据平台的应用

作者简介 Wenjun,资深软件工程师,负责住宿数据智能平台的研发与维护,对于大数据领域技术有浓厚兴趣。 一、平台现状 住宿数据智能平台(简称HData)是一个为住宿业务提供数据可视化的平台。 实时数据通过自研的消息队列系统QMQ实现,下图是原先的实时数据导入流程: 接入StarRocks后的实时数据导入流程: 很快我们就遇到了一个难题:有一个场景是订阅订单状态变化的消息,下游我们以订单号作为主键 T+1数据我们通过自研的数据同步平台Zeus进行ETL和导入: 六、DR和高可用 对DR有着很高的要求,每隔一段时间都会有公司级的DR演练。 同时,我们针对每台服务器的硬件指标也配置了告警,通过自研的智能告警中台,一旦服务器的CPU、Mem、磁盘空间等指标发生异常,开发人员可以立即感知并介入。

31520

EGO走进 | 探寻无线开发实践

历程墙的对面是依托大数据的实时分析能力,制作出的实时、动态的可视化订单展示系统,不仅订单生成状况一目了然,更可实时了解目前各地区、景点的热度情况。 不停闪烁的光点将冰冷的数据转化成了生动可视的形象。 ? 的员工福利也令人羡慕,台球桌、跑步机、按摩椅等健身娱乐器材配置齐全。 ? 技术中心基础业务研发部高级研发经理赵辛贵,在本次活动中分享了《React Native在的工程实践》。 App于2011年开始开发,随着功能的增多,问题也逐渐凸显。 随后,高级无线开发总监和无线技术委员会主席陈浩然分享了《无线网络服务方案》。 演讲的最后,陈浩然总结,现有无线服务模型是Request-Response模式,存在无法实时推送业务数据变更的问题,业务需要数据变更时只能轮询拉取,低效且不够及时。

61970
  • 广告
    关闭

    腾讯云图限时特惠0.99元起

    腾讯云图是一站式数据可视化展示平台,旨在帮助用户快速通过可视化图表展示大量数据,低门槛快速打造出专业大屏数据展示。新用户0.99元起,轻松搞定数据可视化

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    干货 | Elasticsearch数据同步实践

    作者简介 dot,技术经理,专注高并发、高性能领域。 一、背景 Elasticsearch是最近几年非常热门的分布式搜索和数据分析引擎,内部不仅使用ES实现了大规模的日志平台,也广泛使用ES实现了各个业务场景的搜索、推荐等功能。 由于使用ES的业务非常多,迫切需要一个简单易用的框架或者工具完成这个工作,以便大家从繁琐重复的代码里脱身,专注在完成业务本身上。 2)第二种是MQ增量,内部使用QMQ接收了来自Otter的MySql变更,MQ里会有变化的数据库表、字段的信息,因此可以针对性地实现对MQ的解析的规则,从而可以轻而易举地达到通过MQ对ES里的文档进行全部 这种方法是最常用的,对临时更新数据也非常友好。如果提供的Id在最终的数据里没有发现,将删除ES里对应的数据,以处理数据在DB里被物理删除的情况。

    47320

    回港镀金,重前行

    2020年旅游市场降至冰点,身为行业老大哥的受到的影响也更为突出。根据最新的财报数据来看,2020年全年净营收同比下降49%,净亏损更是达32.47亿元,也给的复苏带来了危机。 因此,二次上市可以使获得一笔融资,从而去缓解因疫情回血造成的资金压力,而获得的资金也能用于下一步的营销、研发、服务等,使复苏的进程不断加快。 最后,资本市场价值重估。 即便受到疫情的影响导致2020的营收拦腰减半,但其营利并未有的波动。 根据港交所聆讯显示的数据来看,2020年的毛利率仍保持在78%的高位,说明的盈利能力依然表现甚佳,自身有足够的竞争力。 其二,内容营销,回血速度快。 根据文旅部数据显示,在刚刚过去的清明节假期中,全国国内旅游出游1.02亿人次,按可比口径同比增长144.6%,恢复至疫前同期的94.5%。

    21320

    干货 | 新风控数据平台建设

    作者简介 刘丹青,信息安全部高级开发工程师。2014年加入,主要负责验证码、风控数据平台的开发设计工作,提供性能测试与性能优化的相关支持。 在,各BU经常受到恶意注册、登录、恶意刷单、扫号等行为,所以建设了一套数据平台,希望能够从数据中挖掘出有用的信息,不仅可以为风控系统提供数据支持,还可以为其他服务提供支撑。 本文主要从架构和业务的角度介绍下信息安全团队的数据平台建设之路,以及如何为业务和风控提供支持的。 一、数据平台1.0的特点 ? 1.0数据平台架构图 为了快速支持风控平台,在早期建设数据平台的时候,我们直接通过RabbitMQ收集业务数据,再使用数据引擎对数据做清洗、计算,再存储在MySQL中,把数据处理以sql的形式写入到代码中 ,又由于数据格式各异,通过数据平台创建数据模型,并保存到HDFS存储上。

    68780

    干货 | 数据血缘构建及应用

    作者简介 cxzl25,软件技术专家,关注大数据领域生态建设,对分布式计算和存储、调度等方面有浓厚兴趣。 本文介绍数据血缘如何构建及应用场景。第一版T+1构建Hive引擎的表级别的血缘关系,第二版近实时构建Hive,Spark,Presto多个查询引擎和DataX传输工具的字段级别血缘关系。 三、方案 采用了方案二,运行时分析SQL并收集分析结果到Kafka。由于开源方案在现阶段不满足需求,则自行开发。 七、总结 以上描述了如何构建表和字段级别的血缘关系,及在实际应用的场景。 团队招聘信息 我们是集团的大数据平台研发团队,主要负责数据平台的建设,包括但不限于Hadoop生态源码二次开发,任务调度,查询平台的开发,致力于为集团提供稳定、高效、易用的大数据存储和计算服务

    1.8K20

    漏洞后续:三恐慌远超实际危害

    3月22日出现重大安全漏洞,安全支付日志可遍历下载,导致大量用户银行卡信息泄露 (包含持卡人姓名身份证、银行卡号、卡CVV码、6位卡Bin)。 恐慌远超实际影响 根据官方的说法,目前并没有监测到有用户出现信用卡被盗刷现象,且该漏洞仅影响到了93名用户,已经通过电话通知用户更换信用卡,并给予每人500元礼品卡作为补偿。 同时承诺若发生盗刷,将赔偿用户损失。 相比起实际损失,该事件引发的三恐慌更为令人担忧。 一、PCI DSS认证形同虚设? 这一标准规定CVV、追踪数据、磁条或PIN数据等特定信用卡信息不能被商户保存。 作为上市公司,在上市时应通过了这一安全认证,不过此次泄露的日志却显示明文记录了这些信息。

    48750

    干货 | 海外MySQL数据复制实践

    作者简介 Roy,软件技术专家,负责MySQL双向同步DRC和数据库访问中间件DAL的开发演进,对分布式系统高可用设计、分布式存储,数据一致性领域感兴趣。 一、前言 在国际化战略背景下,海外业务将成为新的发力点,为了保证用户高品质的服务体验,底层数据势必需要就近服务业务应用。 Proxy作为公网数据传输内部统一的解决方案,参见《Redis海外机房数据同步实践》,开源地址:https://github.com/ctripcorp/x-pipe,欢迎关注。 DRC开源地址: https://github.com/ctripcorp/drc 【推荐阅读】 支持10X增长,机票订单库Sharding实践 基于BookKeeper的延迟消息架构落地实践 SOA 的 Service Mesh 架构落地 万字长文详解酒店订单缓存 & 存储系统升级实践  “技术”公众号   分享,交流,成长

    6920

    里人 | 2019代码报告

    40930

    【聚焦】春节大数据 爆料过年旅游是为了躲相亲

    今年春节很多人选择外出旅行,依托数据的帮助,一起来看看,今年春节旅行都有哪些特点。    据旅行网的数据显示,今天春节单身男女的出行人数较往年上涨3成有余,其中,7成左右为30岁左右的单身女性,在目的地方面,单身男女间也颇有共同点,谁敢说,这不是一场以全世界为主场的单身男女相亲大会呢? 预订春节期间跟团游产品的人数呈爆发式增长,较平日增长近1000倍,其中上海、北京、杭州、成都、广州、重庆、西安、海口、武汉、深圳 十城市使用旅行App预订旅行的人次最多国内城市,而使用App预订旅行人次最多的国外城市和地区分别为中国香港 五、免税店成旅客集中地   对于出境游的游客来说,各大免税店是不能不去的地方,据全球购、随行购数据统计,前往中国香港、首尔、巴黎、新加坡、中国台湾等多地的旅客成为海外购物的 主力军。 六、讨红包 除夕夜12点1秒送出30万元   金融事业部也于年末推出了讨红包的活动,将相关活动转发至微信朋友圈就可讨红包,数据显示,讨红包的高峰出现在除夕夜的0点前后,最多的一位用户讨到了66765

    57040

    切入“千亿”旅游营销市场,能再造“”吗?

    从去年启动“旅游复兴V计划”、推出BOOS直播、打造内容生态,让成为全球三在线旅游预定平台业务恢复率最好的一家,并且成为最接近booking的一年,似乎正在慢慢“弯道超车”。 按照规划,“三步走”已经走到最后一步,算是成功了一半。那么凭什么?笔者认为可用“时势造枢纽”来概括。 首先是“时”,即与时俱进的内容品类和形式。 这里的“时”指两方面。 在贡献GMV之外,更重要的是“直播+旅游”让内容品类和形式进行了升级,目前也成为内容生态第一IP。 可见,不仅精准用户多,平台还掌握了用户消费大数据,在算法加持下,能提供目标人群画像,实现流量的定向分发和广告投放,提升营销效率。 从财报数据可知,其2020年Q4及全年财报显示,2020年全年收入为183.2亿元,同比下降48.63%。2020年Q4,收入为49.66亿元,同比下降41%。

    12510

    开源数据库访问框架

    伴随这一过程的是如何管理数据库扩展,如何规范数据库访问,如何保护数据库投资,如何应对访问量增加,如何预防安全问题等一系列挑战。 作为国内在线旅游行业的翘楚,也曾经面对同样困扰。 为了应对这些挑战,实现企业10倍速发展,开发了具有自己特色的数据库访问框架Ctrip DAL。 Ctrip DAL由技术中心框架部DAL团队开发,历经3年不断打磨,在长期的实际使用中吸收了大量用户反馈。目前超过117个独立DAL团队通过代码生成器管理数据库和创建DAO。 2000多个应用在使用DAL框架,占所有数据库应用总数超过90%。 本次开源的产品包括代码生成器和Java客户端,C#客户端也将近期开源。 通过开源自身使用DAL框架,程希望在满足自身需求的同时,服务于广大企业,并继续为中国方兴未艾的开源运动出点力。 Dal定位 Dal的定位是数据库访问层。是以数据访问类(dao)的形式出现。

    92280

    面试题

    小的时候,“卧看牛郎织女星”; 的时候,“金风玉露一相逢”。 这样的你,对诗词有见地、有追求、有文化、爱旅游、爱编码,旅游网特在此招募这样的你们加入我们的 。哈哈。 一面: 1.栈和堆的大小,申请一个整形数组最大可以达到多少,float的大小,(linux(不同的内核版本)和windows) 2.100万个商品价格,找出前100个,前10个,前1个,如何提高效率 8.一堆数据,需要线程同步,如何实现,比较方法的优劣 9.如何用程序测试堆的大小 10.建推的时间复杂度,调整堆的时间复杂度 11.倒排索引,hash索引,B+索引的特点 12.自己对虚拟内存的理解 三次握手和四次挥手的状态转换,问的很细,timewait,clostwait的特点 15.如何用一个指针在o(n)的时间内判断单链表是否有环 16.一道算法题:旋转数组,要求空间O(1),时间O(n) 二面

    93230

    干货 | 国际BU酒店团队的前端之路

    作者简介 王辛佳,IBU酒店技术负责人,从事前端工作10年。 当今互联网+高速崛起,前端这个概念已经成为前端技术老生常谈的话题,但去做好“前端”,并不容易。 无论是横向理解还是纵向认知,随着互联网的发展,前端势必会越来越受到关注。 二、为什么要做大前端 在这个话题之前,需要明确:前端为我们带来了什么?最为关键的,我觉得是降低成本。 1、降低沟通成本。 前端需要考虑用户交互行为,浏览器兼容性,代码扩展性,而不是大批量数据运算与转换。对于前端而言,最好能做到“所见即所得”。所以我们的目的是要把前端做轻做薄,把复杂业务逻辑,数据转换逻辑推向后处理。 此外我们最好能把前端用户轨迹能记录下来,以方便数据分析及排障。 最后,Node层如何来处理爬虫。 带着以上几个点简单,分享下我们设计的架构图。 1)代码仓库划分 ? 四、总结 前端目前比较火,但还是有很多路需要去走,去探索。我们应该多思考,从痛点出发,来解决问题,而不是人云亦云。这里浅谈一下我们的前端之路,欢迎各位给出不同意见和见解。

    47440

    2021代码报告

    技术”公众号   分享,交流,成长

    10930

    干货 | 实时大数据平台实践分享

    编者:本文作者为数据平台负责人张翼。张翼浙江大学硕士毕业,2015年初加入,主导了实时数据计算平台的建设,以及数据平台整合和平台技术的演进。 今天给大家分享的是在实时数据平台的一些实践,按照时间顺序来分享我们是怎么一步一步构建起这个实时数据平台的,目前有一些什么新的尝试,未来的方向是怎么样的,希望对需要构建实时数据平台的公司和同学有所借鉴 其实了解的业务的话,就会知道的业务部门是非常多的,除了酒店和机票两大业务之外,有近20个SBU和公共部门,他们的业务形态差异较大,变化也快,原来那种Batch形式的数据处理方式已经很难满足各个业务数据获取和分析的需要 在完成了这些功能之后,我们就开始初期业务的接入了,初期业务我们只接了两个数据源,这两个数据源的流量都比较大,就是一个是UBT(的用户行为数据),另一个是Pprobe的数据(应用流量日志),那基本上是用行为的访问日志 第一个展示的是这边的网站数据监控平台cDataPortal,会对每个网页访问的性能做一些很详细的监控,然后会通过各种图表展示出来。 ?

    1.4K60

    干货 | 机票大数据架构最佳实践

    作者简介 许鹏,机票大数据基础平台Leader,负责平台的构建和运维。深度掌握各种大数据开源产品,如Spark、Presto及Elasticsearch。 现如今大数据一块有很多的开源项目,因此首先搭建平台的难点其实在于如何选择一个合适的技术来做整个平台的架构,第二,因为有业务数据,用了平台之后的话,如何用平台把数据分析出来让用户有很好的交互性的体验。 第三个层面就是理工科喜欢建模,而在这整个过程当中,我们会形成一种非数据建模,而主要是我们如何分不同层面的人员搭配,进而做成这样一个大数据团队。 一、数据平台技术选型 1、整体框架 ? 因为查询时不是所有人都应该看到所有的数据,这很容易出问题,可能有比较实实在在的数据,它不像一般的日志数据,特别像机票或者我们这边的酒店,它的数据有不少的一些敏感信息,这需要做相应的权限管理。 其实在做一套大数据的平台时,少不了任务调度这一块。任务调度这一块我们使用的是Zeus系统,在这一块开源出来,由我们公司Ops的团队专门来负责开发和维护个平台。

    82180

    进入新周期

    时至今日,我的脑海里还在浮现CEO孙洁接受采访时痛哭流涕的画面,可以想见的是,这场突如其来的事件对于的打击是巨大的。 创始人梁建章在直播带货上的探索与实践让找到了新的方向——内容。 以内容为核心,增加流量沉淀,让不再仅仅只是单纯意义上的工具,而是变成一个生态。 今年二季度,平台发布的内容数量环比一季度增长近一倍,签约旅行家数量环比一季度增长50%。当内容不断丰富,的核心已经从流量转移到了内容上。 经历了疫情的考验之后,特别是当乡村振兴与共同富裕所释放出来的红利正在呈现的背景下,如何重拾类似互联网时代的红利,成为未来一段时期发展的重点。对于来讲,同样如此。 今年8月,程度假农庄(安徽金寨湾店)总收入环比提升约62%。其中,房费收入环比提升约64%,餐饮收入环比提升约51%。 通过合作联营的模式,扩大程度假农庄在乡村旅游领域的示范带动作用。

    8630

    干货 | Redis海外机房数据同步实践

    作者简介 孟文超,技术中心框架研发部高级经理。2016年加入,目前负责框架数据数据库,缓存)及相关项目。此前曾在大众点评工作,任基础架构部门通信团队负责人。 一、背景 随着国际化业务的发展,为了给海外用户提供更好的服务,公司开始在欧洲部署业务(使用Amazon云),欧洲的用户访问欧洲的本地服务。 机票业务重依赖于Redis,同时目前的数据产生大部分都在上海,这样就对Redis数据同步至欧洲产生了极大的需求,部署在欧洲的业务只需读取Redis数据即可。 XPipe(https://github.com/ctripcorp/x-pipe)是内部开源的一套Redis多机房系统,现有的功能在以往的基础上继续扩展,可以参考公众号的另外一篇文章《Redis BBR算法,下面是在10MB数据传输速率下,公网24小时延时测试数据(单位为纳秒),数据最大延迟为88S。

    1.1K50

    相关产品

    • 大数据处理套件

      大数据处理套件

      腾讯大数据处理套件(TBDS)是基于腾讯多年海量数据处理经验,对外提供的可靠、安全、易用的大数据处理平台。你可以根据不同数据处理需求选择合适的大数据分析引擎和相应的实时数据开发、离线数据开发以及算法开发服务,来构建您的大数据应用服务……

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券