相关内容
携程大数据实时计算平台建设实践
张翼浙江大学硕士毕业，2015年初加入携程，主导了携程实时数据计算平台的建设，以及携程大数据平台整合和平台技术的演进。 进入互联网行业近10年，从事大数据平台和架构的工作超过6年。? 首先是技术选型五花八门，消息队列有用activemq的，有用rabbitmq的，也有用kafka的，分析平台有用storm的，有用spark-streaming...
干货 | 携程实时大数据平台实践分享
张翼浙江大学硕士毕业，2015年初加入携程，主导了携程实时数据计算平台的建设，以及携程大数据平台整合和平台技术的演进。 进入互联网行业近10年，从事大数据平台和架构的工作超过6年。 今天给大家分享的是携程在实时数据平台的一些实践，按照时间顺序来分享我们是怎么一步一步构建起这个实时数据平台的，目前有一些...
干货 | 携程机票大数据架构最佳实践
作者简介许鹏，携程机票大数据基础平台leader，负责平台的构建和运维。 深度掌握各种大数据开源产品，如spark、presto及elasticsearch。 著有《apache spark源码剖析》一书。 本文来自许鹏在〖dams 2017中国数据资产管理峰会〗上的分享，首发dbaplus社群（id：dbaplus）。 现如今大数据一块有很多的开源项目...
干货 | 每天TB级数据处理，携程大数据高并发应用架构涅槃
通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程的大数据团队也由此应运而生； 经过几年的努力，大数据的相关技术为业务带来了惊人的提升与帮助。 以基础大数据的用户意图服务为例，通过将广告和栏位的“千人一面”变为“千人千面”，在提升用户便捷性，可用性，降低费力度的同时，其...
Hadoop集群从180到1500，携程大数据实践之路
内容来源：2018 年 09 月 08 日，携程大数据平台技术总监张翼在“2018开源数据库论坛暨首届mariadb中国用户者大会”进行《大数据平台在携程的实践》演讲分享。 it 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：3501 | 9分钟阅读摘要携程大家应该是蛮熟悉了吧，全国领先...
干货 | ALLUXIO在携程大数据平台中的应用与实践
进入大数据时代，实时作业有着越来越重要的地位，并且部分实时和离线作业存在数据共享。 实践中使用统一的资源调度平台能够减少运维工作，但同时也会带来一些问题。 本文将介绍携程大数据平台是如何引入alluxio来解决hdfs停机维护影响实时作业的问题，并在保证实时作业不中断的同时，减少对hdfsnamenode的压力...
微分享回放 | 携程是如何把大数据用于实时风控的
目前携程利用自主研发的风控系统有效识别、防范这些风险。 携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。 也从原来基于“简单规则+db”，发展到目前能够支撑10x交易增长的智能化风控系统，基于规则引擎、实时模型计算、流式处理、mr、大数据、数据挖掘、机器学习等的...
携程是如何把大数据用于实时风控的？
目前携程利用自主研发的风控系统有效识别、防范这些风险。 携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。 也从原来基于“简单规则+db”，发展到目前能够支撑10x交易增长的智能化风控系统，基于规则引擎、实时模型计算、流式处理、mr、大数据、数据挖掘、机器学习等的...
干货 | 携程基于大数据分析的实时风控体系
携程反欺诈体系经过超过10年的发展和积累，在大数据实时并行计算和实时多维关联分析方面已经非常成熟，是整个体系稳定高效运行的基础。 近两年来，我们在大数据和人工智能方向投入研发资源，产出了设备指纹、cdna、实时复杂变量计算引擎等一系列创新项目，取得到很好的应用效果。 2017年整体卡bp降低50%以上，远低于...
干货 | 携程Elasticsearch数据同步实践
一、背景elasticsearch是最近几年非常热门的分布式搜索和数据分析引擎，携程内部不仅使用es实现了大规模的日志平台，也广泛使用es实现了各个业务场景的搜索、推荐等功能。 本文聚焦在业务搜索的场景分享了我们在做数据同步方面的思考和实践，希望能对大家有所启发。 二、现状调研数据同步是个很麻烦的事情，在各种...
干货 | 携程机票数据仓库建设之路
作者简介华智，携程高级研发经理，现负责数据仓库技术架构、性能优化、数仓规范制定、数据模型设计以及数据应用开发。 一、前言随着大数据技术的飞速发展，海量数据存储和计算的解决方案层出不穷，生产环境和大数据环境的交互日益密切。 数据仓库作为海量数据落地和扭转的重要载体，承担着数据从生产环境到大数据环境...
干货 | 携程新风控数据平台建设
作者简介刘丹青，携程信息安全部高级开发工程师。 2014年加入携程，主要负责验证码、风控数据平台的开发设计工作，提供性能测试与性能优化的相关支持。 前言 近几年，随着电商和互联网金融的发展，各大互联网企业也在逐步加强风控体系的建设，为公司的运营保驾护航。 在携程，各bu经常受到恶意注册、登录、恶意刷单...
携程用户数据采集与分析系统
一、携程实时用户数据采集系统设计实践随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类app的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统pc转移至移动终端上。 但传统的基于pc网站和访问日志的用户数据采集系统已经无法满足实时分析...
干货 | 携程用户数据采集与分析系统
作者简介王小波，携程技术中心框架研发部高级工程师，主要负责用户行为数据采集系统及相关数据产品研发设计工作。 之前主要从事互联网广告、rtb相关系统研发和设计工作。 一、携程实时用户数据采集系统设计实践随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类...
专访携程李亚锋：大数据技术融合下的Spark更具魅力
不过，目前基于内存计算的spark适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，已经逐渐获得很多企业的支持。 这是否意味着我们应该彻底抛弃hadoop？ 在前不久的北京spark亚太峰会上 ，记者有机会专访到携程大数据平台高级经理李亚锋，为大家分享如何通过spark与hadoop大数据技术间的融合...
干货 | 携程机票实时数据处理实践及应用
作者简介张振华，携程旅行网机票研发部资深软件工程师，目前主要负责携程机票大数据基础平台的建设、运维、迭代，以及基于此的实时和非实时应用解决方案研发。 携程机票实时数据种类繁多，体量可观，主要包括携程机票用户访问、搜索、下单等行为日志数据； 各种服务调用与被调用产生的请求响应数据； 机票服务从外部...
干货 | 携程Redis海外机房数据同步实践
2016年加入携程，目前负责框架数据（数据库，缓存）及相关项目。 此前曾在大众点评工作，任基础架构部门通信团队负责人。 一、背景 随着携程国际化业务的发展，为了给海外用户提供更好的服务，公司开始在欧洲部署业务（使用amazon云），欧洲的用户访问欧洲的本地服务。 携程机票业务重依赖于redis，同时目前的数据...
携程实时用户数据采集与分析系统
一、携程实时用户数据采集系统设计实践随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类app的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统pc转移至移动终端上。 但传统的基于pc网站和访问日志的用户数据采集系统已经无法满足实时分析...
干货 | 数据治理落地难？携程度假数据治理需求设计实践
作者简介leon gu，携程数据仓库专家，负责度假数据中台和数据仓库等工作，专注于大数据、数据仓库、数据治理等领域。 一、前言携程度假包含跟团游、自由行、玩乐、门票、用车等十多条业务线，业务涵盖线上预定到线下门店，业务线之间的差异性大，业务系统之间的复杂度高。 为了满足业务的快速发展与创新，前期数据...
【专访】携程李亚锋：大数据技术融合下的Spark更具魅力
不过，目前基于内存计算的spark适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，已经逐渐获得很多企业的支持。 这是否意味着我们应该彻底抛弃hadoop？ 在前不久的北京spark亚太峰会上 ，记者有机会专访到携程大数据平台高级经理李亚锋，为大家分享如何通过spark与hadoop大数据技术间的融合...
