首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

式机器学习平台建设实践

下面这篇文章根据美团配送资深技术专家郑艳伟在2019 SACC(中国系统架构师大会)上的演讲内容整理而成,主要介绍了美团配送技术团队在建设式机器学习平台过程中的经验总结和探索,希望对从事此领域的同学有所帮助...本文将为大家分享美团配送技术团队在建设式机器学习平台过程中的一些经验和探索,希望对大家能有所帮助或者启发。 1....美团配送机器学习平台演进过程 2.1 为什么建设式机器学习平台 如果要解决上述的机器学习问题,就需要有一个功能强大且易用的机器学习平台来辅助算法研发人员,帮助大家脱离繁琐的工程化开发,把有限的精力聚焦于算法策略的迭代上面...公司级的一式机器学习平台的目标和定位,与我们对机器学习平台的需求不谋而合:为用户提供端到端的一式的服务,帮助他们脱离繁琐的工程化开发,把有限的精力聚焦于算法策略的迭代上面。...图灵平台 平台化阶段,我们对美团配送机器学习平台的目标定位是:一式机器学习平台,给算法同学提供一式服务,覆盖算法同学调研、开发、上线、评估算法效果的全流程,包括:数据处理、特征生产、样本生成、模型训练

1.9K51
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    B多活容灾高可用建设思路

    B去年713挂了,后来B也做了复盘。 看文章可以知道这次故障,主要是因为SLB层面故障引起的,最终是通过多活进行服务的恢复。 复盘这个故障,我们可以进一步学习如何搭建一个多活的架构。...于是,后来B建设了proxy代理模式,通过sidecar模式来部署,近两年没有出现过因为redis cluster引发的大规模故障了。...基于以上两个问题,提出了两个优化: 多活基础能力建设; 多活管控能力提升; 哪个业务做了多活,应用是什么样多活模式,多活里每个机房定位是什么,这些都属于多活元信息。...B很多业务场景都适合做同城双活,因为很多数据都偏向于用户之间共享。...有的公司业务做了高可用,但研发的控制面反而没建设高可用,导致关键时刻控制面操作不了,影响了整体的高可用效果。 管控平台的高可用:做了同城双活部署模式、降级、执行效率。

    1.2K30

    三巨头对决Offline:团购网站的“拼爹”时代到了

    在千团大战中大量团购网站“化作青烟,驾鹤西去”,团购市场已远离聚光灯很长一段时间。在黯淡的团购市场,糯米网也没有太高的地位。...团购市场有四股角逐力量:美团和大众点评团为代表的本地生活服务团购网站、聚划算为代表的电商实物类团购、58团购为代表的团购平台和去哪儿等网站的团购频道。...BAT三巨头此前已纷纷加强自己O2O链条的建设。但依然集中在Online端的完善。 阿里巴巴前期投资了高德地图、新浪微博、UC浏览器,充实了自己的基础数据和流量入口。阿里还投资了丁丁、美团等网站。...Offline颇为笨重,完全依靠自有力量从头建设进程太慢。尤其是在用户和市场端没成熟前贸然进行,成本会显得极为昂贵。 但团购业务并非打通Offline的最好的方案。...巨头们看到O2O曙光时,团购网站们的春天就来了。巨头们眼里,团购网站只是一个选择,本地生活服务网站和传统企业,都可以成为其打通Offline的选项。

    80660

    B运维数仓建设和数据治理实践

    而伴随着大数据技术的不断发展和成熟,B也对公司内部基础数据的治理和管控进行了大量尝试和实践,最终建设了一体化运维数仓,来支撑满足内部业务/基础架构/工程效率/SRE团队对于数据的强烈需求。...本文整理自SACC 2022中国系统架构师大会上嘉宾演讲,内容将围绕B运维数仓的建设,分别从引擎侧、平台侧和业务侧展开介绍,分享在落地实践中面临的挑战和问题。本文主要包括以下部分: 1....BSRE体系是如何构建元数据和使用 2. 一步步,服务树沦为一个毫无边界的数据中心 3. B运维数仓建设的整体思路 4. 关注数据质量 5....B运维数仓建设的整体思路 B建设运维数仓的目标和准则是什么?...在项目启动过程,B会开设项目启动会,会上介绍整体的建设思路、核心概念、核心指标等,确立CI模型和关系整理。在数据校验过程,需要校验数据导入情况,确认数据准确性,为生产环境做准备。

    82330

    营销型网站建设中坚是什么?有什么作用?

    现在很多企业都有属于自己的网站,不同的网站所具备的功能也不相同,比如有的网站以展示企业形象为主,有的网站则以营销推广为主要目的,今天我们就介绍下营销型网站,说到营销型网站,就不得不提营销型网站建设中坚...营销型网站建设中坚是什么?...很多企业在建设和管理企业网站时,因为种种原因无法全权负责,很多工作都需要外包出去,找专业的平台进行托管,营销型网站建设中坚就是第三方网站托管机构,它的主要作用就是帮助企业将网站做的更好,同时,为企业节省更多的网站管理成本...营销型网站建设中坚有什么作用? 营销型网站建设中坚的主要作用包括两部分,一个是营销型网站的搭建,另一个是网站的营销推广。...营销型网站建设中坚非常适合小企业和刚刚起步的企业,可以帮助企业节省更多的成本,并且实现较好的营销效果,近些年,营销型网站建设中坚受到越来越多企业的欢迎。

    1.1K20

    腾讯游戏SRE工具链建设实践丨Gdevops峰会广州

    2022 Gdevops全球敏捷运维峰会-广州将于6月17日盛大举办,除了致力于帮助大家解决运维、数据库、金融科技等领域的老大难问题以外,本次峰会还希望与产学研界技术同仁一起探索云原生时代、数字化转型背景下的新趋势...其中,来自腾讯游戏的刘天斯老师将分享腾讯游戏SRE工具链建设实践,一起来先睹为快: 腾讯游戏SRE工具链建设实践 议题要点及收获: 构建SRE工具链在复杂微服务场景当中发挥怎样的作用?...中国信息通信研究院-专家委员、海南省大数据产业联盟专家成员,参与多个行业级标准的编写; 获得发明专利12个,热衷于开源技术研究,擅长海量服务运维与规划、SRE工具链、云原生技术、大数据治理、数据中台与业务中台的建设等工作...以上议题内容将会在2022 Gdevops全球敏捷运维峰会-广州完整呈现,更多关于全链路监控、DevOps、AIOps、SRE、混沌工程、“三高”设计、服务治理、安全管控等互联网大厂及大型商业银行实战经验...,都可以在6月17日的Gdevops广州一次性看全。

    63950

    B服务稳定性建设:高可用架构与多活治理

    本文根据吉翔老师在〖deeplus直播:甩掉技术债包袱,B的SRE体系建设与转型实践〗线上分享演讲内容整理而成。...吉翔 哔哩哔哩 基础架构部 资深运维工程师 负责在线业务SRE相关工作,深度参与业务多活建设项目。当前继续专注于核心业务多活建设推进、多活管控治理等工作。...3) B的同城多活 因为很多数据都偏向于用户间共享,所以B的很多业务适合做成同城多活。...2.B的业务同城多活改造 单活:B大部分业务最初也是单活模式,即服务只在单个可用区做部署,缺乏Proxy支持,缓存和DB大部分都是客户端直连。...我们在建设Invoker的同时,对这个平台做了GZone模式的部署。我们对它的核心依赖都做了故障演练,对每一个依赖也做了降级方案。

    50020

    建设式DevOps平台,腾讯云研发效能提升实践

    我们希望在腾讯云内部,所有人都能认识到提高研发效能的重要性,并愿意投入更多精力共同建设。...因此,在推进研发效能提升方面,我们采取三种方式:第一,制定统一的标准规范,使大家逐渐采用我们推荐的主流标准;第二,把工具平台做成一式串联,形成一个统一的整个腾讯云共享的研效平台;第三,加强宣传引导,让大家共同关注和参与...可以说,研效的建设是研发管理、工具建设和文化宣传三者的共同作用结果。...第二阶段通过一式门户将工具串联整合到平台上,实现从需求到最终监控的全过程。第三阶段将实践 DevOps 理念,尤其是从应用视角贯穿整个流程。...同时,我们也着重加强团队文化建设和技术交流,提升团队协作和合作效率,共同推动研效提升。

    74320

    B基于Clickhouse的下一代日志体系建设实践

    B基于Elastic Stack的日志系统(Billions) 从2017建设以来, 已经服务了超过5年,目前规模超过500台机器,每日写入日志量超过700TB。...BLS-Discovery 新一代日志的可视化分析平台,提供一式的日志检索、查询和分析,追求日志场景的高易用性,让每个研发0学习成本无障碍使用。 下边我们将针对几个重点进行详细设计阐述。...目前B系统中目前已配置超过5000+的日志告警,我们提供了告警迁移工具,能够自动通过原ES语法的规则,生成对应的2.0版本过滤规则,来帮助用户快速迁移。...而Map类型在B的日志系统中解决的就是日志系统中不同服务具有不同的特有字段问题。

    1.9K51

    建设式DevOps平台,腾讯云研发效能提升实践

    我们希望在腾讯云内部,所有人都能认识到提高研发效能的重要性,并愿意投入更多精力共同建设。...因此,在推进研发效能提升方面,我们采取三种方式:第一,制定统一的标准规范,使大家逐渐采用我们推荐的主流标准;第二,把工具平台做成一式串联,形成一个统一的整个腾讯云共享的研效平台;第三,加强宣传引导,让大家共同关注和参与...可以说,研效的建设是研发管理、工具建设和文化宣传三者的共同作用结果。...第二阶段通过一式门户将工具串联整合到平台上,实现从需求到最终监控的全过程。第三阶段我们将实践 DevOps 理念,尤其是从应用视角贯穿整个流程。...同时,我们也着重加强团队文化建设和技术交流,提升团队协作和合作效率,共同推动研效提升。

    1K30

    建设式DevOps平台,腾讯云研发效能提升实践

    我们希望在腾讯云内部,所有人都能认识到提高研发效能的重要性,并愿意投入更多精力共同建设。...因此,在推进研发效能提升方面,我们采取三种方式:第一,制定统一的标准规范,使大家逐渐采用我们推荐的主流标准;第二,把工具平台做成一式串联,形成一个统一的整个腾讯云共享的研效平台;第三,加强宣传引导,让大家共同关注和参与...可以说,研效的建设是研发管理、工具建设和文化宣传三者的共同作用结果。...第二阶段通过一式门户将工具串联整合到平台上,实现从需求到最终监控的全过程。第三阶段将实践 DevOps 理念,尤其是从应用视角贯穿整个流程。...同时,我们也着重加强团队文化建设和技术交流,提升团队协作和合作效率,共同推动研效提升。

    67570

    BAT介入教育O2O的背后是人工智能战略

    在线教育、教育O2O等概念在BAT的强势介入下,局越做越大,有人说现在的在线教育像团购网站兴起时的百团大战。...不过,BAT布局在线教育和团购网站有本质的不同,即团购网站投资后要有现金回报,而在线教育投资追求的是数据不是现金回报,通过在线教育收集人类学习的数据,为发展人工智能铺路。...由此我们可知,人类的学习会产生及心理、行为习惯、思考、情感等人类多种数据,成为人工智能发展的“原材料”,所以BAT通过卡位在线教育,并不像投资视频、团购网站那样只是多一个营收渠道,他们是在下一步影响人类未来生活...阿里则是爆出与中国邮政集团共同宣布达成战略合作,基于阿里的电商大数据、互联网技术和中国邮政的社区服务店、三农服务、村邮等网点资源,双方将助力中国三四线城市网购业务和农产品进城发展业务。

    41780

    什么是a、b、c、d、e、f、g、h、i、j、k、l、m、n…z

    C C此前一般指“Tucao动漫”,初始模式与A、B两差不多,许多网友认为这是继A、B之后最出色的弹幕视频分享网站,所以将它称为C。...对比前几位子,D的人气还是比较小,就像她自己的介绍:“兴趣使然的无名小站。” 目前,D被B收购,已转为B的二级域名。 ? E E通常指“E-hantai”,主要运营同人资源分享。...F F全称“FAKKU”,主要运营动画、漫画、游戏等福利向二次元资源。 ? G G全称“Gelbooru”,是一家动漫图片搜索网站。...I I全称“爱弹幕”,也是一家弹幕视频分享网站,主要分享动漫资讯、番剧、漫画小说、游戏等资源。 J J一般是指“绝对领域”网站,是一家包含了漫展、动漫图片等二次元衍生资源的网站。...O O全称“欧尼酱”,是一家二次元动漫社交平台。 P P全称“Pixiv”,是全世界最大的日式插画交流网站,大触云集,来自世界各地的绘画高手聚会于此互相交流。 ?

    14.8K40

    大家口中所说的A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、W、X、Y、Z都是什么网站?

    A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、W、X、Y、Z都是什么网站?...I 不详(请各位大佬评论区补充) J 不详(请各位大佬评论区补充) K K - 次元街 L http://www.lqzhan.com/ L-乐Q-乐Q导航网 乐Q导航网是专注于网络技术相关行业网址导航...L,乐Q,乐Q导航,乐Q导航网,导航,资源导航,影视导航,站长导航,网址大全,网址收录,网站收录 M 猫耳FM_来自二次元的声音_( :3」∠)_M M(猫耳FM)是第一家弹幕音图,同时也是中国声优基地...QQ技术教程,致力建设最大的QQ技术网站!...) V 不详(请各位大佬评论区补充) W 不详(请各位大佬评论区补充) X 不详(请各位大佬评论区补充) Y 不详(请各位大佬评论区补充) Z 不详(请各位大佬评论区补充)

    11.7K30

    容灾系列(二)—— 企业借助云平台“一式”容灾建设

    当企业内部经过评估选定容灾建设整体方向,即同城双活;需要对方案进行验证,包括组件容灾能力建设,数据同步以及切换验证等。...通常对组件容灾能力建设和验证会花费大量时间,如果测试不符合预期,对之前调研、部署以及测试人力和时间成本带来较大耗费。因此借助云平台能力“一式”提升系统容灾能力,助力企业降本增效。...本文也平台容灾能力建设优势、云上容灾典型方案以及一式构建三个方面来进行详细的说明。 1.云平台容灾建设的优势 借助云平台能力有效提升容灾建设效率,同时能减少建设成本。 1)降低容灾建设的技术门槛。...云上通过控制台便捷的操作,一式进行容灾建设;同时减少对社区开源软件维护以及二次开发的人力成本。...以腾讯云为例,构建异地灾备整体架构: image.png 3.一式构建容灾能力 关于云上容灾能力概况,以腾讯云为例如下: 产品 多可用区实例 多地域实例 CLB 1.控制台支持购买多可用区实例。

    4K42

    数据中台建设(六):数据体系建设

    数据体系建设图片数据中台是企业数据汇集地,但并不是简单的数据堆积,而是进行分层建模,数据体系建设最终呈现一套完整、规范、准确的数据。数据体系建设就是大数据中数据仓库建设。...以上数据体系建设过程中数据的读取也有严格的规范要求,按照规范,贴源数据层直接从业务系统或日志系统中获取数据。...二、如何构建数据标签层1、确定构建标签对象进行标签建设首先要清楚对哪些对象建设标签,也就是明确对象,例如:对用户、对产品、订单等。...明确了企业中对哪些对象进行构建标签就可以进行标签体系建设。...一种对象标签体系的建设不会影响另外一种对象标签体系建设,可以同时对多个对象进行标签体系建设

    1.5K81
    领券