首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

神盾推荐——离线算法平台

离线算法平台是神盾产品化中负责训练离线算法模型,并出库模型和特征到线上推荐的模块,最小训练粒度为小时级。同时,离线算法平台还整合了离线批量打分、文本内容理解与特征工程等针对特定需求的功能。...一、离线算法平台简介 算法+特征是推荐的基础,自然也是离线算法平台的两个核心模块。 离线算法平台算法库,提供了LR、CF、XGBoost、FM等多个算法模型,并且为部分算法提供了不同的优化器。...离线算法平台的各个模块组成如下图所示。 ?...Tips:神盾离线算法平台的的特征自动化构造是一个由离线平台任务调度管理且完全独立的lz任务,因此文本处理可以作为一个独立使用的工具哦,而不一定必须注册特征到离线算法平台。...,意味着算法人员可以基于离线平台的输出数据开发自己独有的算法,甚至是只使用离线平台的特征引擎接口输出数据,对接到其他机器学习系统的训练模型。

6.3K80
您找到你想要的搜索结果了吗?
是的
没有找到

AI算法实现与云平台应用

陈迪豪,第四范式先知平台架构师。个人兴趣广泛,在开源社区比较活跃,维护了1600+ star的容器Web管理平台Seagull。...今天的议题有三个: 人工智能与机器学介绍 机器学习算法原理与实现 云机器学习平台架构实践 人工智能与机器学习介绍 图 1 这些是人工智能吗 机械自动化。...今天会花比较多时间给大家介绍两部分,第一个是机器学习的算法,第二是怎么搭建一个机器学习的平台。 机器学习算法 图5 逻辑回归1 机器学习的算法很多,这里不能一一介绍。主要给大家介绍逻辑回归的实现。...图19 机器学习平台 图19是我们自己实现的平台。上层是我们的业务,有非结构化的数据,有传统的推荐系统。底层是我们的计算资源,包括公有云、私有云、GPU。...最后总结一下,搭建完整的云深度学习平台需要有良好的架构,还需要实现高性能、高可用、授权认证等功能组件,希望大家对底层基础架构和算法原理有进一步的了解,看完这次分享也有一定的收获,谢谢。

81420

有赞算法平台之模型部署演进

文|三余 一、前言 模型部署作为算法工程落地的最后一公里,其天然对算法团队而言具有较高的复杂性,不仅要考虑如何高效地部署、管理不同框架模型,还需要考虑分布式服务的负载均衡、故障容错、可扩展性、资源隔离、...这些都极大的依赖于工程团队的能力,不是算法团队的强项,如何解决这最后一公里,让焦点聚焦在模型开发上,是模型部署服务模块需要解决的问题。...二、原有架构 2.1 架构设计 在有赞算法平台Sunfish包含算法训练和模型部署两部分, 模型部署的模块称为ABox(小盒子)。...负责算法模型的本地拉取, 由 tf-serving 服务加载模型 manager: 负责服务器(master 和 worker)的注册和下线 负责算法和模型的创建 提供 udl 的更新接口 提供集群、...HDFS-Intializer 用于 Reusable Model Server 中的 hdfs:// 协议的 modelUri 基于腾讯云的 GpuManager 方案实现GPU的虚拟化和共享 通过在算法平台集成

1K32

Haproxy简介、安装、配置、算法和监控平台

算法只能用于HTTP后端; 该算法一般用于后端是缓存服务器; 该算法默认是静态的,所以运行时修改服务器的权重是无效的,但是算法会根据“hash-type”的变化做调整。...如果没有cookie,则使用roundrobin算法代替; 该算法默认是静态的,所以运行时修改服务器的权重是无效的,但是算法会根据“hash-type”的变化做调整...常用的负载均衡算法 1、轮询算法:roundrobin 2、根据请求源IP算法:source 3、最少连接者先处理算法:lestconn 六、ACL规则定义 由于HAProxy可以工作在七层模型下,...[^\ ]*\ /admin/stats stats 6、#以上都不满足的时候使用默认mms_server的backend default_backend mms 七、使用HAProxy的Web监控平台...通过这个平台可以查看此集群系统所有后端服务器的运行状态,在后端服务或服务器出现故障时,监控页面会通过不同的颜色来展示故障信息。

1.2K10

干货 | 去哪儿酒店算法服务平台

算法平台 整体上我们的算法平台建设分为三个阶段: 1、优先解决算法部署的问题,降低跨团队沟通障碍; 2、有了一定的积累之后,再完善一套较为完整的特征集,避免每个模型重复提取数据以及实时特征收集;...算法描述 平台构建初期,需要对算法有一个明确的定义,一个算法主要有特征处理和模型运算两部分构成。...针对Hive引用特征转换逻辑,我们实现了对应的UDF,开发阶段时使用本地转换配置,上线后使用hdfs或算法平台中的配置。...所以我们将算法平台直接做了服务化,这样一来业务开发在接入算法时,和使用其他服务没有任何区别,知道传什么参数就行了,而模型的变更、调试、监控则全部由算法组负责,对问题排查和后续的优化提升都更方便,减少沟通成本...同时还收集汇总了各个算法服务器上的日志信息,可以在平台管理页面追查某个请求引发的个阶段的运行信息。

1.3K100

算法AB实验平台进化历程和挑战

1 AB 平台简介AB 实验平台这几年在互联网公司得到了越来越广泛的应用,采用 AB 实验来评估产品和技术迭代效果也成为主流的业务新功能效果评估方式,数据驱动的文化在这几年得到了不少公司的广泛的认同,通过数据和指标来说明产品效果也得到了越来越多的公司的认可和应用...,但是推荐和搜索的业务特点还是有点不同,于是我们针对实验平台的实验操作用户体验和稳定性方面进行了较多的优化。...5 未来改进的方向未来我们会希望借助数仓部门的 AB 平台的指标计算和可视化通用能力,希望可以逐步增强 AB 平台的数据可视化能力,在实验分流情况的可视化分析,实验的用户特征的分布可视化分析,实验的指标变化原因排查等方面与分析同学一起合作...在 AB 实验平台本身的实验信息操作和性能,稳定性方面我们也有一些新的想法,希望将来可以打通开发环境,测试环境,生产环境,实现一个界面可以跨环境操作,降低算法同学使用不同环境 AB 需要在不同系统切换的问题...,同时在将来还希望借助 sidecard 的形式增强 AB 实验的分流能力和分流稳定性,兼顾分流性能和分流平台功能迭代效率。

37121

GPT-3的威力,算法平台的阴谋

3 算法平台的阴谋 大模型的参数量,是否存在冗余?显然是的。 还记得ALBERT吗?它是在BERT-Large之后出现的模型。...吹捧超大模型,背后是算法平台的阴谋。只有牛逼的算法平台,才有足够强大的算力,才有资格训练大模型。 “当大家都去挖金子时,贩卖铁锹的人总能获得最大的利润”。AI领域也是如此。...为了很好地支持公司内部的模型训练,也为了能够有朝一日赋能其他应用级企业,AI巨头们纷纷从软件和硬件层面打造了AI算法军火库——算法平台。 到目前为止,经过了几年的沉淀,软件框架层面之争基本收敛。...换句话说,如何体现强算力平台的独特优势?似乎,那些背靠强大算法平台的大模型,确实是最完美的诱饵。 为此,他们的算法工程师们只要做好一件事——证明大模型的碾压式效果。...但我们已经不能否认,强大的算力,强大的算法平台——是AI领域真正的技术高墙。

1.9K10

图森未来-算法后端平台二面(pass)

下面分享我认识的一位大佬华中科技大学985硕,图森未来-算法后端平台二面实习。 1、动态链接与静态链接之间的区别?...图森未来-算法后端平台二面(pass) 1、动态链接与静态链接之间的区别? 动态链接和静态链接是两种不同的链接方式,它们之间的主要区别在于代码的加载时间和内存使用方式。...跨平台支持:CMake具有跨平台特性,可以在不同的操作系统和编译器之间移植和构建项目。而Make也需要针对不同的平台和编译器手动编写构建脚本。...硬件支持:深度学习框架需要支持不同的硬件平台,包括CPU、GPU和TPU等。硬件支持可以让用户根据不同的需求选择合适的硬件进行模型训练和推理。

14010

算法平台在线服务体系的演进与实践

总第449篇 2021年 第019篇 图灵平台是美团配送技术团队搭建的一站式算法平台,图灵平台中的在线服务框架——图灵OS主要聚焦于机器学习和深度学习在线服务模块,为模型和算法策略的线上部署和计算提供统一的平台化解决方案...随着机器学习平台、特征平台、AB平台等陆续完成,配送技术团队发现在线预测部分逐渐成为算法开发和迭代的瓶颈,为此,我们开始启动图灵在线服务框架的整体研发。...平台化能力缺失:缺乏对特征、模型迭代上线的完整生命周期的平台化运维、管理、监控和追踪能力,研发效率低下。 算法与工程耦合严重:算法与工程边界模糊,耦合严重,相互制约,算法迭代效率低下。...图灵OS 2.0 针对图灵OS 1.0框架中算法、工程和图灵平台三方高耦合的痛点,我们研发了图灵OS 2.0框架,目标是解决算法、工程、图灵平台三者耦合的问题,让算法迭代无需依赖工程发版,图灵平台新功能上线无需业务工程升级...作者简介 永波、季尚、艳伟、非凡等,均来自美团配送技术部算法平台组,负责图灵平台建设等相关工作。

1.9K41

复杂网络算法平台业务安全中的应用

对于电商平台和社交平台为主的平台业务,其安全涉及方方面面,常见的如刷单、黑灰产。...本文以 Louvain、FRAUDAR 和 CatchSync 这三种典型的复杂网络算法(基于图的挖掘算法)为例,结合实际业务场景,包括交易、社交和直播等互联网平台的核心业务,介绍复杂网络算法平台业务安全中的应用实践...我们称这种方法为循环FRAUDAR算法。 在识别虚假社交关系中的应用 在社交平台和电商平台中,用户与用户或者用户与商品之间会形成巨大的有向网络。...同时,我们也搭建了“平台化”的风控系统,把机器学习算法和人工运营有效结合起来,不仅利用有标签的数据持续提高识别能力,还干预和控制了各种风险。...2015年初加入蘑菇街,主要负责风控相关的反作弊算法,从无到有搭建了电商平台的风控策略架构体系,主要研究方向是基于机器学习的风控算法策略。

2.8K30

解密Angel PowerFL联邦学习平台中的纵向GBDT算法

本文聚焦腾讯自研的联邦学习平台Angel PowerFL中纵向联邦GBDT算法实现,介绍纵向联邦GBDT算法的原理和流程,并讲解相关的优化技术。...为了解决这种供需矛盾,腾讯自研的联邦学习平台Angel PowerFL(以下简称PowerFL)针对纵向联邦GBDT算法的瓶颈进行了一系列的分析与优化,并提出一种高效的纵向联邦GBDT算法实现。...系统架构与实现 接下来笔者介绍一下腾讯自研联邦学习平台PowerFL中的纵向联邦GBDT实现。 系统架构 ?...实验对比 在本章节,笔者对PowerFL中的纵向联邦GBDT实现进行性能测试,这里主要考量的是腾讯自研平台相比FATE的训练效率提升,以及纵向联邦训练与非联邦训练的模型精度比较,并在最后介绍PowerFL...相比于开源联邦学习平台FATE,PowerFL在小规模数据集上可以达到18.9倍的性能提升,并支持更大规模的数据集,并达到与非联邦训练相同的模型精度。

4K50
领券