工业 AI 训练系统推荐 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

浅谈工业级推荐系统

浅谈工业级推荐系统我于2020年8月受“第一届工业级推荐系统研讨会”的邀请，做了题为“工业级推荐系统最新的挑战和发展”的主题演讲。...工业级推荐系统及其生态系统 ---- 工业级推荐系统和学术研究中的推荐系统最大的一个区别，也是最容易忽视的一个区别在于，前者往往是某个产品中的一个环节，甚至有时候是一个很小的环节。...工业级推荐系统作为复杂的软件系统 ---- 这里要提到的最后一个工业级推荐系统的特性，也是推荐系统的学术研究往往会完全忽视的，那就是工业级推荐系统往往是一个复杂的软件系统。...从软件系统的角度来看，工业级推荐系统和推荐系统研究有着比较大的差别。...总结点评 ---- 我们在这一篇文章中为大家阐述了三个工业级推荐系统的重要特征。这三个特征都有别于推荐系统的主流学术研究，但都是推荐系统应用到工业界产品中所需要思考的问题。

1.2K3 0

【推荐系统篇】--推荐系统之训练模型

一、前述经过之前的训练数据的构建可以得到所有特征值为1的模型文件，本文将继续构建训练数据特征并构建模型。二、详细流程 ?...将处理完成后的训练数据导出用做线下训练的源数据（可以用Spark_Sql对数据进行处理） insert overwrite local directory '/opt/data/traindata' row...这里是方便演示真正的生产环境是直接用脚本提交spark任务，从hdfs取数据结果仍然在hdfs，再用ETL工具将训练的模型结果文件输出到web项目的文件目录下，用来做新的模型，web项目设置了定时更新模型文件...//得到稀疏向量 val sam: RDD[SparseVector] = sample.map(sampleFeatures => { //index中保存的是，未来在构建训练集时...trainSet") // la.sample(true, 0.001).saveAsTextFile("testSet") // println("done") //逻辑回归训练

1.8K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

华为 | ReLoop：自纠正地训练推荐系统

导读目前的模型训练过程只获取用户的反馈作为标签，而没有考虑到之前推荐中的错误。本文为推荐系统构建一个自纠正学习循环（称为 ReLoop），从而从之前的推荐错误中学习知识。...构建自定义损失来鼓励每个新模型版本在训练期间减少对先前模型版本的预测误差。核心：利用前一次训练的预测结果来约束当前轮次训练的性能不能差于前一次，简单有效。 2....方法 image.png 2.1 生产中的训练循环推荐模型的训练循环如图 1(a) 所示。首先，从用户对曝光商品的隐式反馈中收集训练数据，即点击商品作为正样本，未点击商品作为负样本。...最后，在线曝光和点击事件将被记录在用户行为日志中，进而触发新的一段时间的训练。可以发现相邻训练程序之间的联系非常松散，因为每个程序都独立地训练自己的模型。...除了上述损失函数还需要正常的推荐模型训练，此处采用交叉熵损失， \mathcal{L}_{c e}=-y \log \hat{y}-(1-y) \log (1-\hat{y}) 因此总损失为 L=\

6262 0

AR装配训练系统：赋能工业新技能培训

在元幂境看来，在智能制造和工业4.0快速发展的今天，装配环节作为制造业的核心之一，直接决定着产品的精度与品质。...一、什么是AR装配训练系统　　AR装配训练系统是一种利用AR眼镜或AR显示终端，将三维装配步骤、零部件信息、操作指令等内容以虚拟影像形式叠加到现实工作环境中的综合训练平台。　　...五、发展趋势　　未来AR装配训练系统将向以下方向演进：　　AI智能化：与人工智能深度结合，实现自动化错误识别与操作优化建议。　　数字孪生融合：与数字孪生技术结合，形成虚拟-现实同步的装配训练体系。　　...跨行业普及：不仅应用于工业制造，还会拓展至医疗、建筑、交通等领域。　　六、总结　　AR装配训练系统作为增强现实技术与工业培训深度结合的产物，正逐渐改变传统装配培训的模式。...在元幂境看来，随着人工智能、数字孪生和5G等技术的持续融合，AR装配训练系统将会更加智能化、普及化和高效化，成为未来工业培训的重要引擎。

2801 0

【推荐系统篇】--推荐系统之之特征工程部分---构建训练集流程

一、前述根据前文中架构，本文我们讨论线下部分构建训练集部分。因为我们离线部分模型的选择是逻辑回归，所以我们数据必须有x和y. 二、具体流程 1.从数据库中分离出我们需要的数据。 ...2.构建训练集中的关联特征 ? 流程： ? 2.构建训练集中的基本特征 ? 总结：注意特征名离散化因为如果特征不离散化会造成数据之间有关系。...local inpath '/opt/sxt/recommender/script/sample.txt' into table dw_rcm_hitop_sample2learn_dm; 3、构建训练数据... STRING, pay_ability STRING )row format delimited fields terminated by '\t'; 最终保存训练集的表... STRING, features STRING )row format delimited fields terminated by '\t'; 3.2 训练数据预处理过程

1K1 0

【AI系统】感知量化训练 QAT

本文将会介绍感知量化训练（QAT）流程，这是一种在训练期间模拟量化操作的方法，用于减少将神经网络模型从 FP32 精度量化到 INT8 时的精度损失。...感知量化训练流程传统的训练后量化将模型从 FP32 量化到 INT8 精度时会产生较大的数值精度损失。...QAT 的流程如下图所示，首先基于预训练好的模型获取计算图，对计算图插入伪量化算子。准备好训练数据进行训练或者微调，在训练过程中最小化量化误差，最终得到 QAT 之后对神经网络模型。...微调时间为原始训练计划的 10% 感知量化训练不需要像原始训练那样耗时，因为模型已经相对较好地训练过，只需要调整到较低的精度。一般来说，微调时间为原始训练计划的 10% 是一个不错的经验法则。...QAT 和 PTQ 对比 PTQ QAT 通常较快较慢无需重新训练模型需要训练/微调模型量化方案即插即用量化方案即插即用（需要重新训练）对模型最终精度控制较少对最终精度控制更多，因为量化参数是在训练过程中学习到的

2.1K1 0

【AI系统】并行训练基本介绍

分布式训练是一种模型训练模式，它将训练工作量分散到多个工作节点上，从而大大提高了训练速度和模型准确性。虽然分布式训练可用于任何类型的 AI 模型训练，但将其用于大模型和计算要求较高的任务最为有利。...（Hybrid Parallel），可扩展的分布式训练组件，如：设备网格（Device Mesh）、RPC 分布式训练以及自定义扩展等。...具体来说，这些功能的实现可以分为三个主要组件：分布式数据并行训练（DDP）是一种广泛采用的单程序多数据训练范式。在 DDP 中，模型会在每个进程上复制，每个模型副本将接收不同的输入数据样本。...基于 RPC 的分布式训练（RPC）支持无法适应数据并行训练的通用训练结构，例如分布式流水线并行、参数服务器范式以及 DDP 与其他训练范式的组合。...通过充分利用这些分布式训练组件，开发人员可以在各种计算要求和硬件配置下高效地训练大模型，实现更快的训练速度和更高的模型准确性。

8711 0

详解工业级推荐系统从0到1的构建

由于近些年深度学习技术的飞速发展，大力加速推动了AI在互联网以及传统各个行业的商业化落地，其中，推荐系统、计算广告等领域彰显的尤为明显。...但是，这里存在几个问题，很多欲从事推荐系统的同学大多数学习的方式是自学，1、往往是学了很多的推荐算法模型，了解些推荐里常用的算法，如：协同过滤、FM、deepFM等，但是却不清楚这些模型在工业界推荐系统中是如何串联...范式二：多模型融合范式三：联合训练、ESMM，MMOE框架，ESM2等 ESMM的实现第四部分：实时召回策略与前沿推荐技术 Week12-13: 工业界新闻推荐系统中冷启动与热点文章实时召回人群分桶...强化学习在推荐场景中的应用 Week15: 项目总结，部署以职业规划工业界项目的部署推荐系统岗位的面试要点大厂的面试攻略如何准备简历、包装自己职业规划课程其他的细节可以联系课程顾问来获取...新闻推荐项目目前业界最主流的推荐系统使用 “多路召回 + 精排” 的方式，本项目中，带你掌握这种工业界最流行的推荐方式，你将使用MF、双塔等深度网络进算法对用户和物品进行表达，并基于ANN检索的方式实现召回

1.5K4 0

【GNN】PinSAGE：GCN 在工业级推荐系统中的应用

这篇论文是 GraphSage 一次成功的应用，也是 GCN 在大规模工业级网络中的一个经典案例，为基于 GCN 结构的新一代 Web 级推荐系统铺平了道路。...GCN 在工业中应用的主要挑战在于如何在数十亿节点和数百亿边的网络中高效完成训练，对此论文提出了以下几种改进措施：「动态卷积」：通过对节点的领域进行采样构建计算图来执行高效局部卷积，从而减轻训练期间对整个图进行操作的需要...「多 GPU 训练」：为了能够在单台机器上充分利用多个 GPU 进行训练，作者以多塔（Mulit-tower）的方式训练前向和反向传播。...2.4 Efficient nearest-neighbor lookups 作者主要通过计算 query 和 item 的 Embedding 向量的 k-近邻来进行推荐。...除了保证高度可扩展性外，作者还引入 Importance Pooling 和 Curriculum Learning 的技术大大提高了模型的性能和收敛速度，从实验结果表明 PinSAGE 显著了提升了推荐系统的效果

2.9K2 0

腾讯云工业质检训练平台TI-AOI升级发布，成立工业AI质检生态联盟

7月19日，腾讯云在工业质检合作伙伴沙龙暨生态联盟发布会上，宣布升级发布工业质检训练平台TI-AOI 2.3版本，并携手首批合作伙伴成立工业AI质检生态联盟，共同推动人工智能技术与实体产业深度融合，助力行业加快发展新质生产力...腾讯云副总裁、腾讯云智能产研负责人吴永坚表示，腾讯云在工业质检领域深耕多年，现已构建起包括工业质检训练平台TI-AOI、腾讯云TI平台等在内的AI视觉检测产品矩阵。...此次升级发布的工业质检训练平台TI-AOI，是面向工业视觉质量检测场景推出的零代码开发和交付工具，它以深度学习检测为核心，构建起一个高效、稳定的数据处理和工作流程。...做好工业AI质检项目，需要“光、机、电、软、算”软硬件一体化的系统工程能力。...此次成立工业AI质检生态联盟，是腾讯云工业AI质检生态的进一步深化。

3.3K1 0

工业时代训练了雇员，AI 时代需要什么？

很多人面对 AI 时代时，如果还只是在运行一套工业时代留下来的“雇员系统”，那是非常可惜的。这套系统曾经很有效。...Human 2.0：被训练成等待任务的人 Miessler 用 Human 2.0 来形容工业时代的人。...如果你能发现问题、定义问题、拆解问题、调度 AI 和工具、最后把结果交付给真实用户，你的位置会往上移动。工业时代奖励的是可靠执行。 AI 时代更奖励问题意识、审美判断、系统搭建和持续发布。...工具会换，但系统可以迁移。第四，从等待授权变成持续发布。很多人有能力，却一直等别人给资格。等公司立项，等领导批准，等平台推荐，等自己准备好。 AI 时代最值得训练的一件事，是把小作品发布出去。...最后工业时代训练了雇员。它训练我们守时、服从、稳定、进入流程。这些能力没有消失，但它们已经不够了。 AI 时代需要创造者。创造者不一定是创业者，也不一定是艺术家。

1940 0

【AI系统】训练后量化与部署

本文将会重点介绍训练后量化技术的两种方式：动态和静态方法，将模型权重和激活从浮点数转换为整数，以减少模型大小和加速推理。并以 KL 散度作为例子讲解校准方法和量化粒度控制来平衡模型精度和性能。...训练后量化的方式训练后量化的方式主要分为动态和静态两种。...相比量化训练，静态离线量化不需要重新训练，可以快速得到量化模型。...静态离线量化的步骤如下：加载预训练的 FP32 模型，配置用于校准的数据加载器；读取小批量样本数据，执行模型的前向推理，保存更新待量化算子的量化 scale 等信息；将 FP32 模型转成 INT8...通过替换块分别量化残差连接残差连接是许多神经网络模型（如 ResNet）中的重要组成部分，因为它们有助于减轻训练期间可能出现的梯度消失问题。然而，在量化过程中，残差连接可能会带来挑战。

2.1K1 0

转载:【AI系统】并行训练基本介绍

分布式训练是一种模型训练模式，它将训练工作量分散到多个工作节点上，从而大大提高了训练速度和模型准确性。虽然分布式训练可用于任何类型的 AI 模型训练，但将其用于大模型和计算要求较高的任务最为有利。...（Hybrid Parallel），可扩展的分布式训练组件，如：设备网格（Device Mesh）、RPC 分布式训练以及自定义扩展等。...具体来说，这些功能的实现可以分为三个主要组件：分布式数据并行训练（DDP）是一种广泛采用的单程序多数据训练范式。在 DDP 中，模型会在每个进程上复制，每个模型副本将接收不同的输入数据样本。...基于 RPC 的分布式训练（RPC）支持无法适应数据并行训练的通用训练结构，例如分布式流水线并行、参数服务器范式以及 DDP 与其他训练范式的组合。...通过充分利用这些分布式训练组件，开发人员可以在各种计算要求和硬件配置下高效地训练大模型，实现更快的训练速度和更高的模型准确性。

1.3K1 0

DolphinDB MCP 助力工业 AI 真正进入生产系统

AI Agent 并不是直接随意访问企业系统，而是通过一个个经过定义、授权和治理的 Tool 来完成具体任务。...泛场景适配能力现行 AI 在企业应用落地时的一大困境是数据集成。很多工业现场的历史 IT 资产，尤其是 SCADA、MES、EAM 等系统，并不一定有 MCP 适配器，无法直连 AI 大模型。...而 DolphinDB 凭借其灵活完善的插件机制（目前已覆盖 MQTT、OPC UA、Kafka、REST API 等主流工业数据接口），可以快速对接企业现有的数据栈，将分散在控制系统、物料系统和质量系统中的设备数据统一接入...结语：让 AI 真正进入设备管理生产系统从大模型到 AI Agent，工业行业关注的重点正在从“模型能说什么”转向“模型能做什么，以及能否稳定、合规、可控地做”。...面向未来，DolphinDB 将继续作为 AI 时代工业物联网的智能数据底座，为大模型连接真实产线、进入生产系统、形成可治理的智能化能力提供可靠基础设施。

1731 1

工业时代训练了雇员，AI 时代需要创造者

很多人面对 AI 时代时，如果还只是在运行一套工业时代留下来的“雇员系统”，那是非常可惜的。这套系统曾经很有效。...Human 2.0：被训练成等待任务的人 Miessler 用 Human 2.0 来形容工业时代的人。...如果你能发现问题、定义问题、拆解问题、调度 AI 和工具、最后把结果交付给真实用户，你的位置会往上移动。工业时代奖励的是可靠执行。 AI 时代更奖励问题意识、审美判断、系统搭建和持续发布。...工具会换，但系统可以迁移。第四，从等待授权变成持续发布。很多人有能力，却一直等别人给资格。等公司立项，等领导批准，等平台推荐，等自己准备好。 AI 时代最值得训练的一件事，是把小作品发布出去。...最后工业时代训练了雇员。它训练我们守时、服从、稳定、进入流程。这些能力没有消失，但它们已经不够了。 AI 时代需要创造者。创造者不一定是创业者，也不一定是艺术家。

2251 1

【推荐系统】推荐系统概述

— 哈珀·李许多人把推荐系统视为一种神秘的存在，他们觉得推荐系统似乎知道我们的想法是什么。Netflix 向我们推荐电影，还有亚马逊向我们推荐该买什么样的商品。...推荐系统从早期发展到现在，已经得到了很大的改进和完善，以不断地提高用户体验。尽管推荐系统中许多都是非常复杂的系统，但其背后的基本思想依然十分简单。推荐系统是什么？...如何构建一个推荐系统？现在已经有很多种技术来建立一个推荐系统了，我选择向你们介绍其中最简单，也是最常用的三种。他们是：一，协同过滤；二，基于内容的推荐系统；三，基于知识的推荐系统。...混合推荐系统文章到目前为止所介绍的不同类型的推荐系统都各有优劣，他们根据不同的数据给出推荐。一些推荐系统，如基于知识的推荐系统，在数据量有限的冷启动环境下最为有效。...推荐系统与AI？推荐系统常用于人工智能领域。推荐系统的能力 – 洞察力，预测事件的能力和突出关联的能力常被用于人工智能中。另一方面，机器学习技术常被用于实现推荐系统。

2.8K3 3

基于 Flink 的实时推荐系统：Python 实现与工业级调优

基于 Flink 的实时推荐系统：Python 实现与工业级调优嘿，各位技术小伙伴们！在如今这个信息爆炸的时代，你是不是常常感觉自己像个在知识海洋里奋力划桨的水手，却总被海量的数据浪潮拍打得晕头转向？...今天呢，咱们就来深入探索一下基于 Flink 的实时推荐系统，用 Python 来实现它，并且还要进行超厉害的工业级调优哦！什么是实时推荐系统？...实时推荐系统能够根据用户当下的行为，比如浏览记录、点击操作等，迅速地为用户推荐相关的产品、内容或者服务。它和传统推荐系统最大的不同，就在于 “实时” 二字。...传统推荐系统可能是每天或者每周更新一次推荐结果，而实时推荐系统能在用户行为发生的瞬间，就给出个性化的推荐，大大提升了用户体验。Flink 是什么来头？Flink 可是大数据领域的一颗璀璨明星呢！...结语好啦，到这里关于基于 Flink 的实时推荐系统的 Python 实现与工业级调优的内容就全部介绍完啦！

8271 0

【AI系统】谷歌 TPUv2 训练芯片

通常来说训练过程通过设计合适 AI 模型结构以及损失函数和优化算法，将数据集以 mini-batch 反复进行前向计算并计算损失，反向计算梯度利用优化函数来更新模型，使得损失函数最小从而使得模型收敛。...训练场景难点那么细化下来，训练场景到底有哪些难点呢？更难的数据并行：推理阶段，每个推理任务都是独立的，因此 DSA 芯片集群可以横向拓展。...TPUv1 是一种单芯片系统，作为协处理器用于推理。如果在单个芯片上训练谷歌的生产模型，需要数月时间。...直接连接简化了机架级别的部署，但在多机架系统中，机架必须是相邻的。...芯片架构平面图下面是 TPU v2 的平面布局图，我们可以看到大部分区域都是用于蓝色的计算核心，内存系统和互连占据了剩下的一大半。

2.2K1 0

推荐系统通用用户表征预训练研究进展

受到相关技术的启发，推荐系统最近两年也出现了一些学习用户通用表征的算法和深度模型，也就是，通过对用户行为进行某种程度预训练，然后adapt到一些下游任务中，这些下游任务包括，跨域推荐和用户画像预测，本文简要介绍几种代表性工作...该论文的一个贡献是建立了推荐系统和NLP、CV领域的桥梁，也是通用用户表征比较早期的做法，对后续工作很有启发，同时，作者也发布了一套开源代码和数据集（短视频场景），可以用于预训练、迁移学习、表征学习、画像预测等重要的推荐系统任务...关于表征的迁移效果，论文做了一些ablation study主要是关于推荐系统场景。...500倍，ShopperBERT的60倍以上，有望成为推荐系统领域大模型预训练的里程碑工作。...由于微信公众号试行乱序推送，您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道，请将“AI科技评论”设为星标账号，以及常点文末右下角的“在看”。

1.5K2 0

推荐系统中模型训练及使用流程的标准化

文章作者：梁超腾讯高级工程师编辑整理：Hoh Xil 内容来源：DataFun AI Talk 出品社区：DataFun 导读：本次分享的主题为推荐系统中模型训练及使用流程的标准化。...我们就需要一个很好的系统来管理所有的特征和模型。 2. 推荐系统流程 ? 简单回顾下推荐系统的流程，整个推荐系统需要从数以百万计的内容池中筛选出数以十计的文章推荐给最终的用户。...常用的推荐模型有 LR、FM、DNN、W&D、DeepFM、DIN 等模型，对于推荐系统，无论使用哪种模型，都需要以下几个模块：样本搜集：训练模型离不开大量的训练样本，所以需要进行样本 ( 特征和标签...推荐系统中模型迭代的痛点与研究中给定的数据集不同，推荐系统中的模型需要不断地迭代调优。在日常的工作中，我们常常需要在保证现有模型服务稳定的前提下，不断地增加新的特征，训练新的模型。...模型训练所需的特征需要和在线预测时的特征完全一致。在工业界中，一般会将在线特征 dump 到日志中，训练时结合标签生成完整的训练样本，从而保证在线、离线特征的一致性。

2.5K2 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭