学习
实践
活动
工具
TVP
写文章

基于机器学习场景,如何搭建特征数据管理

作者 | 陈迪豪,第四范式资深架构师 编辑 | Jane 出品 | AI科技大本营(ID:rgznai100) 本文为CSDN即将推出的《新战场:决胜》专刊的第 5 篇文章。 一、机器学习场景与高性能特征管理 理想的机器学习场景是给到数据,训练模型后就能直接上线服务。然而真实的 AI 应用落地过程非常复杂,并不是有数据、懂算法就可以了。 在这种情况下,对企业特征管理有什么要求? 我们如何保证离线在线一致性呢? 通过一个统一的特征描述语言,用户离线环境中用这种统一特征描述语言进行表示与建模,在线环境中直接使用这个建模脚本来上线。 ? 二、特征管理的计算和存储核心剖析 这部分将主要介绍整体架构和计算、存储两大引擎。 ? 如上图所示,整体架构的左侧是用户接口,用户可以用控制、命令行、SDK的方式访问核心组件。

2.3K30

开发者如何搭建有业务价值的数据

过去几年,数据非常的火,但是对于企业的数据管理者来讲,每天都会面临一个挑战,就是如何挖掘数据的业务价值。 数据的业务价值在哪里? 企业对于数据、数据价值的三大期待 数据在2019年成为数字化转型的下一个趋势,特别是在本土的数字化转型市场,我们发现数据的百度搜索指数比数字化转型更高,这说明数据被很多企业所认可和接受。 为什么数据会成为企业数字化转型的下一个趋势,它代表了企业什么样的诉求? 我做了一个研究,从466份数据调研获取到行业对于数据的三大期待: 1、希望数据距离业务更近,能够直接为业务产生价值。 2、希望数据系统能提供多样化的数据服务而不仅是报表。 第2层是技术平台层,验证了哪些场景能够带来数据价值,就要想如何规模化的赋能所有业务,找到可以复用的点,把它沉淀下来变成数据

37310
  • 广告
    关闭

    【11.11特惠】AI人工智能低至0.2折

    11.11云上盛惠,人脸核身、人脸识别、文字识别、语音技术、人脸特效等AI产品限时抢!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    AI资讯 | 腾讯云智媒体AI获奖

    关注腾讯云AI平台,了解更多的AI相关资讯!

    8820

    大数据AI演进是大势所趋?

    是否所有的企业都要建设如何构建中等问题还是让他们疑惑。 3、智能化的 AI 产品可以解决复杂多样的业务问题,但面对众多的需求,需要进行优先级排列,您和团队是如何判断业务问题优先级的呢? 5、现在,越来越多的人提到数据需要向 AI 演进,您对此怎么看?宜信的数据AI 之间是什么样的关系?二者之间是如何支持协作的? 有了数据清洗好的数据,搭建智能项目事半功倍; 数据也需要使用 AI 的智能化能力使得数据使用更加平民化和智能化。 目前在落地过程,除了搭建 AI 相关平台以外,花费时间最多的是与数据相关的过程,无论是模型训练,还是知识图谱构建,很多时间用在获取数据和探索数据。

    1K20

    大数据-数据搭建技术选型

    introduction/ 视频:https://www.bilibili.com/video/BV13L4y1L71w/ 源码:https://github.com/DTStack/Taier 推荐资源 数据是什么 vd_source=e0fcc7abaacc3af8b556e0441cd6d47a 【网易大数据专家,为你剖析数据的现状及未来】 https://www.bilibili.com/video/BV1EQ4y1M7fW

    10220

    如何设计数据

    数据设计方法论 数据建设方针:横向规划,各个击破。 横向规划即在数据规划初期,需要打通企业各个业务系,打破数据孤岛现象。其实就是我们建设数据仓库的阶段。 数据建设过程涉及到大数据平台建设、数据仓库建设、模型算法、数据治理、数据服务等一系列工程,不可能一蹴而就,我们需要梳理业务场景,看他们需要什么样的服务先找一个业务场景,搭建起数据的服务能力,然后依次迭代 [在这里插入图片描述] 模型建设 模型建设是数据的重要部分,可以说数据的成败在于模型建设的好坏。模型分为我们常指的数据仓库的分析模型和我们的一些通用算法模型。 讨论 关于数据的建设,最初是阿里提出来的,但是这之前,很多企业其实已经有了类似的想法,也实施了部分。对于大型集团企业,方法论很实用。打破了集团各版块的数据孤岛,形成了统一的数据服务能力。 但是慢慢的很多人提出了,对于中小企业,方法论是不是太繁琐了,对于他们来说是负担,中小企业需要的也许是更快捷的迭代形式的数据服务。 那么关于建设,你怎么看呢?你的企业会选择吗?

    86060

    从《战略》到《实践》,云徙科技如何拆解建设方法论?

    倘若给科技圈这两年的热词排个序,“”一定榜上有名。 诞生不过数年,但是其受到的关注度丝毫不弱于一门基础编程语言,归根究底,和其追随者们踏入了时代洪流。 与此同时,关于的探索也正在由稚嫩走向成熟,典型标志就是以云徙科技为代表的企业,将建设方法论不断迭代更新。 台前路其修远兮,企业如何求索? 2018/2019年,业界对于的探讨更多提升到价值层面,“做到底有什么价值”、“怎样降本增效”、“投入产出是否合适”,这是建设的2.0阶段。 随着认可度的提高,企业“百家争鸣”,每家做法都不同,业务、数据、技术、财务层出不穷,但仍然没有解决的效率问题。

    15120

    腾讯云智媒体AI,获奖了!

    5月27日,“CCBN年度创新奖”正式公布,腾讯云智媒体AI,荣获CCBN2021产品创新优秀奖! ? 腾讯云智媒体AI,从“媒体+AI”应用的实际需求出发,依托腾讯内部诸多优秀团队的AI技术与最佳实践,包括腾讯云智慧传媒行业、腾讯云AI、腾讯安全天御内容安全团队,以及腾讯优图、腾讯多媒体实验室、微信智聆等 结合在微信看一看、微视、企鹅号、腾讯视频等的互联网媒体AI应用经验,以及在央视频、河南日报、宁夏黄河云融媒体平台的项目沉淀,腾讯云智媒体AI聚焦技术与媒体应用场景的结合,贴合媒体业务打造专属算法,并持续迭代升级 为媒体全业务流程打造应用服务,腾讯云智媒体AI覆盖多模态内容结构化、智能转码、超分、老片修复、视频质检、智能审核等多维度应用。 | 戳打工人的爽点,3步就够了 | AI会是考试作弊的终结者吗?| 腾讯云AI「 承包了一片海 」|  点击“阅读原文”,了解更详细的媒体AI解决方案。

    61540

    如何搭建FTP服务器

    所以我们可以选择搭建一个FTP服务器来共享文件。 那么问题来了,有的同学会问,我们既然在一个局域网内,直接用QQ传也很快啊,干嘛要搭建FTP服务器? 那么告诉大家,如果两人不能同时在线呢? 在学校拥有了一服务器之后,我可以把自己的资料或者电影放到我的FTP服务器上,分享给同学一个链接,分分钟下载完,当然我们需要在一个局域网才能有那样的速度,这样的话,不用我去开个QQ传,也不用动什么网盘分享

    11.6K42

    如何围绕MLSQL构建数据

    MLSQL 目前开源的部分包括三个组件: Console, 也就是Web控制 Cluster, 方便管理和代理后端多个MLSQL Engine实例 Engine, 相当于MLSQL的JVM(脚本解释器 不过仅仅靠这三个项目是远远难以达到水平的。那还欠缺什么呢? MLSQL Console内置了一个简易的权限控制服务,MLSQL Engine会调用该控制服务来觉得哪些表的访问是否被合法授权。 调度系统 调度系统一般而言需要和MLSQL Console(或者你的Web控制)进行深度整合。譬如我在debug完一个脚本后,我应该能够在Console里直接设置依赖/定时任务。 总结 通过MLSQL Engine强大的可扩展能力,MLSQL语言的简单和灵活性,再配合上面的几个系统辅助,一个横跨分析师,算法,研发,数仓,各业务线的产品,研发,运营的数据就此可慢慢成形。

    13320

    AI如何助力办公?金山办公发布KSAI-lite开源框架,分享WPS的AI能力

    在此次开放日中,金山办公分享了WPS的AI能力,KSAI-lite开源框架同步发布。 金山办公高级副总裁庄湧,金山办公副总裁、AI负责人姚冬,华南理工大学教授、中国图像图形学学会常务理事金连文,创客贴研发负责人殷允恒等出席本次活动并发表演讲。 ? 金山办公副总裁、AI负责人姚冬 金山办公副总裁、AI负责人姚冬透露,目前KSAI-lite框架已经上架主流开源社区GitHub。 华南理工大学电子与信息学院教授、广东省琶洲实验室OCR中心主任金连文 作为在办公领域深耕30多年的技术公司,金山办公从2017年成立了AI。 金山办公AI专注于计算机视觉、自然语言处理相关算法研究,围绕办公领域开发了近 100 项 AI 能力,涵盖全文翻译、文档校对、智能写作、PPT美化、数据分析等。

    23250

    干货 | 如何基于DataWorks构建数据

    阿里妹导读:为了应对众多业务部门千变万化的数据需求和高时效性的要求,阿里巴巴首次提出了数据的概念,经过众多项目的实践已经沉淀出了标准化的流程和方法论。如何构建一个数据? 原盒马在线数据平台研发负责人欢伯向大家分享新零售企业如何基于DataWorks构建数据的经验心得,从商业模式及业务的设计,到数据的架构设计与产品选型,再到数据构建的最佳实践,最后利用数据去反哺业务 当确定了这些业务形态后,我们再来聊数据如何去支撑这些业务,通过数据的打通来完成整个商业模式的闭环。 二 新零售企业产品技术架构设计 ? 数据如何支撑业务 之前讲的都是基于DataWorks来构建新零售数据,最早我们提到数据一定要服务业务,现在我也介绍一下数据如何为业务服务的一些方式。 这些BI跟AI结合在一起的应用是可以让数据真正产生价值,企业也可以根据目前不同的数据应用阶段,设计不同的数据应用产品,让数据真正赋能业务。 -END-

    54610

    AI助力企业智能化转型|内容速记

    今天我想和大家分享的是 “AI如何助力企业数字化以及智能化转型”,以及我在构建 AI方面的一些心得和经验。 企业数字化旨在利用数字化技术改变企业业务模式,优化生产过程以及寻求新的商业价值。 6、研究缺乏管理:缺少统一标准,研究力量分散,资源利用率低,AI资产缺乏管理,易流失。 化思想结构 ? 化理论是几年前阿里提出的,他们在企业内部进行了一系列的化改造。 化的事项对于AI研发是否有帮助? 我们构建 AI,上面对接业务前台,下面依赖于数据方的支持,对外提供一个标准化统一化的服务。 总而言之,AI是充分利用企业现有的能力。当前端有新的需求出现时,后端可以用自动化的工具迅速迭代功能。此外,AI还可以利用企业已有的一些能力来对前台提供支持,让企业服务越来越敏捷。 如果有重复的需求提出,AI可以帮助企业直接利用现在已有的服务,通过一些简单的改造或者封装,提供一个充分复用、充分共享的服务,避免重复性建设。 AI的建设 ?

    29620

    如何搭建一个PB级大数据?我之前是这么搞的!

    2015年,阿里率先布局战略,虽然张勇近期在阿里内网发布文章表示,他对目前阿里的并不满意,但“大数据”这个由中延伸出的概念,已然成为行业标配。 数据,是战略体系中非常重要的一部分。身为一名大数据架构师,在落地大数据台架构的过程,需要具备哪些架构能力和大数据能力?有哪些可复用的优秀经验,以及需要规避的问题点? 那么,如何拥有这些顶级架构思维模型?我想,只有切实在企业级真实架构设计实践才能出真知! 回想我成长为首席架构师之路,也的确践行了这套方法论。 大数据架构师9大顶级思维模型 但回归企业现状,绝大数同学们都没有这样的企业真实案例的历练机会,如何帮助他们拥有这些大数据架构设计思维模型,学习和模仿是快速提升之路。 精品课程为期2天,内容由2大篇章9大模块构成,包括: Day01 总体架构设计哲学篇:PB级企业三高大数据总体架构设计与实践 Day02 重塑数据实践篇:PB级企业三高大数据台架构真实案例设计与实践

    56750

    业务系统架构:大中+小前台电子商务系统搭建框架思维

    【数商云】在电子商务系统搭建行业有近十几年的服务经验,近年来的数据、业务等系统架构兴起,大多数企业在不清楚的背景的情况下就盲目追求,最后只会导致自身平台丢失原有的优势框架。 现将【数商云】为其他企业搭建商城系统用到的框架做个简单的介绍,更多细节请参考官方文档。 用业务化框架来优化电商交易系统优势 上面介绍了交易业务的设计理念,本篇会详细的来说为何要用的思想来架构交易系统。 首先来看初创公司/新业务系统是如何演进的:以基于云计算为基础的架构模式,大部分的初创的交易系统架构图如下: 对于一个业务规模很小,业务也比较单一,该架构也是最高效的方式,一到两个web系统,数个微服务业务系统 系统产生背景 在介绍业务模式之前,先来看看中概念的产生背景,研发模式最早产生于芬兰著名游戏公司supercell.Supercell有员工180人,后被腾讯以100亿美金估值收购,其鼎峰时期全球排名

    60140

    搭建业务系统框架:大中+小前台电商系统架构思路

    近年来的数据、业务等系统架构兴起,大多数企业在不清楚的背景的情况下就盲目追求,最后只会导致自身平台丢失原有的优势框架。 云服务&设施容器层: 如果电商系统开发技术团队不是非常大,又没有较强的运维技术人员,建议不要购买物理机自己搭建环境,而是直接使用比较成熟的ECS和其他云服务,这样会节省很多时间成本和一些耗时的运维工作, 现将总结的企业搭建商城系统用到的框架做个简单的介绍,更多细节请参考官方文档。 用业务化框架来优化电商交易系统优势 上面介绍了交易业务的设计理念,本篇会详细的来说为何要用的思想来架构交易系统。 首先来看初创公司/新业务系统是如何演进的:以基于云计算为基础的架构模式,大部分的初创的交易系统架构图如下: 对于一个业务规模很小,业务也比较单一,该架构也是最高效的方式,一到两个web系统,数个微服务业务系统

    2.4K61

    之上(十二):如何快速设计业务架构?

    方案最终只是在原有的业务模型增加了部分步骤和规则,就一个抽象业务模型而言,不需要再增加活动、任务这些较大的元素了。 模型化的业务架构工具对企业级需求分析的加速作用。 和组件化一样,都是通向快速响应的方式,单就快速响应而言不能简单比较孰优孰劣,基于企业级业务架构的组件化设计,其实优势还是在于有效连接战略与开发,实现上下贯通的一体化设计,这方面不是单纯追求的技术实现可以获得的

    36510

    vue cli3 搭建一个通用(完)

    前文 已经完成这个架子的搭建 关于登录 本地实现图形码, 当然这个并不安全 关于 router 路由实现到三级动态路由 mock存有路由数据 github 地址 https://github.com | user-classify //用户列表 | utils //其他页面 404等 | sys //系统设置, 开发显示

    54530

    vue cli3 搭建一个通用(二)

    前文 上一文已经完成了项目的创建和环境的配置 本文将完成以下几点 用户登录页面 mock数据模拟请求 动态路由构建 开始 先安装我们需要的依赖 npm i element-ui axios mockjs /mock/mock-login') 登录提交时调用 api/index 定义好的接口 import {login_hick} from '../.. 文件所在位置 } ] } ] return route } Mock.mock('/route/index', 'post', routeData) 除上一文在 /api"; let route = { //一个路由集合, 所有添加的路由都在views的children path : '/views', name : 'views', component : () => import(/* webpackChunkName: "utils" */ '@views/utils/404') } ] }) /* * 路由元 用来解析请求数据的路由

    54220

    扫码关注腾讯云开发者

    领取腾讯云代金券