首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

李卓豪:网易数数据逻辑数据湖的实践

内容分为五部分: 关于网易数 为什么做逻辑数据湖 怎么做逻辑数据湖 未来规划 精彩问答 01 关于网易数 网易数是从网易杭州研究院孵化出来的。网易杭研的重要职责是公共技术的研究和产品孵化。...2018年支持网易严选、考拉、音乐、新闻数据构建。通过在商业化过程对市场需求的摸索实践,终于在2019年形成了“全链路数据”解决方案,致力于将“数据生产力”的理念能力落实到解决方案。...纵观网易大数据的发展历史,可以看到这个过程贯穿了数据理念的变化。有数从公共数据平台逐渐转变为具备有业务属性的数据,最后逐步向“数据生产力”理念靠拢。...同时在落地过程,形成了技术业务双循环的模式。双循环中涉及三个角色,两种驱动力。三方分别是内部用户、外部用户、数据;业务场景、技术前瞻是推动双循环的驱动力。...这两种驱动缺一不可:大数据技术和应用发展日新月异,数据的业务支撑能力特别依赖于底层的技术能力和前瞻性。 02 为什么做逻辑数据湖 1.

1.1K10
您找到你想要的搜索结果了吗?
是的
没有找到

#凯哥讲数据#一个订单服务的演进过程剖析之一

01.前言 最近很多同学都在微信留言询问数据和业务的区别,希望能够深入浅出,很容易理解的解释什么情况下需要业务,什么情况下需要数据以及的关系。...我前面做了很多行业研究和案例分享,但是都是企业级的讲解,感觉都不够简单,不够落地,这里我用一个最清晰的订单服务的演进过程,来深度剖析的关系。 02....一个订单服务的演进过程 订单服务是最常见的场景,下面我们用一个电商领域的常见订单服务的演进过程来详细剖析为什么会出现,它们的价值以及关系。...数据一致性差,订单数据分散在不同的应用系统,数据不一致,同步复杂。 维护困难,当一个订单逻辑发生了变化,所有的应用逻辑都要重写,带来的很大的维护工作量,响应慢。 ?

89620

面试官:为什么在系统推荐写?

思考第一个问题1、在database,redis,elasticsearch,hadoop的数据是有关系的,还是彼此独立的?显然是有关系的,在这几个数据源的数据都是相关的。只是格式不一样而已!...那么,写会带来什么坏处呢?OK,继续往下看! 写缺点 一致性问题打个比方我们现在有两个client,同时往两个DataSouce写数据。...因为写入顺序已经在消息队列定义好,各数据源按照消息队列的消息顺序,恢复数据即可,并不存在竞争现象。因此,不会出现不一致的问题!原子性问题OK,这种情况下,如果写入DataSource失败会怎么样?...如下图所示 在该图中的中间件,例如oracle的oracle golden gate可以提取数据变化。mysql的canal能提取数据的变化。至于消息队列,可以选用kafka。...直接提取数据变化到kafka,其他数据源从kafka获取数据,避免了直接写从而导致一致性和原子性问题。 基于微服务的思想,构建在 B2C 电商场景下的项目实战。

2.3K10

今晚,揭秘「无量」:腾讯PCG推荐超大规模深度学习系统

近年来,一词十分火热。经过业务与实践,各个互联网大厂都逐渐走出了自己的技术路线。...推荐 / 搜索因为在业务展现出越来越重要的商业价值,而通过深度学习模型为用户提供千人千面的服务已经成为推荐 / 搜索的主流方案。推荐由此成为推荐 / 搜索场景重要的基础设置。...腾讯,作为中国互联网巨头,在新闻、视频等多种业务上都需要推荐技术的支持。他们是如何打造自己的推荐的呢?...在机器之心最新一期的技术分享,我们邀请到了腾讯专家研究员袁镱博士为大家介绍腾讯 PCG 推荐超大规模深度学习系统—无量。今晚,袁博士将为大家深度解读无量系统的设计原则以及技术特点。...分享摘要:本分享会介绍腾讯 PCG 的推荐整体架构,通过分析推荐业务对超大规模模型的核心需求,推导 PCG 推荐超大规模深度学习系统 -- 无量的设计原则,并介绍无量的一些技术特点。

63320

腾讯看点CTO徐羽: QQ浏览器背后的推荐AI | AICon

随着信息流和短视频应用的发展,推荐系统已经从传统的单目标浅层网络的中小型架构演进为多目标超大规模深度学习的复杂架构。这种复杂的系统的演进对大规模的训练推理和在线排序提出了非常高的技术要求。...我们邀请到了腾讯看点 CTO 兼副总经理、PCG 事业群 AI 负责人徐羽现场分享《AI 与推荐技术在腾讯看点的应用》。...最后也会介绍目前 PCG 的 AI 的规划思路和进展。...AICon 北京站主题演讲还邀请到快手技术 VP、人工智能团队 MMU&Y-tech 负责人王仲远博士分享《AI 技术在快手业务的应用》。...相关图书推荐 ▊《工业级知识图谱:方法与实践》 张伟,陈华钧,张亦弛 著 揭秘知识图谱的通用可迁移构建方法 详解阿里巴巴超大规模知识图谱核心技术 墙辉(玄难)倾情作序,李飞飞、李海洲、司罗、张民、赵军老师鼎力推荐

76110

线上分享 | 揭秘「无量」,腾讯PCG推荐超大规模深度学习系统

近年来,一词十分火热。经过业务与实践,各个互联网大厂都逐渐走出了自己的技术路线。...推荐 / 搜索因为在业务展现出越来越重要的商业价值,而通过深度学习模型为用户提供千人千面的服务已经成为推荐 / 搜索的主流方案。推荐由此成为推荐 / 搜索场景重要的基础设置。...腾讯,作为中国互联网巨头,在新闻、视频等多种业务上都需要推荐技术的支持。他们是如何打造自己的推荐的呢?...在机器之心最新一期的技术分享,我们邀请到了腾讯专家研究员袁镱博士为大家介绍腾讯 PCG 推荐超大规模深度学习系统—无量。袁博士将为大家深度解读无量系统的设计原则以及技术特点。...分享摘要:本分享会介绍腾讯 PCG 的推荐整体架构,通过分析推荐业务对超大规模模型的核心需求,推导 PCG 推荐超大规模深度学习系统 -- 无量的设计原则,并介绍无量的一些技术特点。

55710

数据与湖仓一体能碰出怎样的火花?网易数实时数据湖Arctic的新探索

这是作为网易公司基础软件团队的网易数首次对外发布在湖仓一体方向的进展,同时宣布的还有网易数有数实时数据战略。...但对很多企业客户来说,他们以前采购了不同的数据库,后来要构建自己的数据湖和数据体系,网易数就给他们提供了逻辑数据湖的方案,客户可以继续使用原有方案,同时网易数给他们提供一个整套的入口,统一管理不同的数据孤岛...首先做数据,本身就是在 Hive 之上加了一层;其次增加的这些功能实际上是引擎端的适配,会有一个单独的治理服务,而这个治理服务是偏的模块,可以认为是整套数据体系的一部分。...如果希望通过实时给整个数据赋能,就需要侵入到数据的架构体系里面去。这就涉及不同团队的磨合以及目标统一的问题,在推进上有一定的困难。这与前两年企业推行数据战略面临的挑战是类似的。...今年在网易数字 + 大会上正式宣布将实时数据作为战略来推进,是网易数在推进湖仓一体过程中有优势的一点。 4 流批一体的最终目标还有多远?

61920

vivo推荐升级路:机器成本节约75%,迭代周期低至分钟级

因此,vivo 人工智能推荐团队从业务定制的烟囱模式走向框架抽象,以实现推荐算法全流程的标准化、自动化、规模化开发为目标,打造能力复用的玲珑·推荐。...玲珑·推荐包含四大模块:推荐中心、特征中心、模型中心、端云协同推荐。...玲珑·推荐台架构图 目前已经有多个业务接入玲珑·推荐,使用其提供的上述能力,快速实现业务个性化推荐的诉求,一站式的推荐解决方案赋能 vivo 软件和互联网推荐业务。...从下图可以看到,配置化推理服务在整个推荐的位置和作用。...由于所有业务都在玲珑推荐注册特征、勾选特征集,从而进一步推动了特征共享复用的可能性。

61210

【新】千神笔aPaaS_低代码应用开发_如何实现企业应用可视化开发- 腾讯云

神笔 aPaaS 是一款专注于企业级应用可视化开发管理的低代码开发平台。...image.png 应用场景 共建行业标准,共筑业务: 携手优质伙伴,共同打造行业应用模版,共享商业成功。 助力国内 SaaS 市场良性发展,解决企业定制化困境,让更多的行业实现数字化升级。...在仪表板可以添加任意组件。多个组件放置在仪表板上并进行布局美化,从而形成一张完整的数据分析仪表板。在仪表板预览界面,可展示各个组件数据分析的结果。不仅如此,还可以导出仪表板内容等。...image.png 操作场景(对接企业微信生态应用服务-增长点) 用户可以在企业微信上直接安装千神笔 aPaaS 第三方应用标准版,千神笔 aPaaS 也支持直接把应用发到企业微信自建应用工作,使用的是企业微信代开发模式...企微应用快速代开发模式应用:(推荐开发者系统学习开发流程,快速上线业务应用,目前非常多企业应用快速增长) image.png 千神笔 aPaaS 千神笔 aPaaS 是一款专注于企业级应用可视化开发管理的低代码开发平台

1.7K31

Llama2等30+模型接入千大模型平台,推理成本降50%!还有超全Prompt模板开放体验

最新消息,百度智能云千大模型平台又叒升级了,这回还悄然变身国内拥有最多大模型的平台: 不仅能跑文心大模型,Llama2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct...在“模型仓库”的预置模型,可以找到文心大模型、BLOOMZ-7B和此番更新的全部第三方大模型,一键就能开始部署。 辣么问题来了,其中不少都是开源模型,在千上调用跟直接拿代码用相比,有啥好处?...直白一点说,就是便宜、易用,“千优选”。 首先,在诸多开源大模型,并不是每一个都效果理想,有可商用协议。...而千平台的这个Prompt模板功能,实际上就是帮你在不熟悉提示工程的情况下,也能快速玩转大模型。 比如让某开源大模型帮忙推荐菜谱。 如果只是告诉它:想吃辣。...这个时候就可以一键引用千模型库里的“厨师”模板: 我想让你充当我的私人厨师。我将告诉你我的饮食偏好和过敏症,你将建议我尝试的食谱。你应该只回复你推荐的菜谱,而不是其他。不要写解释。想吃辣。

25740

慢公司VS快市场,网易能赶上企业数字化的时代列车吗?

在强手林立的市场其还有几分胜算? 这时候再发力是否为时已晚?在刚刚落幕的“网易数字+大会”,这些问题一一揭晓。...4年来,网易数的私有部署产品已服务包括德邦快递、中国工商银行、名创优品、海亮集团等百余家行业头部标杆客户,并在多行业为企业完成双部署。...软件定义组织Software Defined Institute”,世界上非常成功的一批公司都得益于软件的能力;其次,是“数据智能Data & Intelligence”,通过大数据、AI等手段,企业将从数据获得更智能的决策...在强手环伺的云计算市场,擅长后发制人的网易会从哪个角度出其不意攻其不备?各家云计算厂商的打法各有不同,有的主打出海,强调海外节点的优势,有的则强调数据中心如何实现数据保护。...所以,网易数始终强调的都是场景化服务,陆续推出微服务平台、大数据平台、BI产品、业务和数据等一系列的能力,这些能力都汇聚成了基础软件方面的能力。

35220

iPaaS x 事件总线,快速完成企业微信消息推送

iPaaS x 事件总线触发云函数,简化接入方案 千 iPaaS 作为一种新型的云集成服务,将企业内外部间不同的系统或业务连接到一个统一的平台中,实现 SaaS 服务之间的连接。...场景案例 在云点播场景,对云点播的视频发起的上传、删除、视频处理等操作,都可以被称为一个事件,云点播在事件结束时,会立即通知 App 服务操作的执行结果,即事件通知。...投递目标配置,选择刚刚创建的千 iPaaS 集成流,EventBridge 将自动为您创建云函数,完成事件的接收与到千 iPaaS 的投递。...推送结果验收 复制生成的 API 网关 URL,在云点播控制配置回调,即可完成配置,当云点播侧视频处理完成后,企业微信机器人将同步推送结果到微信群。...---- 识别下方 二维码,进入「事件总线」交流群 ---- 推荐阅读 One More Thing ---- 欢迎进入千人 QQ 群 (871445853) 交流 Serverless!

85520

SaaS产品增效 | 小程序类产品设计方法探索

易销小程序是一款推广腾讯千商品的营销小程序。我们在改版过程中发现,传统的设计理论在小程序设计过程过于笨重,很难满足SaaS类小程序灵活性高、快速迭代的需要。...小程序的特点 目前主流的设计理论,如设计思维、钻模型、环形模型等,设计流程比较长,使用比较复杂、耗时久。...多维度属性细化 下图是在千易销小程序设计,对首页卡片属性进行的相关细化,充分阐释多维度价值,进一步丰富价值内涵。...对于新用户:信息推荐、信息分类、场景化分类等可以提供较好的定位体验,帮助用户快速带入产品场景,降低流失。...如下图在千易销小程序部分定位方式的效果,定位方式嵌套使用,比如在解决方案场景化的定位过程,同时提供了推荐和筛选等来增强方案定位效果。

1.4K22

「EB + iPaaS + X 计划」系列一:告警信息实时推送

腾讯云事件总线(EventBridge)与腾讯千鹊桥 iPaaS 携手,将安全、稳定、高效的无服务器事件管理平台与腾讯千鹊桥 iPaaS 的多种连接器集成,通过 「EB x iPaaS x X」架构...选择 Set Variable 组件,将 payload 的 region、资源ID、requestId 用变量名 body 进行保留。...(可选)配置 Try 组件捕获子流错误,单击画布的 Catch 选框。设置错误类型为 ANY,可以捕获所有错误,并配置 Logger 组件用来在控制输出日志。...单击 画布的“+”弹出组件筛选框。选择 企业微信机器人 连接器 - 发送 markdown 消息; 2. 配置企业微信机器人 webhook 地址; 3....尝试触发服务器重启如下图: 集成流效果如下图(钉钉、飞书相同): 企微微信群推送消息: 钉钉内部群推送消息: 飞书内部群推送消息: ---- 识别下方 二维码,进入「事件总线」交流群 ---- 推荐阅读

78240

基于千AppBuilder助力古诗词速记新方式

目录前言千AppBuilder搭建古诗词速记应用使用体验及收获结束语前言不用多说想必大家都知道,古诗词作为中国文化的瑰宝,是中学生语文学习重要的组成部分,但是在中学时期关于古诗词的背诵,对于大部分人来说是个...千AppBuilder先来了解一下千AppBuilder,某度智能云千AppBuilder(简称AppBuilder)是基于大模型搭建AI原生应用的工作,提供RAG、Agent、GBI等应用框架...首先需要进入某度智能云千AppBuilder,登录某度账号进入即可,然后点击“立即使用”即可,如下所示:点击立即使用按钮,直接进入创建应用控制主页,如下所示:点击创建应用按钮,即可进入具体应用生成的管理页...你会结合每首古诗词的特点,推荐出最快的背诵方法。Rules1.你需要提供每首古诗词的结构。2. 背诵方式需要适合中学生记忆习惯。3. 古诗词背诵方式不局限于拆分,还可以诗词填空、诗句对答。...随着国内外AI技术的快速发展,以及千AppBuilder的不断迭代和创新,我相信在未来,这种新方式将会在中学生古诗词学习以及教育领域发挥越来越重要的作用,不仅可以让“学生党”更好的快速记忆学习,而且也推动了中华民族传统古诗词文化的传承和发展

5223

事件总线携手千 iPaaS,共同构建云上事件处理生态

iPaaS 支持各种集成场景,企业可以通过控制快速简单接入,通过配置、开发、部署、执行、管理和监控来实现业务的互通互联,有效降低用户系统集成难度和周期。...同时事件总线支持自定义事件的处理及筛选,您可以在事件总线设置事件规则、自定义事件匹配或相关过滤逻辑。 01....千 iPaaS 联动事件总线 EventBridge 千 iPaaS 已经全面集成事件总线,基于事件总线,提供云上事件与第三方 SaaS 服务事件的传输与消费能力,大大拓展了事件处理的业务场景,降低事件接入成本...消息推送 业务场景往往会有告警推送、消息通知等需求,如腾讯会议的邀请推送、云上业务的监控告警等,也可以通过千 iPaaS 与事件总线一起实现。...---- 推荐阅读 ? ? ? One More Thing ---- 欢迎进入千人 QQ 群 (871445853) 交流 Serverless! ?

95370

腾讯SaaS加速器“数字金融”伙伴真果科技实施“融资帮扶”计划|腾讯SaaS加速器·学员动态

来源 | 腾讯SaaS加速器首期项目-真果科技 ---- 真果科技是创新领先的产业数字金融服务商,融合应用人工智能、区块链、云计算、大数据等技术,自研沉淀“产业数字金融产品”,开创 “链资产数据确权...12月,真果科技SaaS化“产业数字金融产品”正式上架——腾讯SaaS生态“千计划”的另一大项目“SaaS臻选”商城,联合品牌服务。...真果科技“产业数字金融产品”上架臻选市场 “复工复产,融资帮扶”计划一期内容 协助十个区域政府及十家核心企业,免费搭建“科技金融服务平台”,联合全国147家金融机构,赋能区域政府为所辖中小微企业提供专项的融资帮扶金融产品...疫情当下,金融科技服务刻不容缓,腾讯云联合生态伙伴在行动,落实“腾讯云抗疫产品的销售培训”,进行

1.1K10

中国Nature第一人,居然是清朝的他

因为,中国第一艘军舰,是他造的; 中国第一蒸汽机,他建的; 中国第一个科技学校,他开的; 就连你中学时代的元素周期表,都是他翻译的…… 所以说,这个「大神」堪称「中国科技第一人」,然而,就是这个启蒙了中国近代科学的人...打击是有的,但试想一下,如果徐寿以所谓优异的成绩考上个官做,他也会埋没在八股文的死板应试,随着闭关锁国、封建迷信的清朝一起沉浮。...凭借一巧手,他精通很多古代乐器。有一次,徐寿在县城帮人修理七弦琴,受到了一个人的赏识,此人是清代举人华翼纶,比徐寿大15岁。...因为我们用的是桨动力船,没有蒸汽机。 牢记于心的蒸汽机技术与一巧手,为了中国的蒸汽船,徐寿等人硬生生地开始了作业。 功夫不菲有心人,3个月后, 中国人自制的第一蒸汽机诞生。 ...参考资料: https://www.sohu.com/a/442424131_682259 推荐阅读: 1.75万亿,世界第一!智源发布「悟道2.0」巨模型,中国首个万亿模型参数为GPT-3的10倍

16520
领券