首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

李卓豪:网易数数据逻辑数据湖的实践

内容分为五部分: 关于网易数 为什么做逻辑数据湖 怎么做逻辑数据湖 未来规划 精彩问答 01 关于网易数 网易数是从网易杭州研究院孵化出来的。网易杭研的重要职责是公共技术的研究和产品孵化。...2018年支持网易严选、考拉、音乐、新闻数据构建。通过在商业化过程对市场需求的摸索实践,终于在2019年形成了“全链路数据”解决方案,致力于将“数据生产力”的理念能力落实到解决方案。...纵观网易大数据的发展历史,可以看到这个过程贯穿了数据理念的变化。有数从公共数据平台逐渐转变为具备有业务属性的数据,最后逐步向“数据生产力”理念靠拢。...同时在落地过程,形成了技术业务双循环的模式。双循环中涉及三个角色,两种驱动力。三方分别是内部用户、外部用户、数据;业务场景、技术前瞻是推动双循环的驱动力。...这两种驱动缺一不可:大数据技术和应用发展日新月异,数据的业务支撑能力特别依赖于底层的技术能力和前瞻性。 02 为什么做逻辑数据湖 1.

1.1K10

#凯哥讲数据#一个订单服务的演进过程剖析之一

01.前言 最近很多同学都在微信留言询问数据和业务的区别,希望能够深入浅出,很容易理解的解释什么情况下需要业务,什么情况下需要数据以及的关系。...我前面做了很多行业研究和案例分享,但是都是企业级的讲解,感觉都不够简单,不够落地,这里我用一个最清晰的订单服务的演进过程,来深度剖析的关系。 02....一个订单服务的演进过程 订单服务是最常见的场景,下面我们用一个电商领域的常见订单服务的演进过程来详细剖析为什么会出现,它们的价值以及关系。...数据一致性差,订单数据分散在不同的应用系统,数据不一致,同步复杂。 维护困难,当一个订单逻辑发生了变化,所有的应用逻辑都要重写,带来的很大的维护工作量,响应慢。 ?

89920
您找到你想要的搜索结果了吗?
是的
没有找到

数据与湖仓一体能碰出怎样的火花?网易数实时数据湖Arctic的新探索

这是作为网易公司基础软件团队的网易数首次对外发布在湖仓一体方向的进展,同时宣布的还有网易数有数实时数据战略。...但对很多企业客户来说,他们以前采购了不同的数据库,后来要构建自己的数据湖和数据体系,网易数就给他们提供了逻辑数据湖的方案,客户可以继续使用原有方案,同时网易数给他们提供一个整套的入口,统一管理不同的数据孤岛...首先做数据,本身就是在 Hive 之上加了一层;其次增加的这些功能实际上是引擎端的适配,会有一个单独的治理服务,而这个治理服务是偏的模块,可以认为是整套数据体系的一部分。...如果希望通过实时给整个数据赋能,就需要侵入到数据的架构体系里面去。这就涉及不同团队的磨合以及目标统一的问题,在推进上有一定的困难。这与前两年企业推行数据战略面临的挑战是类似的。...今年在网易数字 + 大会上正式宣布将实时数据作为战略来推进,是网易数在推进湖仓一体过程中有优势的一点。 4 流批一体的最终目标还有多远?

62320

腾讯云与玉符科技达成战略合作 共建SaaS生态统一身份认证体系|腾讯SaaS加速器·案例库

双方联合研发的身份治理服务千玉符将于近日上线。 IDaaS是腾讯SaaS生态技术的重要组成部分,其作用在于建立起统一的身份认证体系,实现SaaS厂商之间互联互通。...对于终端客户来说,通过一个账号即可购买和集成多种SaaS服务。技术还包括iPaaS(集成平台即服务)和aPaaS(应用平台即服务)。...而千玉符的目标就是帮助企业在身份数据层面打通这些应用孤岛。不管是SaaS应用还是企业的本地应用,都可以快速安全地连接到千玉符,通过千玉符实现彼此之间账号数据的实时同步及及管理。...与行业内的优秀厂商一起,共建SaaS技术,解决SaaS厂商账户不互通、集成难度大、开发效率低等问题是我们的重要目标。...我们与玉符科技的合作是整个技术台上非常重要的一部分,我们期待与SaaS厂商共建、共生、共繁荣。” 玉符科技CEO石扬表示:“腾讯发起的SaaS生态千计划在行业内影响深远。

2.2K20

【千IDaaS】企业开发者不到10行代码解决身份难题

02 前提配置 确保在开始之前在千IDaaS配置新建 OIDC 应用(选择Web子类别)如下图所示。   ...利用Serverless创建: 在腾讯云控制搜索serverless,在应用tab里面创建一个新的express应用, 如下图所示。...03 引入SSO依赖库   打开云IDE,在您的Express项目依赖配置文件package.json,加入以下依赖:   ·express-openid-connect   代码样例:   如下所示...: 04 配置参数   根据【前提配置】获取的信息,为您的程序配置以下环境变量:   在serverless,需要在您的【函数服务-函数管理-函数配置】配置 05 程序集成SSO   在您的express...·接入千IDaaS 开始为企业开启使用千IDaaS,访问以下产品链接进行购买,即可获得企业独有的IDaaS 安全空间,提供为您的应用保驾护航。

1K30

慢公司VS快市场,网易能赶上企业数字化的时代列车吗?

在强手林立的市场其还有几分胜算? 这时候再发力是否为时已晚?在刚刚落幕的“网易数字+大会”,这些问题一一揭晓。...4年来,网易数的私有部署产品已服务包括德邦快递、中国工商银行、名创优品、海亮集团等百余家行业头部标杆客户,并在多行业为企业完成双部署。...软件定义组织Software Defined Institute”,世界上非常成功的一批公司都得益于软件的能力;其次,是“数据智能Data & Intelligence”,通过大数据、AI等手段,企业将从数据获得更智能的决策...在强手环伺的云计算市场,擅长后发制人的网易会从哪个角度出其不意攻其不备?各家云计算厂商的打法各有不同,有的主打出海,强调海外节点的优势,有的则强调数据中心如何实现数据保护。...所以,网易数始终强调的都是场景化服务,陆续推出微服务平台、大数据平台、BI产品、业务和数据等一系列的能力,这些能力都汇聚成了基础软件方面的能力。

35420

从零开始:腾讯云轻量应用服务器上部署MaxKB项目(基于LLM大语言模型的知识库问答系统)

高配可以购买8H16G,低配就买2H2G就行。2.购买了服务器后,尽量选择Linux环境,我一般用centos,然后这块选择CentOS 7.6就行。...3.购买完成后,我们进入轻量云的控制,一般等待个3到5分钟后就可以看到服务器部署完成。...6.密码输入成功后我们就成功进入了服务器,然后复制下面的代码到命令然后回车运行。...通过其多模型支持,你可以轻松接入各种主流大模型,包括本地私有大模型(如 Llama 2)、OpenAI、通义千问、Kimi、Azure OpenAI 和百度千大模型等,为你的系统赋予更强大的智能能力。...而MaxKB的无缝嵌入能力更是让您能够零编码快速将其整合到第三方业务系统,提供更便捷、高效的解决方案。可以给你的工作带来更多便利与效率。

82740

容灾系列(二)—— 企业借助云平台“一站式”容灾建设?

2.云平台容灾解决方案 2.1 同城活(单写) 同城活单写,本身对业务依赖较少,相对于写数据库更依赖于业务,因此云平台对同城活单写方案更加友好。...同左 ckafka 1.控制支持购买多可用区实例,对新增业务直接购买。...tdmq tdmq天然具备跨az容灾能力 不同地域可以通过异步复制同步数据 es 1.控制购买多可用区实例,对新增业务直接购买。 2.单az实例控制均支持升级为跨可用区能力。...4.官方说明:https://cloud.tencent.com/document/product/239/51090 redis全球复制当前内部测试,待上线 cdb 1.控制购买多可用区实例,对新增业务直接购买...3.官方说明:https://cloud.tencent.com/document/product/236/8459 控制支持异地灾备实例 tdsql 1.控制购买多可用区实例,对新增业务直接购买

4K42

大疆很“委屈”:“小白用户”操作不当是炸机根源?

对于无人机炸机事故,大疆无人机占了大多数的说法,王称:“我们也有点委屈,有些无奈,可能树大招风吧。”对此说法,陈章也表示,大疆无人机的销量最大,所以发生事故的数量也最高。...随着大疆创新推出价格在3000元至5000元的入门级产品,无人机开始进入大众市场,大批从未接触过无人机的普通用户购买了无人机,情况由此发生变化。...此外,维修费用也很高,2013年11月其一价值2.2万的无人机,维修费2千元。...有用户称大疆的维修模式太封闭,只有从大疆官方渠道购买的配件才能正常使用。有时只是一个小零件故障,维修时却要更换很多。...对此问题,王表示,在维修过程,有的部件只能换不能修理,电子产品集成化的设计也给售后带来很大的麻烦,有的小部件出问题可能要大面积更换零件,比如遇到无人机掉水里等问题,大疆会建议给消费者折扣换一新的。

67450

【文末开奖】如何配置一以机器学习、深度学习为用途的工作站?

来源:https://www.zhihu.com/question/310387269 转自:深度学习与计算机视觉 声明:仅做学术分享,侵删 作者:丁一 https://www.zhihu.com/question...这个阶段不建议大家用云,性价比不高并且折腾的空间小,毕竟只有在不停折腾才能不断进步。...,两张显卡也不需要型号相同) 差钱的话可以考虑核显+矿卡,比如i3 8100+P106的配置,3000元左右就能配到一显存和算力都说过得去的深度学习主机,基本上17年以前的深度学习模型都能训练 10...2卡以下全塔塔都可以,如果用两个电源必须用全塔。 电源:把所有最大功耗加起来,然后除以70%。...所以,如果你真的需求一用于工作的工作站电脑,建议购买专业产品,而非DIY台机。

4.6K32

腾讯SaaS加速器“数字金融”伙伴真果科技实施“融资帮扶”计划|腾讯SaaS加速器·学员动态

来源 | 腾讯SaaS加速器首期项目-真果科技 ---- 真果科技是创新领先的产业数字金融服务商,融合应用人工智能、区块链、云计算、大数据等技术,自研沉淀“产业数字金融产品”,开创 “链资产数据确权...12月,真果科技SaaS化“产业数字金融产品”正式上架——腾讯SaaS生态“千计划”的另一大项目“SaaS臻选”商城,联合品牌服务。...真果科技“产业数字金融产品”上架臻选市场 “复工复产,融资帮扶”计划一期内容 协助十个区域政府及十家核心企业,免费搭建“科技金融服务平台”,联合全国147家金融机构,赋能区域政府为所辖中小微企业提供专项的融资帮扶金融产品...疫情当下,金融科技服务刻不容缓,腾讯云联合生态伙伴在行动,落实“腾讯云抗疫产品的销售培训”,进行

1.1K10

腾讯千场景连接器:省心省力自动化发短信

,“独家秘籍”就是每当客户服务到达一定期限后,她会主动和用户进行沟通,询问用户的痛点和购买顾虑。...效果预览 为了帮到旺哥和他的女神,腾讯千场景连接器现在已支持根据条件自动发送短信,这礼物不比“拉菲草礼盒”更有意义?...下面一起来看看我们的实现效果吧~ 场景痛点 经大量数据测试后得知,销售人员在首次介绍完7日后,主动联系用户,帮他们解决购买顾虑,成功率最高。...实现效果 腾讯千场景连接器可以根据提前录入好的客户信息(客户信息也能自动录入),在腾讯文档或维格表配置好我们需要的条件,就可以给符合条件的手机号自动发送短信。...腾讯千场景连接器正在利用AI能力打造自动化办公场景,还有丰富的针对财务、运营人员的相关模板,欢迎关注公众号了解更多细节。

1.9K30

网易数:数据生产力平台2.0,推动“人人用数据 时时用数据”

余利华表示:“企业提升全链路数据生产力需要对技术、产品或服务去提升,以数据、数据产品(这里指无代码的数据产品化)为两大节点,通过数据汇聚来自业务的数据,再基于数据建设数据产品,为业务系统提供可执行的决策指导...数据生产力背后的技术“推手” 在这次全链路数据生产力平台2.0版本,网易数推出了有数DataOps、逻辑数据湖、数据湖引擎Arctic等最新技术产品,其中有数DataOps技术代表其数据的重磅升级...这是数据项目交付效率低,数据质量差的主要原因之一。网易有数支持DataOps就是为了解决数据的研发交付效率问题。”...据介绍,基于逻辑数据湖的数据,是一种物理分散,逻辑统一的数据, 数据可以建立在Oracle/MySQL/Vertica等7类系统之上,实现数据的统一开发和统一治理。...面向湖仓一体,网易数还发布了有数实时数据湖引擎Arctic,不仅实现了流批一体存储,还支持无缝对接数据台数据治理体系,可以说极大地提升了数据的实时能力。

62620

软MVP专访丨张丹洁:脱离繁复的劳动,智能时代的BI分析师需要更上一层楼

软MVP(Fanruan Most Valuable Professional)是软颁发给产品用户专家的一项荣誉认证,以感谢他们为软产品的发展所做出的卓越贡献。...,实现从分析报表到自动推送(定时调度)一体化,将流程繁琐的、需要大量手工的重复劳动节省出来。...用DEF计算会员购买频次区间,几步操作轻松搞定,来源:“BI实战”公众号 拒绝成为工具人,让数据分析也能有效影响业务 两个月前,张丹洁所在的数据团队接到了来自公司管理层的一个需求:能否用BI的方法看看快递费用有无优化的空间...过程他们发现,公司的快递费用确实存在优化空间,比如上海五公斤的货品快递选韵达是最便宜的,但是快递系统并没有包含这种测算逻辑,可能就会在这个区域直接默认选择京东,由于京东比韵达的价格贵两到三块,公司在上海的快递成本就不是最优解...据了解,该零售公司正在实施数据项目,考虑将BI的编辑权限给予业务部门,以低代码的方式进一步提高公司各部门的工作效能。

16410

瑞幸咖啡用户运营的秘诀是什么?普通用户通过数据分析也能得到答案!

在使用软FineBI进行数据处理和分析的过程,团队首先对原始数据进行了细致的清洗和整理,这包括将Word的调查问卷数据转换为维表,以及对Excel的用户响应数据进行转换和关联处理,使其更适合于后续的分析...在存量用户画像和RFM分析,数据表明瑞幸用户的消费频次和金额普遍较低。例如,购买5杯以上的用户占比仅为20.46%,而购买1-2杯的用户占比高达46.2%。...产品端因素分析,一个关键的发现是只有25.7%的用户因为口味喜好而购买瑞幸咖啡,而36.8%的用户是出于社交需求。...在各品牌用户综合评分,瑞幸平均分为3.41分,在10个对比品牌中排名第8,购买渠道、产品质量、包装为瑞幸咖啡最不占优势的三个方面。...在瑞幸咖啡用户运营策略的分析案例软BI展现了其在数据分析和探索方面的综合价值。

39510

王家贺:腾讯文旅四大新品助推文旅企业智慧化升级

一、文旅易连 文旅易连由腾讯云千连接器提供服务,打通账号和服务,形成一站式工作,实现统一待办。...产品特点: 第一,无论是第三方应用,还是企业现有开发的一些系统,都可以通过文旅易连来得到集成,并且不同系统的待办系统,也可以通过文旅易连来得到集成,无论是通过PC端,还是移动端,进行相关待办信息的提醒...第二,基于腾讯云千连接器强大的配置能力和高效系统集成系统能力,到目前为止,文旅易连已经连接了超过1000款的SaaS工具和产品,覆盖文旅办公到业务所有领域,为企业提供一站式产品服务,文旅企业也可以自身需要...二、文旅数字营销 腾讯数字文旅超计划,目的地“超级名片”计划和文旅“超级卖场”计划,旨在把腾讯流量、IP、数字化工具优势能力以及高效的文旅营销数字化工具,作为数字营销矩阵底座,围绕从目的地品牌,用户活跃度...构建会展行业用户全流程,从展前策划、报名,以及展的签到、互动、洽谈、直播、签约,以及到展后的反馈、跟踪,以及效果评估等,通过对数字营销全过程关注,主办方和参展方可以真正完成千人千面精准营销和用户触达。

82120

《2022国企业数智化转型升级服务全景图产业图谱2.0版》重磅发布

服务过的典型性客户:光大永明、中国移动、中国联通、神州租车、联仁健康 如在光大永明隐私计算平台项目通过隐私计算及针对性营销活动,使购买过团险医疗险的客户二次购买光大永明人寿重点营销的重疾险,增加产品的交叉持有...●上述产业图谱,网易数隶属的核心服务板块/领域:大数据、低代码/无代码、基础软件 ① 大数据方面,网易数已具有10余年数据技术积淀,以全面的大数据技术及产品服务企业“看数”、“管数”、“用数”等业务场景...该平台还融合进华泰证券现有的数据体系以实现统一架构,提供了低门槛、专业化的实时计算集成开发环境,助力任务开发、运维效率的进一步提升。...服务过的典型性客户:华泰证券、工商银行、兴业银行、华能集团、中国邮政等 如在与中国邮政的合作,网易数助力中国邮政构建企业级的技术,以“混合、多云、开放、安全、可管”为架构原则,基于云原生技术,打造数字化...具备轻量,开放,智能,多元的特点,构建完整的数据产品生态,帮助客户方便,快捷,高效的实现数字化转型,全面挖掘数据价值。

1.4K21

软生态建设:如何破解企业数据孤岛

在具体应用,广告自动化购买、用户画像这些基于大数据的企业级应用都已经获得了广泛的认同。...其次是由于缺乏业务功能交互与信息共享,致使企业的物流、资金流和信息流的脱节,结果造成账账不符、账物不符,不仅难以进行准确的财务核算,而且难以对业务过程及业务标准实施有效监控,导致不能及时发现经营管理过程的问题...软旗下品牌FineReport、FineBI等在各自领域内均有众多客户和成功案例。 除此之外,软还在尝试营造围绕软的生态。...其中“软+”计划是软面向符合条件的广大IT厂商所制定的合作伙伴互惠共赢计划。...软将向加入计划的合作伙伴开放自己的营销能力,为合作伙伴输出软在市场营销方面十多年所积累的各类资源,方法论资产等,帮助合作伙伴加强和巩固品牌竞争力,延伸双方的市场开拓路径。

83150

百度Apollo发布自动驾驶套件Pandora:支持物体追踪、识别等功能

在发布会上,李一首先介绍了Pandora的设计理念与原理。...这款自动驾驶开发者套件由一Pandar40激光雷达、5个环视摄像头(4个黑白,1个彩色)组成的视觉感知模组组成,搭载了由Apollo提供的多传感器融合与感知识别算法。...李一说道,“而这又仅仅是重复发明轮子的一个过程。” 而百度方面也表达了类似的看法。...更重要的是,Apollo联盟成员和合作伙伴能够优先获得Pandora的技术支持和产品信息,并有最佳供货期和最优购买价。...除了禾赛科技外,百度Apollo生态还汇聚了包括中科慧眼、地平线、英伟达在内的多家自动驾驶硬件供应商。

1.3K60
领券