首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

李卓豪:网易数数据逻辑数据湖的实践

内容分为五部分: 关于网易数 为什么做逻辑数据湖 怎么做逻辑数据湖 未来规划 精彩问答 01 关于网易数 网易数是从网易杭州研究院孵化出来的。网易杭研的重要职责是公共技术的研究和产品孵化。...2018年支持网易严选、考拉、音乐、新闻数据构建。通过在商业化过程对市场需求的摸索实践,终于在2019年形成了“全链路数据”解决方案,致力于将“数据生产力”的理念能力落实到解决方案。...纵观网易大数据的发展历史,可以看到这个过程贯穿了数据理念的变化。有数从公共数据平台逐渐转变为具备有业务属性的数据,最后逐步向“数据生产力”理念靠拢。...同时在落地过程,形成了技术业务双循环的模式。双循环中涉及三个角色,两种驱动力。三方分别是内部用户、外部用户、数据;业务场景、技术前瞻是推动双循环的驱动力。...这两种驱动缺一不可:大数据技术和应用发展日新月异,数据的业务支撑能力特别依赖于底层的技术能力和前瞻性。 02 为什么做逻辑数据湖 1.

1.1K10

课堂丨HR秘籍:如何5分钟搞定员工信息录入

仅仅40位员工的信息就花了整整一个下午来处理各种信息的录入、核查,接下来还有100+员工,这可如何是好。...但是在灵活用工招聘、新员工入职、员工保险信息登记、抗疫信息收集等多个场景,经常需要把身份证图片信息整理到对应表格的情况。 【身份证信息快速录入有什么好办法?】...维格表+场景连接器帮到你,通过场景连接器预设的“身份证识别自动更新至维格表“,简单的几步操作,即可轻松完成批量的身份证信息快速录入啦!...参考样式如下: 登录腾讯场景连接器的官网(pc端)https://ssp.cloud.tencent.com,在方案模版中心搜索选择“身份证识别自动更新至维格表“。...不管你有更多的场景和需求需要打通,还是作为应用方希望能和合作,都欢迎加入我们的用户体验群哦~分享你的好场景、体验&需求,都有机会成为腾讯场景连接器产品体验官,赢取腾讯虎年公仔哦!

1.1K10
您找到你想要的搜索结果了吗?
是的
没有找到

如何设计数据

数据设计方法论 数据建设方针:横向规划,各个击破。 横向规划即在数据规划初期,需要打通企业各个业务系,打破数据孤岛现象。其实就是我们建设数据仓库的阶段。...数据建设过程涉及到大数据平台建设、数据仓库建设、模型算法、数据治理、数据服务等一系列工程,不可能一蹴而就,我们需要梳理业务场景,看他们需要什么样的服务先找一个业务场景,搭建起数据的服务能力,然后依次迭代...[在这里插入图片描述] 模型建设 模型建设是数据的重要部分,可以说数据的成败在于模型建设的好坏。模型分为我们常指的数据仓库的分析模型和我们的一些通用算法模型。...讨论 关于数据的建设,最初是阿里提出来的,但是这之前,很多企业其实已经有了类似的想法,也实施了部分。对于大型集团企业,方法论很实用。打破了集团各版块的数据孤岛,形成了统一的数据服务能力。...但是慢慢的很多人提出了,对于中小企业,方法论是不是太繁琐了,对于他们来说是负担,中小企业需要的也许是更快捷的迭代形式的数据服务。 那么关于建设,你怎么看呢?你的企业会选择吗?

1.4K60

从《战略》到《实践》,云徙科技如何拆解建设方法论?

与此同时,关于的探索也正在由稚嫩走向成熟,典型标志就是以云徙科技为代表的企业,将建设方法论不断迭代更新。...台前路其修远兮,企业如何求索?...“数字化转型的工具,就是数字。”包志刚指出。 互联网时代,“快”是核心竞争力,很大程度上就是将快速创新能力引入到行百业,云徙科技深谙其道,在短短数年内,对于的实践也经历了几番变化。...随着认可度的提高,企业“百家争鸣”,每家做法都不同,业务、数据、技术、财务层出不穷,但仍然没有解决的效率问题。...实际上,的规模化应用并不简单,业务建设工程量大,包括需求调研、分析、测试、生产环节、配置元素模块等等;此外,在B端的企业服务领域,不同行业存在不同需求,同一行业不同客户的痛点也差万别;要用好

43420

体验文心:开启智能大模型时代的新征程

于是,我迫不及待地申请了文心的测试服务,在本篇文章,我将给大家带来我对文心的使用感受以及对其中强大功能的介绍。...文心申请和使用感受 1.1 注册流程简单 申请文心测试服务非常简单,作为对人工智能技术充满好奇的我,第一时间前往官方申请地址申请资格。...申请流程十分简单,只需填写一些基本信息,选择测试版本和使用目的,然后提交申请即可。不久后,我便收到了测试资格,并立刻开始了我的文心之旅。...经过一天的等待,我的申请通过了,我收到了文心平台的测试账号和相关凭证。接着,我下载了百度提供的SDK和API文档,开始了对文心大模型平台的测试和开发工作。...1.2 试用初体验 首先我在后台创建了应用:海拥-AI 然后来到文心的操作,先尝试了大模型服务的"在线测试"。我让它用python帮我写一个猜数字的游戏,响应速度很快。

51940

如何围绕MLSQL构建数据

MLSQL 目前开源的部分包括三个组件: Console, 也就是Web控制 Cluster, 方便管理和代理后端多个MLSQL Engine实例 Engine, 相当于MLSQL的JVM(脚本解释器...不过仅仅靠这三个项目是远远难以达到水平的。那还欠缺什么呢?...MLSQL Console内置了一个简易的权限控制服务,MLSQL Engine会调用该控制服务来觉得哪些表的访问是否被合法授权。...调度系统 调度系统一般而言需要和MLSQL Console(或者你的Web控制)进行深度整合。譬如我在debug完一个脚本后,我应该能够在Console里直接设置依赖/定时任务。...总结 通过MLSQL Engine强大的可扩展能力,MLSQL语言的简单和灵活性,再配合上面的几个系统辅助,一个横跨分析师,算法,研发,数仓,各业务线的产品,研发,运营的数据就此可慢慢成形。

39520

iPaaS x 事件总线,快速完成企业微信消息推送

传统方式痛点 在云计算技术不断发展的今天,越来越多的团队倾向于使用云上服务完成业务系统的搭建,如何及时收到云上业务的通知推送成了许多团队面临的问题。... iPaaS x 事件总线触发云函数,简化接入方案 iPaaS 作为一种新型的云集成服务,将企业内外部间不同的系统或业务连接到一个统一的平台中,实现 SaaS 服务之间的连接。...场景案例 在云点播场景,对云点播的视频发起的上传、删除、视频处理等操作,都可以被称为一个事件,云点播在事件结束时,会立即通知 App 服务操作的执行结果,即事件通知。...投递目标配置,选择刚刚创建的 iPaaS 集成流,EventBridge 将自动为您创建云函数,完成事件的接收与到 iPaaS 的投递。...GitHub: github.com/serverless 官网: cloud.tencent.com/product/serverless-catalog 点击「阅读原文」,申请使用  iPaaS

84020

【新】神笔aPaaS_低代码应用开发_如何实现企业应用可视化开发- 腾讯云

神笔 aPaaS 是一款专注于企业级应用可视化开发管理的低代码开发平台。...image.png 应用场景 共建行业标准,共筑业务: 携手优质伙伴,共同打造行业应用模版,共享商业成功。 助力国内 SaaS 市场良性发展,解决企业定制化困境,让更多的行业实现数字化升级。...单击同意以上授权并添加按钮,授权同意添加神笔 aPaaS应用。...image.png 操作场景(对接企业微信生态应用服务-增长点) 用户可以在企业微信上直接安装神笔 aPaaS 第三方应用标准版,神笔 aPaaS 也支持直接把应用发到企业微信自建应用工作,使用的是企业微信代开发模式...企微应用快速代开发模式应用:(推荐开发者系统学习开发流程,快速上线业务应用,目前非常多企业应用快速增长) image.png 神笔 aPaaS 神笔 aPaaS 是一款专注于企业级应用可视化开发管理的低代码开发平台

1.7K31

干货 | 如何基于DataWorks构建数据

阿里妹导读:为了应对众多业务部门变万化的数据需求和高时效性的要求,阿里巴巴首次提出了数据的概念,经过众多项目的实践已经沉淀出了标准化的流程和方法论。如何构建一个数据?...原盒马在线数据平台研发负责人欢伯向大家分享新零售企业如何基于DataWorks构建数据的经验心得,从商业模式及业务的设计,到数据的架构设计与产品选型,再到数据构建的最佳实践,最后利用数据去反哺业务...当确定了这些业务形态后,我们再来聊数据如何去支撑这些业务,通过数据的打通来完成整个商业模式的闭环。 二 新零售企业产品技术架构设计 ?...DataWorks数据开发平台 前面更多讲述数据建设的一些思想、设计、架构、目标及要求,接下来我和大家聊一下如何使用DataWorks构建数据以及使用DataWorks平台的一些心得。...数据如何支撑业务 之前讲的都是基于DataWorks来构建新零售数据,最早我们提到数据一定要服务业务,现在我也介绍一下数据如何为业务服务的一些方式。

1K10

事件总线携手 iPaaS,共同构建云上事件处理生态

iPaaS 支持各种集成场景,企业可以通过控制快速简单接入,通过配置、开发、部署、执行、管理和监控来实现业务的互通互联,有效降低用户系统集成难度和周期。...同时事件总线支持自定义事件的处理及筛选,您可以在事件总线设置事件规则、自定义事件匹配或相关过滤逻辑。 01....消息推送 业务场景往往会有告警推送、消息通知等需求,如腾讯会议的邀请推送、云上业务的监控告警等,也可以通过 iPaaS 与事件总线一起实现。...如何创建 SaaS 连接器 具体操作步骤,请参考访问:https://cloud.tencent.com/document/product/1359/58599 ?...目前 iPaas 企业集成服务处于内测阶段,可访问下方链接提交内测申请:https://cloud.tencent.com/apply/p/5tgx7ibxzl ? 识别下方 ?

93870

之上(十二):如何快速设计业务架构?

客户向某宝提出建立购买我司贵金属的合约申请,某宝将相关信息及客户在某宝的 PID(客户在某宝的身份标识)传给我司,由于一个客户可能有多个 PID,因此需要分别为其建立账户,该过程的处理,由我司与某宝新增的渠道负责信息传输...方案最终只是在原有的业务模型增加了部分步骤和规则,就一个抽象业务模型而言,不需要再增加活动、任务这些较大的元素了。 模型化的业务架构工具对企业级需求分析的加速作用。...和组件化一样,都是通向快速响应的方式,单就快速响应而言不能简单比较孰优孰劣,基于企业级业务架构的组件化设计,其实优势还是在于有效连接战略与开发,实现上下贯通的一体化设计,这方面不是单纯追求的技术实现可以获得的

65610

企业级数据如何做?

数字化转型如何做才能成功? 这是近5年笔者在进行数字化转型咨询及指导项目实施过程,与金融、保险、证券、制造、交通、能源、零售等行业的企业高管第一次见面时被问得最多的问题。...在过去的20多年间,笔者参与过企业流程再造(BPR)、企业资源计划(ERP)以及其他各种企业系统的定制化开发项目,为数百家企业做过数据建设、数字化转型和各类IT实施项目的规划咨询,逐渐意识到传统方法已经不再适用于现代企业数字化转型的需求...精益数据方法从业务问题出发,帮助企业打造轻量级、高响应力的精益数据战略,构建运营式、主动式、迭代式、智能化、场景化、轻量化的数据治理体系,急用先行,建设业务价值凸显的精益数据,保证数字化转型工作持续...——陈方博士 前厦门象屿集团总裁 ▼ 本书围绕精益数据方法,全方位阐述了数据驱动数字化转型的战略、方法、产品、、 组织文化等内容,并融入了大量的实战案例和作者的深入思考,涵盖范围广、内容扎实、论 述精辟...——陈运文 达观数据董事长 ▼ 市场上众说纷纭的数字化转型方法,有很多只是套上了数字化和的壳子,实质上 依然是传统的信息化规划和 ERP 建设方法,以至于我长期困惑于数字化和信息化的本质区 别到底是什么

1.5K20

【神笔应用连接器】9月产品能力月报

01 深度融合企微 1、神笔应用连接器(即:aPaaS)应用支持绑定企业微信代开发模板,实现定向交付和模板中心上架。...1.1 服务商可以在企业微信管理后台设置企业微信代开发模版; 1.2 服务商在神笔应用连接器(即:aPaaS)平台绑定代开发模板和应用; 1.3 服务商可以选择将应用分享给租户,若上架到神笔应用连接器...(即:aPaaS)模板中心,则模板中心详情会展示对应二维码; 2、用户可以在神笔应用连接器(即:aPaaS)扫码直接安装代开发应用到企业微信工作,同时在企业微信和神笔应用连接器官网使用。...目前该项代开发应用模式对安装了企业微信神笔应用连接器(即:aPaaS)的租户开放,腾讯云租户待上线状态,敬请期待!...---- 识别下方 二维码,添加管理员企微,申请进入「产品交流体验群」

86920

神笔应用连接器深度融合企业微信

针对以上问题,企业可以通过神笔应用连接器(即:aPaaS)图形化业务建模、页面设计、流程编排创建全新应用,同时也可以将多个SaaS应用按业务逻辑和审批流程进行自定义连接。...企业在应用开发完成后可一键发布到企业微信工作,更高效的服务客户。 01 全面接入企业微信代开发模式 ·什么是企业微信代开发?...神笔应用连接器也在不断深入挖掘餐饮、教育、交通等行业子场景,如供应链管理、校园管理、宿舍管理等,在实践交付深化行业业务理解,沉淀更多应用和解决方案,推动企业数字化转型。...未来,腾讯也将会继续携手企业微信,以企业微信为端,通过的企业应用连接器连接各类SaaS应用,构建优质的一体化产品,同时依托企业微信连接微信生态的优势,帮助企业更高效的连接客户和服务用户。...---- 企业微信管理员扫码 安装神笔应用连接器 识别下方 二维码,添加管理员企业微信 申请进入「产品交流体验群」

91320

游族网络运维总监:如何运维以上游戏云服务器

本次分享主题为“如何运维以上游戏云服务器”。重点是云时代的运维,包括游戏上云部署整体方案、游戏服务器批量运维管理,并对企业选择RDS还是自建MySQL数据库给出了自己建议。...ALLINONE模式或者非集群模式的游戏业务场景下,会存在多达好几个MySQL实例,若是要按常规的MySQL备份方案来实施,管理难度和成本都要翻好倍。...整个迁移过程分为以下几步: 第一步提前准备资源,在阿里云提前申请好资源,初始化环境并把VPC与自有机房的网络打通,实现内网互通为数据同步做好准备; 第二步提前同步数据,使用Xtrabackup备份在线把...在迁移到云的过程,阿里云的技术支持起到了关键作用,线上线下及时沟通,以及特定技术的定制,保证了整个迁移过程的顺利进行。 如何去选择合适的数据库?...在游戏迁移过程,遇到了很多困难,其中一点是选择自建MySQL还是RDS。

8.6K80

架构师如何理解方法论

架构师必须具备结构化思维,那么如何理解最近很火的战略呢,2019年是元年,是否真的是解决企业级业务架构的良方,还是毒药,这个需要架构师具备高瞻远瞩的技术和业务视角,才能充分理解方法论。...是企业级共享服务平台,也是能力的枢纽和对能力的共享;不是微服务,因为不仅是一种技术架构,还是企业进行数字化转型的整体参考架构;以服务的方式提供共享能力的平台就是的作用?...应该包含哪些内容?什么能力应该在里面,与企业现有的ERP、CRM是是什么关系?如果建设了应该怎么发挥作用,而不是让企业陷入建设另一套IT系统的老路?...笔者认为,要发挥作用,应该从业务触达的优先级来建设是从多个相似的前台业务应用共享的需求中产生的,所以最先要落地的是业务。...与平台的区别 是企业级的共享能力平台,是大平台,但是平台并不是,每个业务部门都会有平台,但是对于一个企业来说只有一个。

1.1K30

腾讯云 Serverless x aPaaS,携手共助企业创建应用连接

什么是腾讯 aPaaS? 腾讯 aPaaS 是一款专注于企业级应用可持续开发管理的可视化、高效能云上开发平台。...腾讯 aPaaS 通过这种思路让开发者能够有工具、有开发框架进行开发,帮 SaaS 企业在做定制化开发时大幅降低人力投入,提高效率。 ? 02. Serverless 云函数功能支持 1....SCF 版本管理支持应用管理 aPaaS 应用自定义代码扩展部分的部署、删除、版本发布,通过函数的部署、删除、版本发布实现,SCF 提供函数操作相关 API。... aPaaS 当前提供设计态和运行态两种环境,用户在设计态进行应用开发,开发调试完成后部署到运行态,由 aPaaS 应用自定义代码扩展部分通过函数版本管理功能实现应用设计态到运行态的部署。...SCF 命名空间支持多环境管 SCF 命名空间可支持 aPaaS 平台更多环境扩展和管理。 03. aPaaS 内测申请 aPaaS 现已开放内测,扫描下方二维码,申请内测体验。 ?

1.3K40

腾讯iPaaS牵手目睹!1小时完成连接器搭建!

很多企业都在通过数字化转型打造自身的竞争优势,而在这其中,IT部门部署应用软件时经常会面临一些问题,比如开发难度高、周期长、功能部署时间久、合规要求高等,特别是在和内部电商、CRM等众多SaaS应用对接时,如何实现互联互通是企业绕不过去的难题...作为腾讯云的深度合作伙伴,目睹直播携手腾讯iPaaS助力企业应用连接互动,目前已经预集成到iPaaS上。...iPaaS腾讯企业应用连接器的重点产品之一,为企业提供开箱即用、全面集成、多云协同的新一代企业级云集成服务,引入市场优质SaaS应用,通过iPaaS平台进行互联互通,而目睹作为企业直播的头部服务商...,与iPaaS进行预集成后,可以给更多用户提供更加优质的直播服务。...打个比方,如果企业的OA系统通过iPaaS集成了目睹直播,当员工出现增减变动,需要向IT部门申请开通或删除目睹直播及其他系统应用账号时,通过iPaaS这个连接器,IT部门可以一键进行多账号的增删

92120

如何使用 MSBuild Target(Exec)的控制输出

如何使用 MSBuild Target(Exec)的控制输出 发布于 2018-06-13 00:08...更新于 2018-09-01 00:03 我曾经写过一篇文章 如何创建一个基于命令行工具的跨平台的 NuGet 工具包,通过编写一个控制程序来参与编译过程。...将此属性设置为 True,将能够捕获控制输出到 MSBuild 。(不过据说典型的程序员是不爱看文档的) 那么,捕获的输出去了哪里呢?...我在 如何创建一个基于 MSBuild Task 的跨平台的 NuGet 工具包 中提到了使用 Output 来将 Task 的参数输出出来。而 Exec 也是这么做的。...但如果你希望得到的是一组值(例如新增了一组需要编译的文件),那么需要得到的是 ItemGroup 的多个值,而不是 PropertyGroup 的单个值。

2K10
领券