提出论点 好的研究想法，兼顾摘果子和啃骨头。...两年前，曾看过刘知远老师的一篇文章《好的研究想法从哪里来》，直到现在印象依然很深刻，文中分析了摘低垂果实容易，但也容易撞车，啃骨头难，但也可能是个不错的选择。...初入团队，寻找自己的立足点，需要一个好的工作想法。每年末，抓耳挠腮做规划，想要憋出一个好的工作想法。很多同学，包括我自己，陆陆续续零零散散想到很多点，然后自己不断否掉。...三维排列组合还不够，防守方视角还可以再交叉一个事前事中事后的时间维度，所以做的事情又可细分为：普通员工误用数据的事前检测、事中感知、事后溯源三个点，每一个点都是独一无二有自己定位的点，简称“不卷点”。...引用 好的研究想法从哪里来 杜跃进：数据安全治理的基本思路 来都来了。
内容分为五部分： 关于网易数帆 为什么做逻辑数据湖 怎么做逻辑数据湖 未来规划 精彩问答 01 关于网易数帆 网易数帆是从网易杭州研究院孵化出来的。网易杭研的重要职责是公共技术的研究和产品孵化。...通过在商业化过程对市场需求的摸索实践，终于在2019年形成了“全链路数据中台”解决方案，致力于将“数据生产力”的理念能力落实到解决方案中。...纵观网易大数据的发展历史，可以看到这个过程中贯穿了数据理念的变化。有数从公共数据平台逐渐转变为具备有业务属性的数据中台，最后逐步向“数据生产力”理念靠拢。...三方分别是内部用户、外部用户、数据中台；业务场景、技术前瞻是推动双循环的驱动力。这两种驱动缺一不可：大数据技术和应用发展日新月异，数据中台的业务支撑能力特别依赖于底层的技术能力和前瞻性。...这个问题就涉及到：系统整体复杂度、运行状态透明程度、以及运维团队是否好组建等多个维度的考量。
好的中台的关键词有哪些呢？ 想做中台，首先要考虑的是通过中台解决什么问题，这个比中台是什么更重要，也就是说why比what更重要。 中台解决什么问题？...对于核心业务来说，可以让核心业务快速支持新的行业需求，且复用成熟的行业解决方案。 简单来说就是快，快速支持新业务，手段是通过复用老业务已有沉淀能力，实现新业务的快。 中台是什么？...中台不仅仅是一个技术问题，更是一个方法论问题。 涵盖了组织协作、需求分析、战略落地等相关内容。 在协作上，有一套能力接入标准。 在技术上，有一套运作机制，集中配置，分布式执行的控制台。...如何搭建中台？ 可以将中台和数字化转型放在一起考虑，某种程度上来说，中台是企业架构方法论的一种具体实现。 需要考虑业务价值链，考虑价值链上的业务流程的串联和衔接。...落地中台，在技术层面可以抽象成几方面。 包括业务身份、端组件的再组织、流程与流程承接领域、可视化&可配置、底层通用中间件能力。 领域抽象与领域建模，在中台建设初期非常重要。
Hello，大家好，今天给大家分享一个大数据里面很火的技术——Kafka，Kafka 是一个分布式的消息系统，其高性能在圈内很出名。...网上也有不少的文章分析 Kafka 的性能为什么那么好，但是我感觉很多文章都没说到点上，所以今天借着这个机会跟大家交流一下 kafka 的性能为什么那么好？...我们看到这种设计就是将所有的事件处理都在同一个线程中完成。这样的设计适合用在客户端这种并发比较小的场景。...当请求处理完了以后 handler Pool 中的线程注册 OP_WRITER 事件，实现往客户端发送响应的功能。 通过这种设计就解决了性能瓶颈的问题，但是如果突然发生了大量的网络 I/O。...03 / 零拷贝 接下来消费者读取数据的流程用的是零拷贝技术，我们先看一下如下是非零拷贝的流程： （1）操作系统将数据从磁盘文件中读取到内核空间的页面缓存； （2）应用程序将数据从内核空间读入用户空间缓冲区
网上也有不少的文章分析 Kafka 的性能为什么那么好，但是我感觉很多文章都没说到点上，所以今天借着这个机会跟大家交流一下 kafka 的性能为什么那么好？...我们看到这种设计就是将所有的事件处理都在同一个线程中完成。这样的设计适合用在客户端这种并发比较小的场景。...当请求处理完了以后 handler Pool 中的线程注册 OP_WRITER 事件，实现往客户端发送响应的功能。通过这种设计就解决了性能瓶颈的问题，但是如果突然发生了大量的网络 I/O。...03 / 零拷贝接下来消费者读取数据的流程用的是零拷贝技术，我们先看一下如下是非零拷贝的流程： （1）操作系统将数据从磁盘文件中读取到内核空间的页面缓存； （2）应用程序将数据从内核空间读入用户空间缓冲区...图9 零拷贝流程.jpg 优秀设计之批处理 在 kafka-0.8 版本的设计中，生产者往服务端发送数据，是一条发送一次，这样吞吐量低，后来的版本里面加了缓冲区和批量提交的概念，一下子吞吐量提高了很多
于是，我迫不及待地申请了文心千帆的测试服务，在本篇文章中，我将给大家带来我对文心千帆的使用感受以及对其中强大功能的介绍。...文心千帆的申请和使用感受 1.1 注册流程简单 申请文心千帆测试服务非常简单，作为对人工智能技术充满好奇的我，第一时间前往官方申请地址申请资格。...不久后，我便收到了测试资格，并立刻开始了我的文心千帆之旅。 经过一天的等待，我的申请通过了，我收到了文心千帆平台的测试账号和相关凭证。...接着，我下载了百度提供的SDK和API文档，开始了对文心千帆大模型平台的测试和开发工作。 登录文心千帆平台后，我被它简洁直观的界面所吸引。...1.2 试用初体验 首先我在后台创建了应用：海拥-AI 然后来到文心千帆的操作台，先尝试了大模型服务中的"在线测试"。我让它用python帮我写一个猜数字的游戏，响应速度很快。
背景说明 百度智能云千帆大模型平台官方SDK正式对外发布：https://pypi.org/project/qianfan/。同步支持langchain接入千帆api。...本文重点介绍基于langchain+千帆sdk的一个基于文档的QA问答Demo。 Demo物料 可以直接下载Demo，只需修改step0的ak和sk，即可顺利跑完整个demo。...版本依赖说明 lanchain >= 0.0.292 qianfan >= 0.0.3 python >= 3.7 QA问答Demo 用例 此处展示了如何使用 Langchian + 千帆...Retrieval: 用于从 Storage 中获取切分的数据，用于后面生成答案。 Generation: 使用提示词和获取到的数据，搭配 LLM 来生成回答。...Store 为了能够查询文档的片段，我们首先需要把它们存储起来，一种比较常见的做法是对文档的内容做 embedding，然后再将 embedding 的向量连同文档一起存入向量数据库中，此处 embedding
，像上文提到业务中台、数据中台、搜索中台、移动中台，哪些才是中台，哪些是蹭热点的？...中台与前台的划分原则是什么？ 中台化与平台化的区别是什么？ 中台化和服务化的区别是什么？ 中台该怎么建设？...我在上一篇白话中台战略-2 中台到底长啥样？中已经举了一些常见的例子，这里就不赘述了。 可以说，中台就是企业所有可以被「多前台产品团队」复用能力的载体。...另一方面就是通过对于中台能力的SaaS化包装，减少前台团队发现中台能力和使用中台能力的阻力，甚至通过自助式（Self-Service）的方式快速定位和使用中台能力。...，区分开了单系统的服务化与微服务； 「能力」定义了中台的主要承载对象，能力的抽象解释了各种各样中台的存在； 「复用」定义了中台的核心价值，传统的平台化对于易复用性并没有给予足够的关注，中台的提出和兴起，
什么是内容中台内容中台是企业级的数字化解决方案之一，它是一种整合和管理企业各类内容资源的平台。...数据中台的架构通常包括以下几个核心组件：数据采集层：这是数据中台的第一步，主要负责从各种源系统（如业务系统、物联网设备、日志文件等）收集数据。...数据中台使用的场景企业数据分析：数据中台整合了企业内部的各种数据资源，通过数据清洗、转换、整合，实现数据的汇聚、整合和分析。...内容中台和数据中台的区别内容中台是一个集中的平台，负责管理和分发各种形式的内容，如文本、图片、视频、音频等。...内容中台专注于管理和分发各种类型的内容资源，而数据中台则聚焦于企业数据的整合、治理和利用，两者在业务场景和目标上有明显的差异。如何使用MassCMS创建内容中台？
好未来数据中台 Node.js BFF实践系列文章列表： 基础篇 实战篇（TODO） 进阶篇（TODO） 好未来数据中台的Node.js中间层从7月份开始讨论可行性，截止到9月已经支持了4个平台，...在现阶段数据中台的服务体系中有两类服务：常规 Java 后端和 T-Service 。...后者是数据中台将 OneService 方法论落地的统一数据服务，即服务于各个前台事业部，也为数据中台内部的各个应用平台提供数据服务。...数据中台有一个统一的用户管理中心提供登录/登出服务，客户端登录后会接收管理中心下发的 JWT，后续业务接口的请求会验证 JWT 的有效性。...数据中台的 Node.js 服务每个 pod 都是单核，没有起多进程，也就没有使用反向代理的必要性，所以最终使用 TCP 探针做存活检测。
前段时间一个负责企业数字化建设的CIO朋友找我聊IT规划，谈到他们刚上线的数据中台，从上线一段时间的使用效果来看，感觉并没有取得应有的效果，反而给业务和IT带来很多困扰，增加了不少数据维护工作量，多个系统与中台之间的数据经常出现不一致的情况...我不由感叹说：你们只是上了一套名字叫“**中台管理系统”的系统，并不是真正意义上的中台。 中台是不是伪概念，是不是炒作，我之前在公众号已经说得很明白了。...，那是单机应用系统，上中台只是为了对外宣传的； 不少企业规划中台，第一时间就是考虑选个什么系统，考虑上云，考虑如何去抽数据，搞所谓上中台，技术先行。...不是最先分析搭建中台的性质和必要性，分析数据模型，站在业务的角度分析如何提纯和清洗数据，这也是不少企业上中台的误区。...像上面CIO朋友举的例子，很明显数据中台输出有残缺，没有站在业务的角度去支持业务规则，甚至为了保证业务顺利进行而让用户到中台去手工修改数据，完全就是违背了数据中台的宗旨。
各大公司都在吹捧中台理念。仿佛中台是业务复杂性的救世主。是某些架构师和 PM 的新出路。各种割韭菜的讲中台的课程层出不穷。 当然，吹牛逼的时候大家都是拣好的说，苦逼的东西就只有内部人士知道。...被交接方：这个系统原来的维护团队水平极低，代码就是一堆“垃圾”，他们不想搞了就随便扔给我们？凭什么啊？我们又不是接盘侠。 即使贵司运气好，在系统交接过程中没有出现问题，那交接后也不好说。...被交接的系统在交接后往往陷入消极维护状态，这时候前台业务接入中台会比以往更加困难，这种困难使前台业务的不满积累到一定程度之后，会再次催生前台部门重新造一套新的自己的中台，而部分或全部放弃原来的中台。...纵使其成功的原因中，中台的强大、便捷是重要原因。 这会导致什么问题呢？没有人愿意接手中台项目，中台项目变成烫手的山芋。大佬无法在中台项目上获得红利，小弟们没法在中台项目上获得利益。...结语 经常有小伙伴说，国内某公司中台非常好，大家都在学。嗯，我倒是想问问了，如果真的做的好，某公司旗下的金融公司和电商公司还会需要两套完全一样的基础架构，和好几朵云？
那么什么才是好的想法呢？我理解这个”好“字，至少有两个层面的意义。 学科发展角度的”好“ 学术研究本质是对未知领域的探索，是对开放问题的答案的追寻。...好的研究想法从哪里来 想法好还是不好，并不是非黑即白的二分问题，而是像光谱一样呈连续分布，因时而异，因人而宜。...那么，好的研究想法从哪里来呢？我总结，首先要有区分研究想法好与不好的能力，这需要深入全面了解所在研究方向的历史与现状，具体就是对学科文献的全面掌握。...人是最善于学习的动物，完全可以将既有文献中不同时期研究工作的想法作为学习对象，通过了解它们提出后对学科发展的影响——具体体现在论文引用、学术评价情况等各方面——建立对研究想法好与不好的评价模型。...正如武侠中的最高境界是无招胜有招，好的研究想法并不拘泥于以上的路径，很多时候是在研究者对研究问题深刻认知的基础上，综合丰富的研究阅历和聪明才智产生”顿悟“的结果。
二、为什么要构建数据中台 以上我们分析了数据建设中出现的各种问题，那么为什么出现这些问题呢？...3、缺少全链路数据治理监控 面对成千上百的数据表，在进行业务开发时，可能遇到很多相似的字段，例如：全量新增用户、新增用户两个相似字段由于区分不了两个字段代表意义，我们不清楚在业务中应该使用那个字段进行数据统计...此外，数据安全也非常重要，对于数据建设中成千上百张表我们需要知道哪些表被哪些人访问了，哪些人有权限访问敏感数据表，访问哪些数据，对数据安全管理的忽视往往会给企业带来很大的风险。...5、数据使用不灵活 当业务复杂时，报表展示的各类业务指标非常多，面对成百上千的表和指标，不能进行快速精准的业务数据定位，不能进行关键指标快速可视化展示。...解决以上三个方面问题关键就是需要一套机制，通过这套机制整合企业数据，规范、快速的形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台。 三、思维导图总结
数据中台出现的背景一、数据建设中出现的问题在企业数据建设过程中，都离不开大数据平台建设，大数据平台建设涉及数据采集、数据存储、数据仓库构建、数据处理分析、数据挖掘机数据可视化等等一系列流程。...二、为什么要构建数据中台以上我们分析了数据建设中出现的各种问题，那么为什么出现这些问题呢？...3、缺少全链路数据治理监控面对成千上百的数据表，在进行业务开发时，可能遇到很多相似的字段，例如：全量新增用户、新增用户两个相似字段由于区分不了两个字段代表意义，我们不清楚在业务中应该使用那个字段进行数据统计...此外，数据安全也非常重要，对于数据建设中成千上百张表我们需要知道哪些表被哪些人访问了，哪些人有权限访问敏感数据表，访问哪些数据，对数据安全管理的忽视往往会给企业带来很大的风险。...解决以上三个方面问题关键就是需要一套机制，通过这套机制整合企业数据，规范、快速的形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台。三、思维导图总结图片
企业数字化转型，数据中台确实是数字化转型的试验田，所以数据中台掀起了一股热潮；但是由于对数据中台建设的认知不够，强调数字化转型，但是忽略了数据中台的价值，以及数字资产的管理、运用等等。...导致数据中台最终是一个技术平台的呈现；价值就无法最大化。本文将从数据中台的价值体现、必备的核心能力来对数据中台建设做一个简短的认知。 数据中台的价值体现 ?...数据中台必备的核心能力 ? 现实中，由于对数据中台的认知不够全面，导致数据中台的落地困难重重，目前数据中台的建设往往是技术组件的堆积，是传统数据仓库的改版。...数据中台建设的核心是数据，数据中台管理的核心也是数据，数据中台应用的核心还是数据。数据对于金融企业如此重要，那么数据中台建设过程中，我们依靠什么样的数据体系来构建我们的数据中台？...前面我们多次提到，数据中台让数据使用更简单，数据中台为业务提供端到端的数据服务。
在企业的数字化转型过程中，经常会听到“业务中台”、“数据中台”和“技术中台”这三个概念。这些“中台”是为了提高企业的灵活性、反应速度和创新能力而设计的，它们分别从不同的角度帮助企业更好地运作。...数据中台 概念： 数据中台是一个集中的数据管理平台，它能够整合、清洗、存储和分析企业的各类数据。数据中台的目标是将数据变成企业的战略资产，支持业务决策和创新。...技术中台 概念： 技术中台是一种支持企业业务和数据应用的基础技术平台，它包括各种开发工具、技术组件和基础设施服务。技术中台的目标是提供统一的技术支持，降低开发成本，提高开发效率。...总结 业务中台：相当于餐厅的标准化运营流程和共享资源，帮助各分店快速应对市场变化。 数据中台：类似于总部的大数据库，汇总和分析各分店的数据，支持决策和优化。...技术中台：类似于总部提供的统一技术平台，支持分店的各类系统开发和运行。 通过这些中台，企业可以更高效地运营和创新，从而在竞争中保持领先。
前言 在《#凯哥讲数据中台#数据中台的使命，愿景和六大核心能力中》，我提到，数据中台的愿景是"打造数据驱动的智能企业"。...本文分两个部分： 上部 一、Netflix：业务转型的奇迹 二、数据驱动的数字化转型 下部 三、Netflix的数据中台 ?...以上这么多角色，都统一在一个大数据门户上协作，从而保证了数据同源，保证大家的认知，背景的一致性，从而保证数据产品的准确性，这样的效率是很高的。这和我们所提倡的企业级数据中台的概念有异曲同工的感觉。...每年会运行上千个A/B测试，通过这些实验来优化产品，来推动变革，然后采集实验的数据，利用数据来评估和做决策。 ?...请期待第三部分《Netflix的数据中台》 欢迎转载，但是请注明出处，谢谢。
在微服务中，一个大项目被拆分成 n 多个小项目，每一个小项目都可以非常方便的进行测试、部署，而不会牵一发而动全身，原本需要全员高度警戒的项目上线，现在分散到不同的团队中去完成。...更强的容错性 由于每一个微服务都是独立运行的，处理得当，我们在微服务架构中可以实现更好的故障隔离。当一个微服务发生问题时，例如内存泄漏，不会影响到其他的微服务。...可以灵活的采用最新技术 传统的单体应用一个非常大的弊端就是技术栈升级非常麻烦，这也是为什么你经常会见到用 10 年前的技术栈做的项目，现在还需要继续开发维护。...而在微服务架构中，每一个服务都是独立运行的，单个微服务的技术升级则非常容易。你可以随意去尝试你喜欢的最新技术。因为试错成本很低，因此大家可以尽情的玩耍。...服务的拆分 个人觉得，这是最大的挑战，我了解到一些公司做微服务，但是服务拆分的乱七八糟。这样到后期越搞越乱，越搞越麻烦，你可能会觉得微服务真坑爹，后悔当初信了说微服务好的鬼话。
对于想要在网络上建设网站的用户而言，首先需要为网站购买一个合法的域名，不过很多人对于购买域名并没有实际的经验，因此往往不知道在哪里才能买到需要的域名。那么买域名哪里好？域名供应商的选择标准是什么？...买域名哪里好呢 域名是外部用户访问用户网站的地址，只有准确的地址才能够让别人进入自己的网站，并且域名和网址并不是相等的关系，域名需要经过解析才能够获得网址。...域名的选择标准 很多人在网络上查找后会发现，提供域名的域名供应商在网络上是非常多的，那么买域名哪里好？域名供应商如何来选择呢？...其实有心的用户会发现，网络上的域名供应商虽然多，但不少域名供应商的都只是代理的性质，所提供的域名种类相对比较少，因此在选择域名供应商时应当尽量挑选那些一级域名商，这样可以选择的域名种类会更加丰富。...买域名哪里好？如何挑选域名供应商？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
