如今，企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时，云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力，受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢？
大数据一词很早就在IT行业中兴起，但是随着产业进程的不断推进，大数据变成了只听雷声未见雨下的浮云，没有成功的案例可参考也让大数据一直饱受诟病，特别是管理软件行业，大数据就是数据大已经成为了行业内的笑柄，无论是数据驱动企业，还是决策驱动数据，都要从用户的角度出发，切实的为企业服务，否则大数据只会变成想象。 国内管理软件市场一直是金蝶和用友的天下，浪潮在特定行业的地位，使得浪潮与金用两家格格不入。但是，最近浪潮管理软件表示相当活跃，除了收购欧洲CRM厂商完善产业布局外，还推出了数据整合平台、数据采集与存储平台为
允中 发自 凹非寺 量子位 报道 | 公众号 QbitAI 汉堡也能用大数据卖？ 没错，而且可以卖得更好。 汉堡王就正在展开这样的实践，在他们的菜单显示屏，可以基于用户的点餐行为、背景信息，给出个性化推荐。 而且还能结合时间、地点、气候等因素……用户下单更省心，卖家业绩还更好。 懂技术的朋友或许早已看穿，背后必然有Transformer模型加持，但可能意料之外的是，实现消费级商用的精准推荐，汉堡王这套系统不光是单纯套用。 Transformer Cross Transformer（TxT），这是汉堡王推荐
本文为清华数据科学研究院联合大数据文摘发起的年度白皮书《顶级数据团队建设全景报告》系列专访的第四篇内容。《报告》囊括专家访谈、问卷、网络数据分析，力求为行业内数据团队的组建和高校数据人才的培养提供指导性意见。前往文末参与填写问卷，将获得《报告》完整版~
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
4月20日，京东大数据来到了北京大学光华管理学院，这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座，为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关，实现产品创新，建设高效、安全、稳定的大数据平台，并以数据支撑京东的快速发展。 讲座中，葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发，全面的剖析了其中的奥秘。 在讲到平台使命时，胜利总提到，大数据平台在京东集团中的战略地位很重要，因为京东的公司运营是由
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。
在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
后web2.0时代，互联网、物联网每天都在生产大量数据，人们对于这些庞大数据资源的价值渴求，使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”，那么“大数据”正在演变成一种战略资源，当“用户需求导向”成为企业共识，大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向，数据成为企业愈加珍视的宝贵资产。 目前，建设有大数据平台的企业不在少数，对比传统数据库，大数据平台数据大量集中，且蕴含更高价值，其安全建设要求明显更高。然而，由于大数据平台使用非结构化数据库类型，以及
大数据已不再是一个单纯的热门词汇了，随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用，并通过持续不断的发展，大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据，并对其进行分析。企业所收集的数据量也呈指数级增长，包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息，数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
文 | 马海刚 来源：HRTechChina HR管理经过几十年的发展，理论基础仍是工业时代的科学管理经验。近年来面对汹涌而来的移动互联网大潮以及层出不穷各种新的管理挑战，HR管理的理论和方法并没有出现相得益彰的创新内容。唯一引起了广泛关注的HR管理遇上大数据的话题，目前公开的研究也多聚焦在概念阶段，能够真正应用到企业HR管理实践的案例却不多见。本文旨在结合腾讯在HR大数据领域的探索历程，来说说大数据将如何助力HR管理升级，迎接这个崭新的时代浪潮！ I时代，传统的HR将被颠覆，你造吗？ 2012年12月1
日前，国内第一份《九次方·金融大数据白皮书》在北京发布。这份报告认为，金融业是大数据的重要产生者，交易、报价、业绩报告、消费者研究报告、官方统计数据公报、调查、新闻报道无一不是数据来源。大数据的发展，
现代商业竞争已经从渠道、资源向系统整体效率倾斜，而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战，比如： 1. 数据领域的生态非常庞大，针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件，以及随之带来的团队碎片化，设备资源的重复投入，数据一致性的焦虑，技术选型的困难和迁移的潜在风险； 2. 在伴随业务扩张的过程中，如何平滑而透明地解决伸缩性，用好自建以及混合多云资源；如何建设一站式多租户的数据工具链，在开发生产以及租户之间做好共享和隔离的
现在各种新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台； 平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…
揭开大数据生态圈背后的真相，切实了解开发者对大数据平台的需求，用真实数据分析大数据行业发展趋势及产品方向。近日，在2014中国大数据技术大会召开前夕，CSDN特推出“2014中国大数据有奖调查”活动，旨在更全方位地洞察中国大数据产业现状，为大数据技术从业者和创业者们提供良好的参考与建议。 公司使用大数据的基本情况 时至今日，无论你是来自互联网行业、通信行业，还是金融行业、服务业或是零售业，相信都不会对大数据感到陌生。据调查报告显示，32.5%的公司正在搭建大数据平台，处于测试阶段；29.5%的公司已经在生
在大数据产业近十年潮起潮落的变迁中，有一座穿越迷雾的灯塔，驱散了人们对数据应用的疑虑，照亮了数据价值回归的征程。
大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！
在大数据的发展当中，对相关专业人才的需求是在持续增长的，包括大数据开发、数据分析挖掘等不同的数据处理环节，都形成了相应的岗位体系，大家各自负责不同的环节，共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业，了解大数据开发有哪些岗位？
导读：本期“谁是数据英雄？传统企业大数据应用案例”给大家介绍《 兴业银行：信用卡背后的数据生命线》。兴业银行作为首批试水大数据的商业银行之一，借助大数据的关键技术和核心优势，通过对消费者行为的分析和
大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持
就是指各种大数据计算框架，存储系统、SQL引擎等等，这些技术比较常用，经过最近十几年的发展，主流的技术产品相对比较集中，主要就是MapReduce、Spark、Hive、Flink技术的产品。
9月25日，工业和信息化部信息化和软件服务业司将“2018年大数据产业发展试点示范项目名单”进行公示。
创建大数据平台，是个系统性的工程，并不像简简单单开发一款APP一样，你要深度的了解当前的环境以后的发展。事实上，做大数据平台不是做大数据本身，而是寻找大数据与行业、与业务的某种关联，内在的联结点，能否联姻成功，取决于策划与开发的能力。策划开发得好，事半功倍，会对行业和业务产生不可估量的价值，策划与开发的不好，则会竹篮打水一场空，费时费力自讨苦吃，成为“鸡肋”在所难免。
金融科技&大数据产品推荐：BIGDAF——专业的Hadoop大数据安全防火墙
近期，由大数据产业生态联盟发起的“第十三期优秀大数据产品、解决方案和应用案例”测评结果发布，广域铭岛天满大数据平台和Geega天满大数据解决方案分别入围。
作者 | 宋文欣 以 Hadoop 为中心的大数据生态系统从 2006 年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们的深入使用，出现的问题也越来越多，比如：数据开发迭代速度不够快、集群资源利用效率过低、新的开发工具集成非常复杂等。这些问题已经成为困扰企业数字化转型加速迭代和升级的主要障碍。 而传统大数据平台通常是以 Hadoop 为中心的大数据生态技术。一个 Hadoop 集群包含 HDFS 分布式文件系统和以 Yarn 为调度系统的 MapReduce 计算框架。围绕 H
自我介绍下，我是微众银行大数据平台的工程师：周可，今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
本文首先介绍了大数据架构平台的组件架构，让读者了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点，最后是专家眼里大数据平台架构的发展趋势。
最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。
数据服务业务是未来趋势，荣之联刚刚发布的大数据平台DataZoo有啥亮点？
日志是大数据平台重要数据来源之一，应用程序日志一方面记录各种程序执行状况，一方面记录用户的操作轨迹。Flume 是日志收集常用的工具。
我想问的是，阿里那帮程序员，为了不用存储过程，做过的那些努力，你看到了吗？在去 SP 的过程中，所使用的技术与编程模式，你会吗？
国家 2035 远景规划提出要加快全面数字化转型的步伐，而“大数据平台”是数字化转型的基础技术之一。经过六年多的探索和实践，微众银行打造了一套在金融领域“自主可控”的开源大数据平台。对于任何企业来说，建立和维护一个大数据平台都不是一件容易的事情，而建设一个有特色的、完整易用的大数据平台，显然更是一件技术难度极高的事情。InfoQ 采访了微众银行 WeDataSphere 主创团队，希望他们的实践经验能给大家带来一些启发和思考。
随着数字化转型的不断深入，在企业中，大数据平台建设是许多技术人关心的内容。随着企业的发展，数据量不断增长，原有的数据平台和数据库已经无法满足企业的需求。这时，企业需要对数据平台和数据库进行升级或迁移。但是，这个过程并不容易，需要耗费大量的时间和精力。 在大数据平台升级或迁移过程中，企业需要考虑很多因素，如数据的安全性、可靠性、稳定性等。同时，企业还需要考虑如何保证数据的一致性和完整性。如果在升级或迁移过程中出现问题，可能会导致数据丢失或损坏，给企业带来不可估量的损失。 为你给你提供更多可靠的实践案例，在即将
2021年8月20日，贵州农信行社数据仓库软硬件采购项目单一来源采购公示发布。 拟采购商品信息：行社数据仓库软硬件（GaussDB数据库及大数据软件License部分） 采用单一来源采购方式的原因及相关说明：大数据平台由贵安迁移至观山湖数据中心时，使用了华为泰山服务器和大数据产品，用于搭建观山湖数据中心大数据平台。现由于数据量增长大数据平台需进行扩容，鉴于后续应用扩展及行社数仓项目建设，为保持服务延续性及前后软硬件产品的一致性，同时考虑到系统兼容性，便于投产后运维，拟继续采购华为系列产品用于扩容大数据平台
标题图来源：pexels 自治理念 一、趋势 在科幻电影中未来的太空飞船上往往有着人工智能角色，协助人类掌控飞船各方面的状况，或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远，汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中，其实也急迫需要这样一个类似大脑的角色，以腾讯大数据平台现阶段的情况为例，我们有着10万+机器的存算集群，上面每天运行千万级别的离在线任务，我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问
百科是这样定义的：精准医学（Precision Medicine）是以个体化医疗为基础、随着基因组测序技术快速进步以及生物信息与大数据科学的交叉应用而发展起来的新型医学概念与医疗模式。
5月8日，作为受邀嘉宾，参加了Intel与Cloudera在北京中国大饭店新闻发布会，两家公司宣布战略合作，该消息成为继Intel宣布放弃大数据平台之后的另外一个热点新闻。对于Intel的放弃早在预料之中，对于Intel与Cloudera合作也在意料之中，但是没有想到的是居然那么快。壮士断腕的Intel反倒让我看出几分勇气可嘉来，Cloudera的顺势而为，也被我所认同，Intel借助Cloudera的技术能力，Cloudera借用Intel的商务平台，然后彼此合作真的就能够成功？换句话说，就一定能在中国成功吗？倒是需要时间的检验？因为到现在为止，大数据应用其实已经不再只是一个平台问题，而是如何与业务应用相结合的问题。
Twitter是最早一批推进数字化运营的硅谷企业之一，其公司运营和产品迭代的很多功能是由其底层的大数据平台提供的。图7-2所示为Twitter大数据平台的基本示意图。
*本文原创作者：mcvoodoo，本文属FreeBuf原创奖励计划，转载请联系help@freebuf.com 随着大数据的发展，从银行到P2P再到保险、证券等，越来越多的金融企业开始建设自己的大数据平台。传统上对于数据的管理，金融界是有经验的。 但在当前以Hadoop为基础的大数据平台，接触数据的人更多，数据使用的更频繁，数据的内外交互实时，数据种类更复杂，对安全带来了更严峻的挑战。 从金融业态上来说，包括征信、消费金融、P2P、众筹、互联网银行、互联网保险等金融企业，都会需要大数据平台来支撑业务需要。
10月18日，星环科技正式登陆科创板，成为国产大数据基础软件第一股。这一事件不仅代表了星环科技这家公司取得的阶段性成就，也标志着在当前数字化转型以及信创建设持续推进的背景下，国产大数据基础软件已驶入了发展的快车道。
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
9月11日，在2020腾讯全球数字生态大会上，腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。 腾讯云副总裁 刘煜宏 「 算力资源池达500万核，日实时计算量超40万亿」 基于多年在数字化方面的积累，腾讯云正在把腾讯多年来的能力沉淀对外开放。除了云计算、大数据、AI、安全、LBS、区块链等基础技术服务，以及支付、小程
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文是演讲内容的第一部分。 大数据平台是一个整体的生态系统，内容涵盖非常丰富，涉及到大数据处理过程的诸多技术。在这些技术中，除了一些最基础的平台框架之外，针对不同的需求场景，也有不同的技术选择。这其中，显然有共性与差异性的特征。若从整个开发生命周期的角
2020年9月11日，在2020腾讯全球数字生态大会上，腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。
另外，你也要考虑时间、精力、金钱等各方面的投入情况。学习和掌握大数据相关技术也非一朝一夕之事，不可能一蹴而就，一般的培训课程只能达到入门级别的介绍和讲解，真正要学会并很好地运用大数据技术你还需要后续更深入的学习和大量的实践。所以需要你一个良好的学习规划。
现如今每个公司都有自己的大数据平台和大数据团队，可以看出大数据建设在公司的重要地位，不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域，大数据都是基础，海量数据成为了互联网公司的重要资产。
领取专属 10元无门槛券
手把手带您无忧上云
