日前,中国信息通信研究院正式发布《城市大数据平台白皮书》,阐述了城市大数据的概念和内涵,分析了建设城市大数据平台对于破解智慧城市建设难题的意义,并介绍了我国城市大数据平台的发展现状。
计划研究一下搜索search,然后写个学习过程系列博客。开动之前先说说学习搜索的目的:不是想开发个什么搜索引擎,而是想用现成的搜索引擎在传统信息系统中引进搜索的概念和方法。对我来说,传统的管理系统legacy i.t system已经走到了尽头。根本原因是信息在量上的爆发增长,传统数据管理方式已经无法兼顾了。在我看来,除了交易管理,传统的关系数据库方式在业务管理的其它方面,特别是业务相关的数据分析、决策支持等肯定是力不从心了,这些从持续多年我所经历的数据库红色锁标记就很有说服力了。无可否认,必须想办法在大数据、分布式计算方面寻找合适的解决方案。前两年已经完成了一系列分布式计算、分布式数据库,分布式流处理等博客,足够构建一个分布式大数据平台来实现对海量数据的存储、处理了。剩下最重要的问题是如何使用平台上的这些数据,即如何能轻松又高效的使用大数据,否则前面一切努力将化为乌有。现在最迫切的需求(我认为的)就是如何对这些大数据进行高效的分析、关联,组合然后产生全面、精准的业务决策或者系统使用的支持数据。也就是说可以通过搜索把大数据平台上的数据按照业务管理要求的信息内容、表现形式提供给前端系统。
物联网是一个很宽泛的概念,是指各种设备、机器都通过互联网连接起来,车联网、工业互联网等都属于物联网范畴。根据Gartner报告,联网的设备在2019年已经超过142亿,预计2021年将达到250亿,这是一个巨大的数量。毫无疑问,我们需要一个物联网大数据平台来处理这些联网设备产生的海量数据。
先说观点:因为还没找到更好的。 接下来说原因,首先来看看大数据平台都在干什么。 原因 结构化数据计算仍是重中之重 大数据平台主要是为了应对海量数据存储和分析的需求,海量数据存储的确不假,除了生产经营产生的结构化数据,还有大量音视频等非结构化数据,这部分数据很大,占用的空间也很多,有时大数据平台 80% 以上都存储着非结构化数据。不过,数据光存储还不行,只有利用起来才能产生价值,这就要进行分析了。 大数据分析要分结构化和非结构化数据两部分讨论。 结构化数据主要是企业生产经营过程中产生的业务数据,可以说是企业的
大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大打折扣,甚至根本不可用不敢用,因此,数据治理是大数据时代我们用好海量数据的必然选择。
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
今天我们来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图,你就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图的画法也有套路可以寻觅。
4月20日,京东大数据来到了北京大学光华管理学院,这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座,为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关,实现产品创新,建设高效、安全、稳定的大数据平台,并以数据支撑京东的快速发展。 讲座中,葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发,全面的剖析了其中的奥秘。 在讲到平台使命时,胜利总提到,大数据平台在京东集团中的战略地位很重要,因为京东的公司运营是由
在业务增涨过程中,每个企业不知不觉积累积累了一些数据。无论数据是多是少,企业都希望让“数据说话”,通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
后web2.0时代,互联网、物联网每天都在生产大量数据,人们对于这些庞大数据资源的价值渴求,使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”,那么“大数据”正在演变成一种战略资源,当“用户需求导向”成为企业共识,大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向,数据成为企业愈加珍视的宝贵资产。 目前,建设有大数据平台的企业不在少数,对比传统数据库,大数据平台数据大量集中,且蕴含更高价值,其安全建设要求明显更高。然而,由于大数据平台使用非结构化数据库类型,以及
大数据已不再是一个单纯的热门词汇了,随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用,并通过持续不断的发展,大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据,并对其进行分析。企业所收集的数据量也呈指数级增长,包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息,数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台; 平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等,总之是你方唱罢他登场,各种概念满天飞…
揭开大数据生态圈背后的真相,切实了解开发者对大数据平台的需求,用真实数据分析大数据行业发展趋势及产品方向。近日,在2014中国大数据技术大会召开前夕,CSDN特推出“2014中国大数据有奖调查”活动,旨在更全方位地洞察中国大数据产业现状,为大数据技术从业者和创业者们提供良好的参考与建议。 公司使用大数据的基本情况 时至今日,无论你是来自互联网行业、通信行业,还是金融行业、服务业或是零售业,相信都不会对大数据感到陌生。据调查报告显示,32.5%的公司正在搭建大数据平台,处于测试阶段;29.5%的公司已经在生
在大数据产业近十年潮起潮落的变迁中,有一座穿越迷雾的灯塔,驱散了人们对数据应用的疑虑,照亮了数据价值回归的征程。
现代商业竞争已经从渠道、资源向系统整体效率倾斜,而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战,比如: 1. 数据领域的生态非常庞大,针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件,以及随之带来的团队碎片化,设备资源的重复投入,数据一致性的焦虑,技术选型的困难和迁移的潜在风险; 2. 在伴随业务扩张的过程中,如何平滑而透明地解决伸缩性,用好自建以及混合多云资源;如何建设一站式多租户的数据工具链,在开发生产以及租户之间做好共享和隔离的
物联网平台里模块很多,但其中很重要的一块就是数据处理,包括采集、存储、查询、分析和计算,是整个物联网行业里面比较共性的部分,个性化程度不高。
在大数据的发展当中,对相关专业人才的需求是在持续增长的,包括大数据开发、数据分析挖掘等不同的数据处理环节,都形成了相应的岗位体系,大家各自负责不同的环节,共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业,了解大数据开发有哪些岗位?
时序数据处理应用于物联网、车联网、工业互联网领域的过程数据采集、过程控制,并与过程管理建立一个数据链路,属于工业数据治理的新兴领域。从工具维度看,时序数据处理工具与传统时序数据库的差异很大。后者局限于车间级的可编程逻辑控制器,而非企业级。
大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持
大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!
导读:本期“谁是数据英雄?传统企业大数据应用案例”给大家介绍《 兴业银行:信用卡背后的数据生命线》。兴业银行作为首批试水大数据的商业银行之一,借助大数据的关键技术和核心优势,通过对消费者行为的分析和
就是指各种大数据计算框架,存储系统、SQL引擎等等,这些技术比较常用,经过最近十几年的发展,主流的技术产品相对比较集中,主要就是MapReduce、Spark、Hive、Flink技术的产品。
创建大数据平台,是个系统性的工程,并不像简简单单开发一款APP一样,你要深度的了解当前的环境以后的发展。事实上,做大数据平台不是做大数据本身,而是寻找大数据与行业、与业务的某种关联,内在的联结点,能否联姻成功,取决于策划与开发的能力。策划开发得好,事半功倍,会对行业和业务产生不可估量的价值,策划与开发的不好,则会竹篮打水一场空,费时费力自讨苦吃,成为“鸡肋”在所难免。
点击标题下「大数据文摘」可快捷关注 作者:刘小娇 盖洛普咨询高级统计分析师 (Washington D.C., Headquarter)、《阿里商业评论》特约撰稿人、大数据文摘翻译团队成员 标题图由作者本人,多才多艺刘喵喵(就是刘小娇啦)同学手绘 联系作者: 微信号: liumiaomiaoGTR 邮 件: xjliu_bd@126.com 互联网的飞速发展使营销理念从传统的“媒体导向”向“用户导向”过渡。如今,营销不再是单纯往知名度高、浏览量大的媒体投放广告, 而是通过把握潜在用户的特征、规律和属
近期,由大数据产业生态联盟发起的“第十三期优秀大数据产品、解决方案和应用案例”测评结果发布,广域铭岛天满大数据平台和Geega天满大数据解决方案分别入围。
9月25日,工业和信息化部信息化和软件服务业司将“2018年大数据产业发展试点示范项目名单”进行公示。
最近有几个群友问我大数据怎么入门,作为一个零基础大数据入门学习者该看哪些书呢?我结合自己看过的书和了解到的比较好的数据,给大家分享一下。
金融科技&大数据产品推荐:BIGDAF——专业的Hadoop大数据安全防火墙
作者 | 宋文欣 以 Hadoop 为中心的大数据生态系统从 2006 年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们的深入使用,出现的问题也越来越多,比如:数据开发迭代速度不够快、集群资源利用效率过低、新的开发工具集成非常复杂等。这些问题已经成为困扰企业数字化转型加速迭代和升级的主要障碍。 而传统大数据平台通常是以 Hadoop 为中心的大数据生态技术。一个 Hadoop 集群包含 HDFS 分布式文件系统和以 Yarn 为调度系统的 MapReduce 计算框架。围绕 H
自我介绍下,我是微众银行大数据平台的工程师:周可,今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
如今,企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时,云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力,受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢?
本文首先介绍了大数据架构平台的组件架构,让读者了解大数据平台的全貌,然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点,最后是专家眼里大数据平台架构的发展趋势。
2021年8月20日,贵州农信行社数据仓库软硬件采购项目单一来源采购公示发布。 拟采购商品信息:行社数据仓库软硬件(GaussDB数据库及大数据软件License部分) 采用单一来源采购方式的原因及相关说明:大数据平台由贵安迁移至观山湖数据中心时,使用了华为泰山服务器和大数据产品,用于搭建观山湖数据中心大数据平台。现由于数据量增长大数据平台需进行扩容,鉴于后续应用扩展及行社数仓项目建设,为保持服务延续性及前后软硬件产品的一致性,同时考虑到系统兼容性,便于投产后运维,拟继续采购华为系列产品用于扩容大数据平台
随着数字化转型的不断深入,在企业中,大数据平台建设是许多技术人关心的内容。随着企业的发展,数据量不断增长,原有的数据平台和数据库已经无法满足企业的需求。这时,企业需要对数据平台和数据库进行升级或迁移。但是,这个过程并不容易,需要耗费大量的时间和精力。 在大数据平台升级或迁移过程中,企业需要考虑很多因素,如数据的安全性、可靠性、稳定性等。同时,企业还需要考虑如何保证数据的一致性和完整性。如果在升级或迁移过程中出现问题,可能会导致数据丢失或损坏,给企业带来不可估量的损失。 为你给你提供更多可靠的实践案例,在即将
数据服务业务是未来趋势,荣之联刚刚发布的大数据平台DataZoo有啥亮点?
日志是大数据平台重要数据来源之一,应用程序日志一方面记录各种程序执行状况,一方面记录用户的操作轨迹。Flume 是日志收集常用的工具。
*本文原创作者:mcvoodoo,本文属FreeBuf原创奖励计划,转载请联系help@freebuf.com 随着大数据的发展,从银行到P2P再到保险、证券等,越来越多的金融企业开始建设自己的大数据平台。传统上对于数据的管理,金融界是有经验的。 但在当前以Hadoop为基础的大数据平台,接触数据的人更多,数据使用的更频繁,数据的内外交互实时,数据种类更复杂,对安全带来了更严峻的挑战。 从金融业态上来说,包括征信、消费金融、P2P、众筹、互联网银行、互联网保险等金融企业,都会需要大数据平台来支撑业务需要。
国家 2035 远景规划提出要加快全面数字化转型的步伐,而“大数据平台”是数字化转型的基础技术之一。经过六年多的探索和实践,微众银行打造了一套在金融领域“自主可控”的开源大数据平台。对于任何企业来说,建立和维护一个大数据平台都不是一件容易的事情,而建设一个有特色的、完整易用的大数据平台,显然更是一件技术难度极高的事情。InfoQ 采访了微众银行 WeDataSphere 主创团队,希望他们的实践经验能给大家带来一些启发和思考。
标题图来源:pexels 自治理念 一、趋势 在科幻电影中未来的太空飞船上往往有着人工智能角色,协助人类掌控飞船各方面的状况,或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远,汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中,其实也急迫需要这样一个类似大脑的角色,以腾讯大数据平台现阶段的情况为例,我们有着10万+机器的存算集群,上面每天运行千万级别的离在线任务,我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问
我在一次社区活动中做过一次分享,演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中,我主要分析了大数据平台架构的生态环境,并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解,并结合具体的技术选型与需求场景,给出了我个人对大数据平台的理解。本文是演讲内容的第一部分。 大数据平台是一个整体的生态系统,内容涵盖非常丰富,涉及到大数据处理过程的诸多技术。在这些技术中,除了一些最基础的平台框架之外,针对不同的需求场景,也有不同的技术选择。这其中,显然有共性与差异性的特征。若从整个开发生命周期的角
百科是这样定义的:精准医学(Precision Medicine)是以个体化医疗为基础、随着基因组测序技术快速进步以及生物信息与大数据科学的交叉应用而发展起来的新型医学概念与医疗模式。
5月8日,作为受邀嘉宾,参加了Intel与Cloudera在北京中国大饭店新闻发布会,两家公司宣布战略合作,该消息成为继Intel宣布放弃大数据平台之后的另外一个热点新闻。对于Intel的放弃早在预料之中,对于Intel与Cloudera合作也在意料之中,但是没有想到的是居然那么快。壮士断腕的Intel反倒让我看出几分勇气可嘉来,Cloudera的顺势而为,也被我所认同,Intel借助Cloudera的技术能力,Cloudera借用Intel的商务平台,然后彼此合作真的就能够成功?换句话说,就一定能在中国成功吗?倒是需要时间的检验?因为到现在为止,大数据应用其实已经不再只是一个平台问题,而是如何与业务应用相结合的问题。
Twitter是最早一批推进数字化运营的硅谷企业之一,其公司运营和产品迭代的很多功能是由其底层的大数据平台提供的。图7-2所示为Twitter大数据平台的基本示意图。
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
10月18日,星环科技正式登陆科创板,成为国产大数据基础软件第一股。这一事件不仅代表了星环科技这家公司取得的阶段性成就,也标志着在当前数字化转型以及信创建设持续推进的背景下,国产大数据基础软件已驶入了发展的快车道。
9月11日,在2020腾讯全球数字生态大会上,腾讯云副总裁刘煜宏透露,腾讯云大数据平台的算力弹性资源池达500万核,每日分析任务数达1500万,每日实时计算次数超过40万亿,能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商,同时也是日实时计算量最大的公司。 腾讯云副总裁 刘煜宏 「 算力资源池达500万核,日实时计算量超40万亿」 基于多年在数字化方面的积累,腾讯云正在把腾讯多年来的能力沉淀对外开放。除了云计算、大数据、AI、安全、LBS、区块链等基础技术服务,以及支付、小程
这个从上至下都在强调数字化转型的时代,越来越多公司重视数据,也越来越多的企业有数据建设的需求。
开源,开源,开源。 这就是腾讯2019年技术领域最直观的变化。 最新代表事件,来自于腾讯首个开源的AI项目Angel,完成3.0版本进化后,得到全球技术专家认可,从开源基金会LF AI毕业,成为业内顶级AI开源项目。 这是中国首个得此认可的项目,消息传来自是引发好评热议。不过,这只是腾讯过去这一年开源成绩的注脚之一。 过去一年,腾讯开源势头愈发凶猛。截止12月份,对外开源项目超过92个,覆盖所有BG(事业群),微信、腾讯云、大数据、游戏、AI、安全等业务都在其中,累计获得超27万标星,赢得一片赞
领取专属 10元无门槛券
手把手带您无忧上云