政府 1. 贵阳首个生态环境大数据试点项目开始运行 7月20日，贵阳市首个生态环境大数据试点项目，即乌当区网格化生态环保大数据监测系统上线运行。根据规划，乌当区范围内将布设266个监测点，实时监测当地的空气、水质、噪声等环境质量。市民只需通过“空气医生”手机APP，即可查询所在地的监测数据，以指导健康出行。贵阳市生态委相关负责人介绍，7月23日，2016贵阳国际马拉松赛将在乌当区举行，届时，赛事组委会将向来自世界各地的运动员推广使用“空气医生”APP。 2、汉唐大数据研究院落户兰州高新区 7月21日上午
智慧矿山解决方案依托自身的“数字化大脑计划”，从底层硬件基础设施维度开始，逐步向上通过基于云计算化、大数据化、数字化、AI人工智能化等信息化技术手段，将传统分散的不同种类的数据加以梳理和标准统一。新华三智慧矿山解决方案实现底层信息化基础设施、中间数字化平台以及与上层客户业务及合作伙伴的系统形成有机结合。通过这种有机结合本方案可以从下至上为煤炭行业智能化逐步夯实各项业务开展的基础，并通过中间数字化业务平台起到承上启下的中间数字化转换工作，为上层业务的提供多种多样的业务数字化能力的支撑。
煤炭是我国第一大能源，煤炭行业具有产业规模大、分布地域广、危险系数高等特点。近几年，随着互联网技术的广泛应用，让煤炭电商交易有了更多的发展空间，传统煤炭企业应积极把握“互联网+”发展机遇，借助数智化创新驱动来促使企业转型升级。
近日，“2019年度中国产业互联网优秀创新解决方案”评选结果揭晓，腾讯与云南省政府联合打造的国内首个全域智慧旅游平台“一部手机游云南”入选。 为贯彻落实《国务院关于深化制造业与互联网融合发展的指导意见》，加快传统产业的数字化转型升级，推动产业互联网的发展，中国产业互联网发展联盟联合腾讯、京东云、用友和工业4.0研究院等企业和机构，联合举办了2019年度中国产业互联网优秀创新解决方案征集活动，面向国内企业征集有关行业和领域的产业互联网创新解决方案。 从2019年9月25日开始，截止到11月25日，征集活
煤炭是我国最重要的一次能源，现在是，将来相当长一段时间也还是。2019年，我国煤炭进口1.97亿吨，同比增长5.41%，增速同比由负转正。煤炭行业总量去产能任务基本完成，煤炭调控将以系统性、结构性去产能及系统性优产能为主，稳定煤炭供给，优化结构布局。
非IT企业数字化、互联网巨头数据割据、政府监管和开放、用户的隐私顾虑，让大数据看起来是一个很难实现的乌托邦。 最近互联网各种热词很多，各种概念满天飞。说到大数据，许多人搞不太懂，甚至有人直斥“大数据=大忽悠”。大数据到底是什么，产业现状和创业机会怎样？ 大数据是一个时代，“国家队”很及时 去年底宣布的一个事情，将对未来有深远影响，现在大家还没意识到。国家统计局与11家国内企业签署战略合作框架协议，合作内容涉及大数据应用统计标准，以及企业数据补充政府统计数据等领域。有分析称，在大数据国家战略日益
日前，国内第一份《九次方·金融大数据白皮书》在北京发布。这份报告认为，金融业是大数据的重要产生者，交易、报价、业绩报告、消费者研究报告、官方统计数据公报、调查、新闻报道无一不是数据来源。大数据的发展，
多家能源央企纷纷开始布局“互联网+”。 6月10日,中石油和腾讯公司联手发力“互联网+油气产业”。就在前几天,腾讯刚刚和国家电网合作,正式实施“互联网+电网”战略。 腾讯在进军传统行业,而传统行业则在谋求改革,以适应和引领消费模式的改变。 同时,央企改革先锋中石化在4月份就宣布,将透过阿里巴巴在云计算、大数据方面的技术优势,对部分传统石油化工业务进行升级,打造多业态的商业服务新模式。 神华集团董事长张玉卓最近也表示,将引入“互联网+”模式,整合煤炭、电力和新能源等资
大数据带来了无穷的想象力和无所不能为的信心，随着消费、政府、物流等大数据行业的快速发展，工业领域内，数字设计、数字工厂、数字制造等概念也一哄而上，仿佛工业大数据已经成为拯救实体经济的“大力丸”，中国有着规模庞大的各型工业设备、丰富的设备使用场景，中国的工业大数据随处都是。
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
4月20日，京东大数据来到了北京大学光华管理学院，这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座，为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关，实现产品创新，建设高效、安全、稳定的大数据平台，并以数据支撑京东的快速发展。 讲座中，葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发，全面的剖析了其中的奥秘。 在讲到平台使命时，胜利总提到，大数据平台在京东集团中的战略地位很重要，因为京东的公司运营是由
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。
在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
后web2.0时代，互联网、物联网每天都在生产大量数据，人们对于这些庞大数据资源的价值渴求，使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”，那么“大数据”正在演变成一种战略资源，当“用户需求导向”成为企业共识，大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向，数据成为企业愈加珍视的宝贵资产。 目前，建设有大数据平台的企业不在少数，对比传统数据库，大数据平台数据大量集中，且蕴含更高价值，其安全建设要求明显更高。然而，由于大数据平台使用非结构化数据库类型，以及
大数据已不再是一个单纯的热门词汇了，随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用，并通过持续不断的发展，大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据，并对其进行分析。企业所收集的数据量也呈指数级增长，包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息，数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
现在各种新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台； 平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…
揭开大数据生态圈背后的真相，切实了解开发者对大数据平台的需求，用真实数据分析大数据行业发展趋势及产品方向。近日，在2014中国大数据技术大会召开前夕，CSDN特推出“2014中国大数据有奖调查”活动，旨在更全方位地洞察中国大数据产业现状，为大数据技术从业者和创业者们提供良好的参考与建议。 公司使用大数据的基本情况 时至今日，无论你是来自互联网行业、通信行业，还是金融行业、服务业或是零售业，相信都不会对大数据感到陌生。据调查报告显示，32.5%的公司正在搭建大数据平台，处于测试阶段；29.5%的公司已经在生
在大数据产业近十年潮起潮落的变迁中，有一座穿越迷雾的灯塔，驱散了人们对数据应用的疑虑，照亮了数据价值回归的征程。
现代商业竞争已经从渠道、资源向系统整体效率倾斜，而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战，比如： 1. 数据领域的生态非常庞大，针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件，以及随之带来的团队碎片化，设备资源的重复投入，数据一致性的焦虑，技术选型的困难和迁移的潜在风险； 2. 在伴随业务扩张的过程中，如何平滑而透明地解决伸缩性，用好自建以及混合多云资源；如何建设一站式多租户的数据工具链，在开发生产以及租户之间做好共享和隔离的
在大数据的发展当中，对相关专业人才的需求是在持续增长的，包括大数据开发、数据分析挖掘等不同的数据处理环节，都形成了相应的岗位体系，大家各自负责不同的环节，共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业，了解大数据开发有哪些岗位？
大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持
大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！
导读：本期“谁是数据英雄？传统企业大数据应用案例”给大家介绍《 兴业银行：信用卡背后的数据生命线》。兴业银行作为首批试水大数据的商业银行之一，借助大数据的关键技术和核心优势，通过对消费者行为的分析和
就是指各种大数据计算框架，存储系统、SQL引擎等等，这些技术比较常用，经过最近十几年的发展，主流的技术产品相对比较集中，主要就是MapReduce、Spark、Hive、Flink技术的产品。
创建大数据平台，是个系统性的工程，并不像简简单单开发一款APP一样，你要深度的了解当前的环境以后的发展。事实上，做大数据平台不是做大数据本身，而是寻找大数据与行业、与业务的某种关联，内在的联结点，能否联姻成功，取决于策划与开发的能力。策划开发得好，事半功倍，会对行业和业务产生不可估量的价值，策划与开发的不好，则会竹篮打水一场空，费时费力自讨苦吃，成为“鸡肋”在所难免。
近期，由大数据产业生态联盟发起的“第十三期优秀大数据产品、解决方案和应用案例”测评结果发布，广域铭岛天满大数据平台和Geega天满大数据解决方案分别入围。
9月25日，工业和信息化部信息化和软件服务业司将“2018年大数据产业发展试点示范项目名单”进行公示。
最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。
金融科技&大数据产品推荐：BIGDAF——专业的Hadoop大数据安全防火墙
作者 | 宋文欣 以 Hadoop 为中心的大数据生态系统从 2006 年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们的深入使用，出现的问题也越来越多，比如：数据开发迭代速度不够快、集群资源利用效率过低、新的开发工具集成非常复杂等。这些问题已经成为困扰企业数字化转型加速迭代和升级的主要障碍。 而传统大数据平台通常是以 Hadoop 为中心的大数据生态技术。一个 Hadoop 集群包含 HDFS 分布式文件系统和以 Yarn 为调度系统的 MapReduce 计算框架。围绕 H
自我介绍下，我是微众银行大数据平台的工程师：周可，今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
如今，企业都面临着日益增长的数据量、各种类型数据的实时化和智能化处理的需求。此时，云原生大数据平台的高弹性扩展、多租户资源管理、海量存储、异构数据类型处理及低成本计算分析的能力，受到了大家的欢迎。但企业应该如何做好大数据平台的云原生改造和升级呢？
本文首先介绍了大数据架构平台的组件架构，让读者了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点，最后是专家眼里大数据平台架构的发展趋势。
2021年8月20日，贵州农信行社数据仓库软硬件采购项目单一来源采购公示发布。 拟采购商品信息：行社数据仓库软硬件（GaussDB数据库及大数据软件License部分） 采用单一来源采购方式的原因及相关说明：大数据平台由贵安迁移至观山湖数据中心时，使用了华为泰山服务器和大数据产品，用于搭建观山湖数据中心大数据平台。现由于数据量增长大数据平台需进行扩容，鉴于后续应用扩展及行社数仓项目建设，为保持服务延续性及前后软硬件产品的一致性，同时考虑到系统兼容性，便于投产后运维，拟继续采购华为系列产品用于扩容大数据平台
随着数字化转型的不断深入，在企业中，大数据平台建设是许多技术人关心的内容。随着企业的发展，数据量不断增长，原有的数据平台和数据库已经无法满足企业的需求。这时，企业需要对数据平台和数据库进行升级或迁移。但是，这个过程并不容易，需要耗费大量的时间和精力。 在大数据平台升级或迁移过程中，企业需要考虑很多因素，如数据的安全性、可靠性、稳定性等。同时，企业还需要考虑如何保证数据的一致性和完整性。如果在升级或迁移过程中出现问题，可能会导致数据丢失或损坏，给企业带来不可估量的损失。 为你给你提供更多可靠的实践案例，在即将
数据服务业务是未来趋势，荣之联刚刚发布的大数据平台DataZoo有啥亮点？
日志是大数据平台重要数据来源之一，应用程序日志一方面记录各种程序执行状况，一方面记录用户的操作轨迹。Flume 是日志收集常用的工具。
*本文原创作者：mcvoodoo，本文属FreeBuf原创奖励计划，转载请联系help@freebuf.com 随着大数据的发展，从银行到P2P再到保险、证券等，越来越多的金融企业开始建设自己的大数据平台。传统上对于数据的管理，金融界是有经验的。 但在当前以Hadoop为基础的大数据平台，接触数据的人更多，数据使用的更频繁，数据的内外交互实时，数据种类更复杂，对安全带来了更严峻的挑战。 从金融业态上来说，包括征信、消费金融、P2P、众筹、互联网银行、互联网保险等金融企业，都会需要大数据平台来支撑业务需要。
国家 2035 远景规划提出要加快全面数字化转型的步伐，而“大数据平台”是数字化转型的基础技术之一。经过六年多的探索和实践，微众银行打造了一套在金融领域“自主可控”的开源大数据平台。对于任何企业来说，建立和维护一个大数据平台都不是一件容易的事情，而建设一个有特色的、完整易用的大数据平台，显然更是一件技术难度极高的事情。InfoQ 采访了微众银行 WeDataSphere 主创团队，希望他们的实践经验能给大家带来一些启发和思考。
标题图来源：pexels 自治理念 一、趋势 在科幻电影中未来的太空飞船上往往有着人工智能角色，协助人类掌控飞船各方面的状况，或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远，汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中，其实也急迫需要这样一个类似大脑的角色，以腾讯大数据平台现阶段的情况为例，我们有着10万+机器的存算集群，上面每天运行千万级别的离在线任务，我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文是演讲内容的第一部分。 大数据平台是一个整体的生态系统，内容涵盖非常丰富，涉及到大数据处理过程的诸多技术。在这些技术中，除了一些最基础的平台框架之外，针对不同的需求场景，也有不同的技术选择。这其中，显然有共性与差异性的特征。若从整个开发生命周期的角
百科是这样定义的：精准医学（Precision Medicine）是以个体化医疗为基础、随着基因组测序技术快速进步以及生物信息与大数据科学的交叉应用而发展起来的新型医学概念与医疗模式。
5月8日，作为受邀嘉宾，参加了Intel与Cloudera在北京中国大饭店新闻发布会，两家公司宣布战略合作，该消息成为继Intel宣布放弃大数据平台之后的另外一个热点新闻。对于Intel的放弃早在预料之中，对于Intel与Cloudera合作也在意料之中，但是没有想到的是居然那么快。壮士断腕的Intel反倒让我看出几分勇气可嘉来，Cloudera的顺势而为，也被我所认同，Intel借助Cloudera的技术能力，Cloudera借用Intel的商务平台，然后彼此合作真的就能够成功？换句话说，就一定能在中国成功吗？倒是需要时间的检验？因为到现在为止，大数据应用其实已经不再只是一个平台问题，而是如何与业务应用相结合的问题。
Twitter是最早一批推进数字化运营的硅谷企业之一，其公司运营和产品迭代的很多功能是由其底层的大数据平台提供的。图7-2所示为Twitter大数据平台的基本示意图。
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
这些利用大数据做工业设备监测的公司，你都应该关注一下
10月18日，星环科技正式登陆科创板，成为国产大数据基础软件第一股。这一事件不仅代表了星环科技这家公司取得的阶段性成就，也标志着在当前数字化转型以及信创建设持续推进的背景下，国产大数据基础软件已驶入了发展的快车道。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
