背景 数据，已经成为互联网企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度，也影响到企业的生存和竞争力。Michael Hammer（《Reengineering the Corporation》一书的作者）曾说过，看起来不起眼的数据质量问题，实际上是拆散业务流程的重要标志。 数据质量管理是测度、提高和验证质量，以及整合组织数据的方法等一套处理准则，而体量大、速度快和多样性的特点，决定了大数据质量所需的处理，有别于传统信息治理计划的质量管理方式。 本文基于美团点评大数据平台，通过对数据流转
大部分电商大数据平台系统企业在实践项目的时候，并不会把大部分主力资源将品牌能力沉淀成自身的产品和平台，例如很多可以实现共用的大数据服务没有实现真正意义上的服务化、产品化，以致于很多产品总是在执行重复的动作。我们知道目前的大数据中台系统技术带来的不仅仅是数据量的火箭式增长，更重要的是利于大数据网站系统管理能力提升，所以传统的大数据平台建设已经无法满足用户需求。数据中台系统架构体量、产业规模以及云计算高速发展轻松降低基础设施成本，进一步创造企业盈利是大数据平台所关心的重点问题。通过本文我们来简单了解下：企业为什么要搭建大数据中台系统，什么叫大数据中台架构，数据中台系统架构基本构成和如何提升电商大数据平台功能管理。
标题图来源：pexels 自治理念 一、趋势 在科幻电影中未来的太空飞船上往往有着人工智能角色，协助人类掌控飞船各方面的状况，或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远，汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中，其实也急迫需要这样一个类似大脑的角色，以腾讯大数据平台现阶段的情况为例，我们有着10万+机器的存算集群，上面每天运行千万级别的离在线任务，我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问
数据猿导读 恒丰银行针对商业银行在风险、营销、科技运维、内控管理方面对实时数据处理能力的需求，基于实时流处理相关技术，构建全行统一的实时流处理平台，有力支撑了相关应用的建设，取得了良好的经济效益和社会效益。 📷 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融行业信息协会、互联网普惠金融研究院联合主办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟
从教育行业的需求出发，去分析互联网时代教育行业需要了解的大数据，以及大数据平台的搭建应该注意什么？
金融科技&大数据产品推荐：BIGDAF——专业的Hadoop大数据安全防火墙
作者 | 宋文欣 以 Hadoop 为中心的大数据生态系统从 2006 年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们的深入使用，出现的问题也越来越多，比如：数据开发迭代速度不够快、集群资源利用效率过低、新的开发工具集成非常复杂等。这些问题已经成为困扰企业数字化转型加速迭代和升级的主要障碍。 而传统大数据平台通常是以 Hadoop 为中心的大数据生态技术。一个 Hadoop 集群包含 HDFS 分布式文件系统和以 Yarn 为调度系统的 MapReduce 计算框架。围绕 H
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 12日下午的互联网大数据分论坛，滴滴机器学习研究院研发总监刘威、百度主任架构师、机器翻译技术负责人何中军、京东商城大数据研发部负责人刘彦伟、中国人民大学
现在全国政务行业都在推行数字政府、数字中国的落地。大部分省市都在进行IaaS资源、PaaS资源、DaaS资源以及SaaS资源的整合；构建基于IPDS架构的云平台数据中心，通过IPDS云平台数据中心，为用户提供各类资源服务。
在软件开发和IT运维领域，配置管理一直是不可或缺的一环。随着技术的发展，配置管理经历了多个时期，涌现出了各种工具和方法。本文将探讨配置管理的历史，并重点关注以下四个方面：版本控制、应用配置、系统配置以及云化的资源配置。
上篇文章《漫谈大数据平台架构》（阅读原文查看）大家应该对大数据平台有了一个整体架构上的理解和认识，作为姊妹篇，本篇着重讲解大数据平台安全风险与建设。
自从大数据被列入国家发展战略规划以来，各地方政府都在积极挖掘政务大数据的价值，建设各类政务大数据平台，通过数据融合和大数据应用平台来提升政务工作的效能。对于地方招商相关部门来说，也需要将大数据和招商工作融合，用大数据精准招商平台来打破传统的招商思维，全面提升招商引资工作的效能。
自建开源大数据平台会随着企业数据的增长遇到：性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
CMDB翻译过来，Configuration Management DataBase，其实也是配置管理的意思，但从实际情况看，CMDB的概念定义已经出现了很大的局限性，之前老王也专门写过一篇文章《如何理解CMDB的套路》来阐述过这个观点，今天我从我们团队自己的实践过程中的理解和角度再来呼应下，因为这一点理解不清楚，基础打不好，后续的自动化也好，DevOps也好，等等等等，都将无从谈起。
2021年6月29日，北京市房山区经济和信息化局发布《房山区大数据基础设施建设政府购买服务项目（电子政务外网升级改造、电子政务云）》公开招标公告，预算7145.465445万元。 服务范围：房山区电子政务外网升级建设改造服务、房山区电子政务云建设与服务、房山区大数据平台建设与服务、房山区大数据运行管理中心建设与服务、政务外网和政务云相关安全系统建设服务等。 中标结果 2021年7月23日中标公告发布，中国电信股份有限公司北京分公司7145.465445万元中标。 项目背景 项目概述 落实北京关于政务外网建设
随着数字经济加速发展，企业数字化转型正向更深层次推进。基于数字技术，企业通过数据驱动，有望实现创新产品服务、变革运营方式和迭代资源组织模式。而这一切都是建立在企业 IT 基础设施之上。
现在大数据这么火，各行各业想转行大数据，那么问题来了，该往哪方面发展，哪方面最适合自己？
本文根据祝佳俊老师在〖2023 中国数据智能管理峰会-上海站〗现场演讲内容整理而成。
近年来，检察机关卯足了劲儿深挖"大数据"富矿，打造数据化、科学化、智能化的"智慧检务"。"十三五"时期，检察机关将继续稳步推进，拿出最强阵容来部署大数据工作。最新消息！最高检印发《检察大数据行动指南(2017—2020年)》，信息量满满，干货都在这里。 据最高人民检察院官方网站消息，最高人民检察院日前印发《检察大数据行动指南(2017-2020年)》(下称《行动指南》)。 全国检察机关将依托大数据及智能语音等前沿科技，统筹利用以司法办案数据为核心的检察数据资源，建立检察大数据总体架构,营造大数据应用良好生
“数字化”是当今社会最先进和最具穿透力的生产力，近十年保持高速发展。围绕“数字化”构筑的数字经济不仅呈现蓬勃发展态势，而且对经济社会发展的贡献越来越大。
近日，携程旅游大数据服务平台连续通过三轮评审，成功入选工业和信息化部的“大数据优秀产品、服务和应用解决方案”。据了解，该平台聚合了携程集团多项旅游行业数据，对内服务集团各业务线、对外服务各地旅游企业、政府机关、中央部委、及央地媒体，成为国内最具影响力的旅游业大数据服务平台。 随着社会和经济的发展，旅游业已成长为世界经济中发展势头最强劲和规模最大的产业之一。据世界旅游业理事会预计，到2020年，全球国际旅游消费收入将达到2万亿美元。 然而，传统旅游业的诸多痛点也在制约着行业的发展壮大，如细分行业需要整体化运营
现如今每个公司都有自己的大数据平台和大数据团队，可以看出大数据建设在公司的重要地位，不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域，大数据都是基础，海量数据成为了互联网公司的重要资产。
本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
2022年10月28日，国务院办公厅发布《全国一体化政务大数据体系建设指南》（以下简称《指南》）。
著名互联网观察家凯文·凯利在《失控》一书里的描述，这场信息社会的进化规律，遵循的是生物学逻辑，呈现出分布式、去中心、自组织的特点。我们目前所看到的金融服务业，都是建基于工业社会的基础技术架构上的：流程化、控制论、标准化、层级制，高度依赖物理空间来提供服务……工业社会的基础架构，决定了工业社会金融业的基本架构。我们有什么理由认为，这一切都是当然的、天生的、会停止不变的呢？
随着人工智能技术的广泛深入应用，给信息安全行业带来全新的挑战，但同时也带来前所未有的发展机遇。数据泄漏给企业造成的损害日益严重，加强企业数据资产的管理与保护已经刻不容缓。1月12日，由中国信息通信研究院、电子科技大学、企业数据安全技术联盟(筹)联合主办的“2018中国企业和个人数据安全技术大会”在北京国家会议中心隆重召开。来自全国各地的500余位信息化主管部门领导、权威院士、知名专家学者以及国内企业代表汇聚一堂，安恒信息参与协办本次会议，公司高级副总裁、首席安全官刘志乐就数据安全技术实践主题分享了精彩的演讲
2022年5月31日，成都市公安局发布《大数据基座信息化项目（一期）服务器采购项目》招标公告，预算 25747 万元。 项目概况： 根据智慧蓉城智慧公安工作要求，成都市公安局按照公安部相关标准规划开展大数据基座信息化项目（一期）建设，本项目建设目标是基于现网已经建成的视频云平台、警务云平台等进行资源扩容，满足全市新建前端感知源的接入、存储、解析、共享，完善公安大数据智能化应用体系，配套进行网络安全体系建设。纵向贯通部省市三级公安大数据资源，横向集成政务信息、城市运行、城市感知和政府部门管理的行业等数据资源，
场景描述：本文将为大家展示字节跳动公司将 Jstorm 任务迁移到 Apache Flink 上的整个过程以及后续计划。你可以借此了解到字节跳动公司引入 Apache Flink 的背景，Apache Flink 集群的构建过程，如何兼容以前的 Jstorm 作业以及基于 Apache Flink 构建一个流式任务管理平台，本文将一一为你揭开这些神秘的面纱。
2月17日，深圳市中小学“在线开学”。为做好防疫期间中小学“停课不停教 停课不停学”的工作，秉承“全区统筹，推荐平台，学校组织，年级授课，班级管理，精准施策”以及“一校一方案”等原则，深圳市罗湖区教育局联合罗湖智慧城市建设中心、腾讯教育，共同推出了多元化的“停课不停学”解决方案，并充分利用互联网、大数据等现代技术，满足特殊时期全区中小学师生在家上课的需求。 图：罗湖区教科院2020年新学期教研工作会 一校一方案：打造多元教育防疫解决方案 近年来，深圳罗湖扎实推进教育信息化建设，将智慧教育云平台
今天准备谈下AIOps的内容，在我前面已经写过多篇文章谈DevOps研发运维一体化方面的内容，原来也一直看到AIOps的概念，潜意识里面理解是DevOps里面的一个子内容分解。而实际我们看到AIOps和DevOps没有必然的联系。
5月13日，腾讯公司和仲恺农业工程学院在腾讯滨海大厦签署战略合作协议，双方将在智慧校园建设、共建仲恺大数据平台及应用、探索创新人才培养新模式、产学研创新合作四大领域展开深度合作，借助腾讯公司旗下腾讯微校的数字校园整体解决方案，助力仲恺农业工程学院打造全国智慧校园标杆。此外，双方还将在智慧农业领域展开更多合作。
ABC 时代（人工智能、大数据和云计算），数据已成为企业最为重要的基础性战略资源之一。
1月，中国大陆境内所有通用顶级域（.com/.net/.org等）解析出现问题，所有相关域名均被指向一个位于美国的IP地址（65.49.2.178），导致数千万网民在数小时内无法访问网站。 4月，OpenSSL“心脏出血（Heartbleed）”重大安全漏洞被曝光，这一漏洞让黑客能够读取服务器系统的运行内存。有业内人士利用该漏洞在某知名电商网站上测试时，成功获得多位用户的账号及密码，并成功登陆网站。 9月，“iCloud艳照门”事件爆发，数百张好莱坞女演员不雅照在网上被曝光。原因是黑客通过攻击苹果iClou
物流产业是物流资源产业化而形成的一种复合型或聚合型产业。物流资源包括运输、仓储、装卸、搬运、包装、流通加工、配送、信息平台等。这些资源产业化后就形成了运输业、仓储业、装卸业、包装业、加工配送业、物流信息业等。它是一种复合型产业，因为所有产业的物流资源不是简单的垒加，而是一种整合。
7 月 28 日，在袋鼠云 2022 产品发布会上，袋鼠云技术负责人思枢正式宣布旗下产品「大数据基础平台 EasyMR」发布。
数据中台最近讨论非常火热，本文总结了数据中台最常见的10个问题并一一作答，便于读者更好的理解数据中台的内涵。
在企业的数字化转型中，大数据已成为支撑经营和业绩增长的主要手段之一。通过升级云原生架构，可以为大数据在弹性、多租户、敏捷开发、降本增效、安全合规、容灾和资源调度等方向上带来优势。如何让云原生大数据在企业中发挥最大效用，也是许多技术伙伴关注的事情。 在 3 月 17 日和 18 日，ArchSummit 全球架构师峰会（北京站）即将落地北京，我们策划了【云原生大数据实践】，邀请了字节跳动火山引擎云原生计算技术负责人李亚坤，担任专题出品人。在筛选了十几个议题之后，我们确定了本专题的四场分享，分别如下： 首先，我
《九次方·金融大数据白皮书》全文.pdf 《中国产业链大数据白皮书》全文.pdf 日前，《中国产业链大数据白皮书》在北京发布。这份报告详细阐述了在产业互联网、大数据到来的时代，诸如物流、能源、汽车、教育、医疗等各个产业链如何应势而动。 在整个大IT产业，产业链大数据还是一个新兴概念。但是，整个IT业对产业互联网的认识已经非常透彻。未来20年，将是产业互联网的时代。IBM、Oracle、联想、九次方大数据等多家公司，都一致判断，产业互联网将来到，与用户互联网不同，产业互联网在流程、业务复杂度、关联性等各个
面对大数据传输安全相关的挑战和威胁，业界针对安全防护技术进行了针对性的实践和调研。本文主要从平台安全、数据安全、隐私保护三个方面对大数据传输安全技术的发展进行阐述。
随着越来越多的数据涌向企业，通过云服务厂商将数据上云已经成为大多数企业的共识。数据为王的时代，企业需要告别传统上云，让企业应用实现云原生。 数据上云能给企业带来诸多便利。例如，加快企业配置和部署工作，更好地管理资源；云储存带来的高扩展性，可以使得企业获得更多的资源配置等等；然而，企业数字化进程进入到一个新阶段，企业上云不再是传统方式那样把业务放入容器和 VM 中，更应该让业务“生于云、长于云”。企业云化从“ON Cloud”走向“IN Cloud”， 新生能力与既有能力有机协同、立而不破，实现资源高效、应
政务大数据在国内外都有很多的应用案例和实践，但因为目前政务数据的采集和开放、跨领域应用还面临着许多问题，政务大数据的应用还只是起步阶段。随着政务大数据信息的不断开放及规范，政务大数据会在包括城市规划、交通管理、环境保护等多领域被应用。
CMDB（Configuration Management DataBase配置管理数据库），基本定义为是一个ITIL数据库，存储信息化软件和硬件资产信息，广义上包括流程、服务、人员组织。CMDB在企业中主要的作用基本概括为：
2016年开始，中南医院开启了响应国家十三五规划对信息化要求的工作。中南医院将信息化的内涵延伸出三条主线：医疗质量与安全预警、医疗运营指标监测、患者服务质量多样化。
Transwarp Data Hub（TDH） 是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层。8种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展，让资源配置更灵活。
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。
腾讯云TStack是腾讯基于自身强大技术能力和海量运营经验推出的私有云平台，提供集IaaS、PaaS和SaaS为一体的综合云服务解决方案；支持对国产CPU的虚拟化，并通过云管理平台软件提供云主机、云存储、云网络和云负载均衡等IaaS层基础功能。大量私有化部署经验，具有高稳定性、统一管理、可视化运营等特点，强兼容性可与国产服务器实现良好适配，助力政府、企业构建稳定安全的云环境和健康的云生态。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
