昨天（5月28号）由社科文献出版社初版的《大数据蓝皮书：中国大数据发展报告No.2》正式发布了。以“数化万物 智在融合”为主题的中国国际大数据产业博览会也京举行中。基本可以预见，在接下来的一段时期内关于大数据应用开发又将进入到一个新的阶段。
大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持
今天越来越多的企业认识到，大数据的掌控和分析能力将成为竞争力的核心，企业对大数据的投资也在不断扩大。Gartner调查显示，73%的企业计划在未来两年内投资大数据。以开源Hadoop、Spark等为基础的大数据基础平台解决方案和云服务如雨后春笋不断涌现，形成了近200亿美元的市场规模。然而对于很多企业用户来说，如何评价一个大数据平台的综合能力，常常是选型、平台建设和系统优化时面临的一大挑战。目前来看，国内外还缺乏一套能体现大数据特点，又简便易行，且被工业界广泛认可的大数据平台性能测试标准与工具。 记者日前
点击上方蓝字每天学习数据库 | 导语 4月27日，在天府之国，与你共享大数据与Alluxio的技术魅力。 本期技术沙龙将会聚焦在大数据、存储、数据库以及Alluxio应用实践等领域，邀请腾讯技术专家和业界技术专家现场分享关于Alluxio系统的基本原理、大数据系统架构、数据库应用运维、AI计算机视觉技术及落地实践等主题，带来丰富的实战内容和经验交流。 13:00 活动签到 14:00 开源大数据存储系统Alluxio的新特性介绍与缓存性能优化 分布式文件系统处于大数据系统中基础地位，在行业大数
随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。
原文标题：What You Need To Do To Get Big Data To Work For You
随着数字化的发展，实证单位和企业需要处理分析的数据量呈指数级增长，传统的数据分析工具已不能满足一些企业的需求，越来越多的企业转而寻求BI工具的帮助。现在市面上有非常多的BI工具，质量也参差不齐，笔者特此盘点了现在市面上6款常见的BI工具，以供有需要的朋友参考。（排名不分先后）
参加活动赢取话费和一个月免费会员 点击底部阅读原文，参加PPV课玩转可视化图表，赢取话费和PPV课一个月免费会员，精品课程免费看！ 目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase
随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 1 数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。这些数据散落在各个地方，我们需要将这些数据融合到一起，然后从这些海量数据中计算出一些有价值的内容。此时第一步需要做的是把数据采集过来。数据采集是大
👆点击“博文视点Broadview”，获取更多书讯 随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 图1 1 数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。这些数据散落在各个地方，我们需要将这些数据融合到一起，然后从这些海量数据中计算出一些
2021年8月20日，贵州农信行社数据仓库软硬件采购项目单一来源采购公示发布。 拟采购商品信息：行社数据仓库软硬件（GaussDB数据库及大数据软件License部分） 采用单一来源采购方式的原因及相关说明：大数据平台由贵安迁移至观山湖数据中心时，使用了华为泰山服务器和大数据产品，用于搭建观山湖数据中心大数据平台。现由于数据量增长大数据平台需进行扩容，鉴于后续应用扩展及行社数仓项目建设，为保持服务延续性及前后软硬件产品的一致性，同时考虑到系统兼容性，便于投产后运维，拟继续采购华为系列产品用于扩容大数据平台
揭开大数据生态圈背后的真相，切实了解开发者对大数据平台的需求，用真实数据分析大数据行业发展趋势及产品方向。近日，在2014中国大数据技术大会召开前夕，CSDN特推出“2014中国大数据有奖调查”活动，旨在更全方位地洞察中国大数据产业现状，为大数据技术从业者和创业者们提供良好的参考与建议。 公司使用大数据的基本情况 时至今日，无论你是来自互联网行业、通信行业，还是金融行业、服务业或是零售业，相信都不会对大数据感到陌生。据调查报告显示，32.5%的公司正在搭建大数据平台，处于测试阶段；29.5%的公司已经在生
本话题暂不探讨是否有必要编写详细的测试用例，在确定要交付详细的测试用例这个前提下，分享如何更高效地完成测试用例的编写。
中联重科是国内领先的工程机槭、农业机械等高新技术装备研发制造商，是全球产品链最齐备的工程机械企业，为全球6大洲100多个国家的客户创造价值。
大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。
营销的基本原理是一致的，每个人都喜欢洞察力，因为这些数字模式可以提供最安全的方法来确保企业采取正确的行动，更有效地运作，以及将其资源用在何处。数据已经成了战略的据点。
问题导读 1.作为一个技术人员，你认为该如何搭建大数据平台？ 2.构建大数据平台，你认为包括哪些步骤？ 3.本文是如何构建大数据平台的？ 亲身参与，作为主力完成了一个信息大数据分析平台。中间经历了很多问题，算是有些经验，因而作答。 整体而言，大数据平台从平台部署和数据分析过程可分为如下几步： 1、linux系统安装 一般使用开源版的Redhat系统–CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。例如，可以选择给HDFS的namenode
10月18日，星环科技正式登陆科创板，成为国产大数据基础软件第一股。这一事件不仅代表了星环科技这家公司取得的阶段性成就，也标志着在当前数字化转型以及信创建设持续推进的背景下，国产大数据基础软件已驶入了发展的快车道。
背景介绍 4月23日09:00-12:45，在DataFunSummit2022：大数据计算架构峰会上，由腾讯云大数据资深高级工程师熊训德出品的大数据计算加速论坛，将邀请来自腾讯、阿里巴巴、矩阵起源、喜马拉雅的5位技术专家，就相关主题进行深度分享，欢迎大家一起探讨交流。 具体日程 详细介绍 出品人：熊训德 腾讯云 大数据资深高级工程师 个人介绍：四川大学硕士毕业后加入腾讯，在腾讯云大数据从事 hadoop 生态相关的云存储和计算等后台开发，专注于研究大数据、虚拟化和人工智能等相关技术。 嘉宾介绍：
本文作者 耿立超，架构师，14年IT系统开发和架构设计经验，CSDN博客专家，著有《大数据平台架构与原型实现：数据中台建设实战》一书。 原文链接： https://laurence.blog.csdn.net/article/details/106851739 故事缘起 我们需要工程原型！ 从2008年Hadoop成为Apache的顶级项目开始，大数据技术迎来了十多年的持续发展，其间随着Spark的异军突起，整个大数据生态圈又经历了一次“装备升级”，变得更加完善和强大。 今天，很多企业已经完成了早期对大数据
Kafka 是当下热门的消息队列中间件，它可以实时地处理海量数据，具备高吞吐、低延时等特性及可靠的消息异步传递机制，可以很好地解决不同系统间数据的交流和传递问题。
数据猿导读 软件外包服务提供商文思海辉与华为公司合作，共同推出金融大数据平台；京东金融与美国Zestfinance公司共建大数据公司ZRobot；我国首个司法行政大数据实验室在上海落地……以下为您奉上
大数据能称之为一个时代，可见维克托•迈尔•舍恩伯格对大数据的褒奖。当然，更多的人希望通过大数据创建新的产业群，将之应用到医疗、教育、科技等多个领域。大数据应用已经成为互联网创业者竞争的新阵地，如何充分利用大数据和借助大数据掘金成为草根创业者关注的焦点。在已有的领域中，包括可穿戴设备、移动APP等领域，部分互联网创业者都尝到了大数据的甜头。 百度大数据助力小说网站顺利商业化 互联网创业者的机会并不少，但是要想真正“拥抱”大数据，并从大数据的红海中分一杯羹，是非常困难的。所有人都知道，
过去的十年，是基于深度学习的「AI 大飞跃」，各类创新算法的迸发不断带来新的焦点，算法突破成为 AI 研究者的集中攻坚地。
导读 近年来大数据业务规模迅速增长，为大数据平台运营治理带来了新的挑战：海量大数据任务的治理，缺乏统一、标准的数据与评估模型和治理工具，难以支持对大数据任务执行效率、稳定性等进行持续优化。腾讯大数据平台摸索出数据+算法驱动的“平台自治”方案，对于万亿级大数据分析逐步实现“自动化运营”，以一站式的自诊断、自优化、自管理能力，大大降低大数据产品使用门槛。
从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自身不具备技术团队，缺乏技术运维能力，因此在搭建本地化万亿级大数据平台时，如何交付更为标准化、透明化设计的产品成为最大挑战。
先说观点：因为还没找到更好的。 接下来说原因，首先来看看大数据平台都在干什么。 原因 结构化数据计算仍是重中之重 大数据平台主要是为了应对海量数据存储和分析的需求，海量数据存储的确不假，除了生产经营产生的结构化数据，还有大量音视频等非结构化数据，这部分数据很大，占用的空间也很多，有时大数据平台 80% 以上都存储着非结构化数据。不过，数据光存储还不行，只有利用起来才能产生价值，这就要进行分析了。 大数据分析要分结构化和非结构化数据两部分讨论。 结构化数据主要是企业生产经营过程中产生的业务数据，可以说是企业的
2022年3月26日，DataFun将联合腾讯大数据及其他平台举办第二届线上DataFunSummit：大数据存储架构峰会。 本次峰会全面升级了各论坛设置，覆盖面更广，将由6位主席，联合7位出品人，邀请业界50余位一线技术专家出席并进行主题报告分享。届时腾讯大数据平台数据中心副总监—罗韩梅，将会以峰会主席的身份参与，诸多腾讯大数据资深技术专家也将会带来各自的自研分享，敬请期待！ 本次峰会开放直播报名入口，大家只需关注腾讯大数据公众号，点进主页即可免费预约观看，3月26日，腾讯大数据与你一同见证精彩！ ▌大
与17年前的非典相比，这次中国在面对新冠肺炎疫情时，虽然仍然有面对未知问题的紧张，但是大数据、人工智能等技术的迅猛发展和广泛普及，开启了“互联网+防疫”模式，使人们在防控疫情时的效率和效果都得到了空前增强。
来源：阿朱说 作者：吕建伟 ---- 自从中央发了十四五规划，现在各大央企国企都在纷纷制定自己企业的十四五的五年规划。 总体一个感受，和我们做的企业标准套件是一模一样的，不外乎是： 1、生产制造：工业互联网，想要的价值也都是设备监控与运维、安全监管、环保监管与能耗优化 2、大供应链：采购云-分销云-零售云 3、业务层就上述两个，下面就只需要集团统一管控： 集团统一财务管控：财务共享中心 集团统一人力管控：人力共享中心 集团统一流程管控：协同平台 集团统一数据管控：大数据平台 人们很多说大型巨型
京东集团618作战指挥中心 ，成员来自于京东各个技术体系，包括核心系统架构师、一线运维专家、科研学者等。 近200位成员在618时共同努力，确保流量洪峰来临时系统安全、稳定、可靠，致力于提供最佳的用户体验。
本文介绍了电力大数据分析在电力行业的应用，包括电网监测、运营效率提升、客户体验改善、减少损失和降低成本等方面。电力企业正在利用大数据技术进行数字化转型，以更好地满足客户需求、提高运营效率和降低运营成本。永洪科技的一站式大数据分析平台为电力行业提供了强大的数据分析和挖掘能力，帮助电力企业实现数据驱动的决策和创新。
大数据技术栈的发展是一个不断演进的过程，从最初的数据仓库、商业智能，到分布式计算和实时计算，再到如今的人工智能，每一阶段的技术栈都有其独特的应用场景。
很早之前就有过想写推荐系统系列文章了，本人曾任职高级大数据工程师全程参与过推荐系统的搭建，故在搭建推荐系统算得上是有一定的经验。推荐系统搭建有相当多的细节和要考虑的业务情况，以及要结合当前业务信息和用户信息的多维度属性，可以说得上是个大工程。做推荐系统的最看重的就是模块设计和用户画像体系，这两块相当于推荐系统的心脏和肌肉，光靠一篇文章是比较难全面讲解整体推荐系统的搭建的，好在腾讯云推出了向量数据库，免去了最为繁琐复杂的向量数据库设计步骤，可以直接利用腾讯云数据库强大的功能快速构建推荐系统。本篇文章将详细介绍推荐系统的定义以及推荐系统的架构设计，和深入浅出讲解向量分析，最后通过实例案例结合腾讯云向量数据库完成轻量级推荐系统搭建。
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
饿了么BDI-大数据平台研发团队目前共有20人左右，主要负责离线&实时 Infra 和平台工具开发。其中6人的离线团队需要维护大数据集群规模如下，
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
4月20日，京东大数据来到了北京大学光华管理学院，这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座，为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关，实现产品创新，建设高效、安全、稳定的大数据平台，并以数据支撑京东的快速发展。 讲座中，葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发，全面的剖析了其中的奥秘。 在讲到平台使命时，胜利总提到，大数据平台在京东集团中的战略地位很重要，因为京东的公司运营是由
本文作者桑文锋，Sensors Data创始人&CEO，前百度大数据部技术经理。2007年浙江大学毕业后即加入百度负责组建并带领团队，从零实现了百度用户日志的大数据平台。2015年4月从百度离职创业，目前做一款针对互联网创业公司的数据分析产品Sensors Analytics(神策分析)，致立于通过大数据技术助力客户成为数据驱动的公司。他在本文中分享了自己创业以来积累的很多经验，涉及创业idea、团队、产品和融资等各个方面。
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。
IAS2020 最后 倒计时 还有 3 天 12月26日，本周六，正值年末岁尾 让我们送走不易的2020，架构 全新的未来！ IAS 全体嘉宾 ﹀ ﹀ IAS 详细议程 ﹀ ﹀ （截至12月16日，最新以网站为准） （*当日执行议程以网站最新为准） IAS 更多精彩 ﹀ ﹀ 除了精彩纷呈的演讲，大会现场还设有技术书展，百本书籍免费领，图书签售等环节，快扫描二维码访问大会网站，了解更多峰会信息！ ▼ ▣ > 往届精彩 < 大会荐读图书 《算法与数据中台：基于Google、Facebook与微
在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
后web2.0时代，互联网、物联网每天都在生产大量数据，人们对于这些庞大数据资源的价值渴求，使得“大数据”的概念得以问世。如果说“数据”是支撑未来核心技术的基础“原材料”，那么“大数据”正在演变成一种战略资源，当“用户需求导向”成为企业共识，大数据的收集、挖掘和分析开始支撑企业的业务运转、营销策略乃至战略方向，数据成为企业愈加珍视的宝贵资产。 目前，建设有大数据平台的企业不在少数，对比传统数据库，大数据平台数据大量集中，且蕴含更高价值，其安全建设要求明显更高。然而，由于大数据平台使用非结构化数据库类型，以及
大数据已不再是一个单纯的热门词汇了，随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用，并通过持续不断的发展，大数据也已在各领域产生了明显的应用价值。 企业已开始热衷于利用大数据技术收集和存储海量数据，并对其进行分析。企业所收集的数据量也呈指数级增长，包括交易数据、位置数据、用户交互数据、物流数据、供应链数据、企业经营数据、硬件监控数据、应用日志数据等。由于这些海量数据中包含大量企业或个人的敏感信息，数据安全和隐私保护的问题逐渐突显出来。而这些问题由于大数据的三大主要特性而
中国移动苏州研发中心大数据部总经理，高级工程师钱岭在主题演讲《大数据研发历程的回顾和思考》中分享了一个大数据实践者所走过的历程，主要包括三方面内容，（1）对大数据理解的变化；（2）大数据实践历程回顾；（3）大数据发展方向思考。 一路走来，中国移动苏州研发中心对大数据理解在不断深化。2007年，将大数据称为大规模并行计算、云计算。2010年之后，大数据被按照3V~7V来定义。3V，即规模大（Volume）、种类繁多（Variety）、处理速度要求高（Velocity）。而到了2014年前后，开始跳出技术的视角
现在各种新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台； 平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
