数据猿导读 随着数据量的不断增大、接入的系统越来越多，系统加工效率逐步降低，满足内部数据分析和监管机构的监管数据不断增加的需求，农业银行在2013年开始建设完全自主可控的大数据平台。 本篇案例为数据猿
在11月6日召开的Techo开发者大会上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累，腾讯大数据平台的算力资源池目前已有超过20万台的规模，每天实时数据计算量超过30万亿条，腾讯已经成为中国实时数据计算量最大的公司。并且，随着资源管理平台核心TKE和分布式数据库TBase正式对外开源，腾讯正在成为大数据领域开源最全面的公司。
导读 随着2016全国两会的到来，“大数据”再次成为媒体报道的高频词汇。利用大数据打造智慧城市、提高扶贫精准度、关注农业发展、促进居家养老服务业发展、建立两会大数据平台……两会委员“提案夹”中关于大数
自我介绍下，我是微众银行大数据平台的工程师：周可，今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。
现代商业竞争已经从渠道、资源向系统整体效率倾斜，而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战，比如： 1. 数据领域的生态非常庞大，针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件，以及随之带来的团队碎片化，设备资源的重复投入，数据一致性的焦虑，技术选型的困难和迁移的潜在风险； 2. 在伴随业务扩张的过程中，如何平滑而透明地解决伸缩性，用好自建以及混合多云资源；如何建设一站式多租户的数据工具链，在开发生产以及租户之间做好共享和隔离的
芝麻科技授权转载 微信:Smart_Business 每年的双11都呈愈演愈烈之势，今年双11，天猫成交额更是达到了前所未有的912亿。 线上的购物狂欢对实体商业究竟有什么影响？实体商业在双11的大背景下，还有没有可以挖掘的商机？ 双11为实体商业带来了大量的销售机会。 芝麻科技联合阿里巴巴大数据平台、意略明市场营销咨询带来了实体商业（以服装与化妆品为代表）的线下客流分析和消费者大数据画像报告。研究数据涉及北京、武汉、深圳重点商圈的男装、女装、化妆品店在“双11”前一个周末（11月7日、11月8日）的客流
浪潮与中国工程院合作，打造国内最高级别“双创平台” 随着移动互联网、大数据、云计算等技术的飞速发展， “智能制造”俨然引领了新一轮的产业变革。 日前，在2016智能制造国际会议上，浪潮集团宣布中国工程
在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。
开源，开源，开源。 这就是腾讯2019年技术领域最直观的变化。 最新代表事件，来自于腾讯首个开源的AI项目Angel，完成3.0版本进化后，得到全球技术专家认可，从开源基金会LF AI毕业，成为业内顶级AI开源项目。 这是中国首个得此认可的项目，消息传来自是引发好评热议。不过，这只是腾讯过去这一年开源成绩的注脚之一。 过去一年，腾讯开源势头愈发凶猛。截止12月份，对外开源项目超过92个，覆盖所有BG（事业群），微信、腾讯云、大数据、游戏、AI、安全等业务都在其中，累计获得超27万标星，赢得一片赞
2019年1月，CDH 背后的公司 Cloudera 宣布与 Hortonworks（一家围绕着大数据平台去做发行版的公司）合并，形成了新的 Cloudera 公司。 两家公司合并之后，迅速对产品进行了整合推出了新一代产品——CDP，同时也宣布在2021年底结束对 CDH6 的服务支持。 这给国内企业敲醒警钟，要将以往使用的 CDH 大数据平台进行全面的迁移。 而时间拉到2021年12月29日，距离元旦仅三天，央行发布的一纸公文——《金融大数据平台总体技术要求》，在金融圈里炸开了锅。 以前的文件可能是从战略
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
随着互联网的发展，大数据正在以惊人的速度被创造和收集着，尤其随着诸如Google和Alibaba等互联网公司的崛起，数据的价值越来越得到认可，甚至被公司定义为战略资源。因此越来越多的公司开始搭建自己的大数据平台，用来处理数据，从中挖掘商业价值。大数据运维正是在这样的背景下发展起来的，它与传统领域的运维有很多共性的地方，也有一些自身的特点。 第一个特点是规模大 大数据领域单个集群的规模一般是几百台物理机，多则上万台。为了满足容灾需求，一般会有多个集群，而且是跨地域部署的。集群规模大
从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自身不具备技术团队，缺乏技术运维能力，因此在搭建本地化万亿级大数据平台时，如何交付更为标准化、透明化设计的产品成为最大挑战。
阶段一、大数据、云计算 - Hadoop大数据开发技术 课程一、大数据运维之Linux基础 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。因为企业 中的项目基本上都是使用Linux环境下搭建或部署的。 image.png 课程二、大数据开发核心技术 - Hadoop 2.x从入门到精通 本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数据，无论是Hive
“数字化”是当今社会最先进和最具穿透力的生产力，近十年保持高速发展。围绕“数字化”构筑的数字经济不仅呈现蓬勃发展态势，而且对经济社会发展的贡献越来越大。
大部分电商大数据平台系统企业在实践项目的时候，并不会把大部分主力资源将品牌能力沉淀成自身的产品和平台，例如很多可以实现共用的大数据服务没有实现真正意义上的服务化、产品化，以致于很多产品总是在执行重复的动作。我们知道目前的大数据中台系统技术带来的不仅仅是数据量的火箭式增长，更重要的是利于大数据网站系统管理能力提升，所以传统的大数据平台建设已经无法满足用户需求。数据中台系统架构体量、产业规模以及云计算高速发展轻松降低基础设施成本，进一步创造企业盈利是大数据平台所关心的重点问题。通过本文我们来简单了解下：企业为什么要搭建大数据中台系统，什么叫大数据中台架构，数据中台系统架构基本构成和如何提升电商大数据平台功能管理。
——引领城轨云，烽火打造江城智慧交通新标杆。 2021年11月22日，云头条有发布《烽火、华为（联合体） 4.2 亿元中标武汉地铁云（标段一）；烽火 2.46 亿元高价中标（标段二）》的中标信息，接下来我们来揭晓下武汉城轨云背后的技术。 2021年可谓是武汉地铁的“丰收年”， 新增线路里程75公里 、车站42座，创历年之最。三条新线路的开通，让武汉实现了轨道交通在全市区全覆盖，地铁通车里程达到 435 公里，已经“超越”深圳，跃升至全国前五，位于中部第一、全球前十。 随着我国“交通强国”战略目标的持续推
2022年2月21日，广西壮族自治区公安厅发布《广西公安大数据智能化一期建设项目云计算平台采购》的公开招标公告，预算 74503000 元。 质疑答复书 2022年3月14日发布质疑答复书桂政采函〔2022〕35号，详细内容如下。 质 疑 人：广州市普博信息科技有限公司 质疑人于2022年3月3日向本中心递交《质疑函》，对广西公安大数据智能化一期建设项目云计算平台采购（GXZC2022-G1-000095-CGZX）的采购文件提出质疑。 质疑事项1：招标文件第二章招标项目采购需求的“用户域云计算平台PaaS
机器之心原创 作者：蛋酱 930 变革两年后，被寄予厚望的腾讯云在 To B 这张考卷上都写了什么？ 从「深圳市腾讯计算机系统有限公司」注册成立，到成为服务用户最多的中国互联网企业之一，腾讯经历了互联网发展的黄金二十年。拥有众多国民级应用、十多亿 C 端用户的同时，这家公司对于自身技术的披露却一向低调。 当然，事情也正在发生变化：两年前，腾讯宣布正式「拥抱」产业互联网，并进行了第三次组织架构调整，史称「930 变革」。这家科技巨头积淀多年的技术能力，终于越来越多地从幕后走到台前，被寄予厚望的腾讯云，成为腾
*本文原创作者：mcvoodoo，本文属FreeBuf原创奖励计划，转载请联系help@freebuf.com 随着大数据的发展，从银行到P2P再到保险、证券等，越来越多的金融企业开始建设自己的大数据平台。传统上对于数据的管理，金融界是有经验的。 但在当前以Hadoop为基础的大数据平台，接触数据的人更多，数据使用的更频繁，数据的内外交互实时，数据种类更复杂，对安全带来了更严峻的挑战。 从金融业态上来说，包括征信、消费金融、P2P、众筹、互联网银行、互联网保险等金融企业，都会需要大数据平台来支撑业务需要。
9月25日，工业和信息化部信息化和软件服务业司将“2018年大数据产业发展试点示范项目名单”进行公示。
2003年至今淘宝网从零开始飞速发展，走过了13个年头，支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台，淘宝大数据平台，就是其中非常重要的一个组成部分，承担了数据采集、加工处理、数据应用的职责，淘
编者注：说到电商大数据，人们首先会想到淘宝。其实京东是淘宝之外的另一种模式，京东的数据质量并不比淘宝差多少。交易的量级虽然不大，但是趋势会很大，而且数据价值的纵深很大。本文是对电商的运营型大数据平
数据猿导读 大数据产品技术及解决方案的创新比较清晰，开源技术基础上的创新和服务是主要方向，但围绕着数据本身的新商业模式还在探索过程中。2017年，基于数据融合和外在价值的创新模式会诞生新的商业模式。
东方金信CEO王伟哲：金融大数据将推进全社会的诚信建设
对于离线场景，最典型的就是数据仓库。它和传统的数仓不太一样。因为传统数仓它只能解决中小规模的数据存储与分析问题。大数据这一块要能承接海量的数据。
在企业的数字化转型中，大数据已成为支撑经营和业绩增长的主要手段之一。通过升级云原生架构，可以为大数据在弹性、多租户、敏捷开发、降本增效、安全合规、容灾和资源调度等方向上带来优势。如何让云原生大数据在企业中发挥最大效用，也是许多技术伙伴关注的事情。 在 3 月 17 日和 18 日，ArchSummit 全球架构师峰会（北京站）即将落地北京，我们策划了【云原生大数据实践】，邀请了字节跳动火山引擎云原生计算技术负责人李亚坤，担任专题出品人。在筛选了十几个议题之后，我们确定了本专题的四场分享，分别如下： 首先，我
随着云平台、容器等技术的不断成熟，云原生大数据解决了传统大数据平台建设和运维中的繁琐，使即时可得，按需分配的高效大数据开发平台成为可能。 云原生的到来不止为大数据部署和交付带来了变革，它更是帮助大数据连接了一个生态。利用云原生生态，真正做到了为大数据赋予云的能力，使得大数据可以“生长在云端”。 【腾讯云原生】收集了关于大数据云原生系列干货文8篇，帮助你更好了解”大数据云原生“，一定要收藏哦！ 技术原理 Apache Flink on K8s：四种运行模式，我该选择哪种？ 本文根据 Flink 在 Kuber
4月21日~23日，由IEEE, 浙江大学主办，深圳国家基因库(CNGB) 等单位协办的第11届生物信息学与计算生物学国际会议（ICBCB2023）在杭州顺利举行。国家基因库生命大数据平台（CNGBdb）亮相ICBCB2023大会特邀报告，获得生物信息与计算生物学领域研究人员的广泛关注。
【案例】国美金控：让消费金融可视更可靠
从“最多跑一次”到“一次不用跑”，随着智慧政务建设的不断深入，政务服务能力和现代化治理水平不断提升。而这背后，实现跨部门事项联办、数据信息互通，加快推进部门间信息共享和业务协同，“流程改造+数据共享”可谓功不可没。
9月11日，在2020腾讯全球数字生态大会上，腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。 腾讯云副总裁 刘煜宏 「 算力资源池达500万核，日实时计算量超40万亿」 基于多年在数字化方面的积累，腾讯云正在把腾讯多年来的能力沉淀对外开放。除了云计算、大数据、AI、安全、LBS、区块链等基础技术服务，以及支付、小程
👆点击“博文视点Broadview”，获取更多书讯 最近有不少小伙伴在问有没有架构类的书单，博文菌收到了大家的需要，这就安排上！ 俗话说：不想当架构师的程序员不是好程序员。成为架构师几乎是每位开发者入行初期的共同理想。 如何站在架构的视角去看代码世界，如何依托企业业务需求搭建可高用架构，云端架构的设计原则有哪些…… 本期书单为你带来今年出版的10本架构类好书，希望能够帮你建立架构思维，解开架构谜团！ ---- 01 ▊《业务架构・应用架构・数据架构实战（第2版）》 温昱 著 国内知名架构专家创新
2020年9月11日，在2020腾讯全球数字生态大会上，腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。
七月新书到，龙吟伴虎啸 用一波新书更新下你的读书清单吧 1 《集成学习：基础与算法》 2 《Visual Studio Code 权威指南》 3 《JavaScript语言精髓与编程实践（第3版）》 4 《语音识别：原理与应用（全彩）》 5 《大数据平台架构与原型实现：数据中台建设实战》 6 《Go语言编程之旅：一起用Go做项目》 7 《Android Jetpack应用指南》 8 《高效自动化测试平台：设计与开发实战》 9 《Python预测之美：数据分析与算法实战（双色）》 10
作者：郁亮 如何研究房地产市场？归根结底需要解决的问题无非是地、房、人三大内容。 然而，传统的研究方法却耗时耗力 看不全的土地——总会遗忘疏漏 想不尽的产品——依旧经验为先 读不透的客户——往往以偏概
数据猿导读 在金融服务业开放政策和云计算、大数据技术双重推动下，互联网金融领域的跨界融合正在成为一种趋势。但在互联网金融与普惠金融业务中存在的风险不可小觑，需要借助大数据手段进行智能营销和风控。 本篇
海致BDP进军教育市场，与恒企教育合作打造O2O教育新模式；九次方大数据与韩国The IMC集团达成战略合作，将共建舆情大数据平台；Teradata发布物联网分析加速器，将物联网数据转化为洞察信息……
近期，由上海万科与多家高校及城市数据团合作搭建的专属于万科的大数据分析平台正式上线了。这是万科在推动房地产行业的大数据化、引领地产行业转型潮流上踏出的重要一步。
最近阅读的这篇文章中https://zhuanlan.zhihu.com/p/46853969提到了一个观点
气象情况、土壤信息、收割机工作进度……所有的数据都在你面前的屏幕上展开，而你只需要点点鼠标就可以完成整个农场的管理。模拟农场游戏让人们坐在家里也能体会一把种田的快乐。
阿里江湖中，很多资源和技术，如神龙服务器、OceanBase、POLARDB等等，在开源、自研、云这三架马车上形成协同效应，既是内功也是武器。
数据猿导读 我国将联合“一带一路”沿线国家共建地球大数据平台；人脸识别云计算平台Face++获1亿美元融资；投融资服务平台“e融所”发布最新风控产品“太乙大数据”……以下为您奉上更多大数据热点事件 来
从大数据开发的工作内容来看大数据开发主要负责大数据的大数据挖掘，数据清洗的发展，数据建模工作。
近期，由于关于阿里打算“拆”中台的文章爆火，各家企业对中台的看法出现了反对的声音。 前几天，我们也在文章中探讨了阿里是否真的要拆中台，结论是，不是拆台，是变”薄“。 昨天，我们发布的一篇文章中提到“之所以感觉中台建设并没有达到预期的效果，是因为我们在企业内部建设的实际是“伪中台”。 今天，为了帮助大家真正地读懂中台，认识中台，告别“伪中台”，博文菌特地挑选了6本中台系列的图书，供大家参考哦！ ---- 01 ▊《大数据平台架构与原型实现：数据中台建设实战》 耿立超 著 数据中台建设工程实战
数据猿导读 恒丰银行探索采用大数据技术构建统一的企业级数据管理平台，重构数据仓库应用，减少数据重复加工与存储，促进信息管理应用的数据融合共享，提高数据处理总体效率，提升数据分析和应用创新能力，正逐步取得预期的成效。 📷 本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联网普惠金融研究院合办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟协
企业要开展大数据相关业务，首先就需要基于自身的需求，来设计搭建数据系统平台。而大数据系统平台的搭建，需要基于实际需求，来进行系统架构规划。今天我们就从大数据平台开发的角度，来对大数据系统架构模块做一个简单的介绍。
对于大数据给企业带来的价值，已经毋庸置疑。在国内，银行业应该是IT建设更为领先的行业之一。特别中、农、工、建四大银行，更是走在整个银行业的前面。那么，他们对于大数据是如何看待的?在这四大银行，大数据的
中国建设银行信息技术管理部资深经理林磊明 ▼ ▼ 1、银行压力越来越大 从十二五走到十三五期间，银行业面临的各方面的压力越来越大，从我们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。在这样
Spark应用中，Shuffle服务的可靠性和性能直接影响了Spark应用的执行效率，来自Facebook的Brian Cho与Dmitry Borovsky在今年4月份旧金山举行的Spark AI峰会上，分享了他们为Spark/Hive Shuffle优化做的工作，这些工作中的很大部分已经应用于Facebook的大数据平台生产环境，对于超大规模的Spark数据处理优化，有一定的参考借鉴价值。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
