现代商业竞争已经从渠道、资源向系统整体效率倾斜，而效率的竞争很大程度上来自于数据能力的支撑。 当我们从数据平台方的视角出发会发现演进路上存在着诸多挑战，比如： 1. 数据领域的生态非常庞大，针对不同场景在资源、数据规模、时效的权衡下会衍生出不同的架构和组件，以及随之带来的团队碎片化，设备资源的重复投入，数据一致性的焦虑，技术选型的困难和迁移的潜在风险； 2. 在伴随业务扩张的过程中，如何平滑而透明地解决伸缩性，用好自建以及混合多云资源；如何建设一站式多租户的数据工具链，在开发生产以及租户之间做好共享和隔离的
标题图来源：pexels 自治理念 一、趋势 在科幻电影中未来的太空飞船上往往有着人工智能角色，协助人类掌控飞船各方面的状况，或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远，汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中，其实也急迫需要这样一个类似大脑的角色，以腾讯大数据平台现阶段的情况为例，我们有着10万+机器的存算集群，上面每天运行千万级别的离在线任务，我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问
2023 年 8 月 28 日至 9 月 1 日，第49届VLDB国际会议将在加拿大温哥华举行。腾讯大数据平台大脑团队在Spark自动调优领域的研究成果入选了VLDB 2023，并受邀在大会上进行现场报告。 VLDB国际会议 (全称为International Conference on Very Large Data Bases）于1975年在美国的弗雷明汉马成立， 与另外两大数据库会议 SIGMOD、ICDE 构成了数据库领域的三大顶级会议，已成为数据库研究人员，供应商，参与者，应用开发者，以及用户一
导读 近年来大数据业务规模迅速增长，为大数据平台运营治理带来了新的挑战：海量大数据任务的治理，缺乏统一、标准的数据与评估模型和治理工具，难以支持对大数据任务执行效率、稳定性等进行持续优化。腾讯大数据平台摸索出数据+算法驱动的“平台自治”方案，对于万亿级大数据分析逐步实现“自动化运营”，以一站式的自诊断、自优化、自管理能力，大大降低大数据产品使用门槛。
导读 / Introduction 4月18日，在 “腾讯大数据高峰论坛”上，腾讯正式发布自研第四代数智融合计算平台“腾讯大数据-天工”，该平台以最新的“数据协同、技术互通、平台大脑”技术理念为基础，在确保数据安全这一重要前提下，真正实现万亿级数据分析无人“自动驾驶”，进而推动大数据和人工智能技术融合为一，引领全球大数据计算进入下一时代。 中国科学院院士梅宏、中国信息通信研究院云计算与大数据研究所副所长魏凯、埃森哲战略与咨询董事总经理袁虹、腾讯数据平台部总经理蒋杰、英特尔大数据首席工程师程从超、腾讯数
站长以前介绍过这个开源项目，最近又有人在问，索性挂在Dotnet9网站上，方便大家在线浏览，先声明，模板来自下面的仓库：
大数据技术栈的发展是一个不断演进的过程，从最初的数据仓库、商业智能，到分布式计算和实时计算，再到如今的人工智能，每一阶段的技术栈都有其独特的应用场景。
吴怡燃， 京东大数据平台高级技术专家，擅长大数据平台的资源管理与调度系统的开发与建设。目前专注于以万台分布式调度系统及深度学习平台的开发与建设。
十年演进，腾讯大数据第四代数智融合计算平台「天工」终于问世，它有什么过人之处？ 本文转载自：机器之心 作者：蛋酱 上世纪 80 年代，姚期智教授曾在一篇文章中提出了「百万富翁设想」：如果两个百万富翁在街头相遇，在出于隐私考虑不列举自己所有财产的前提下，他们如何比较出谁更富有？ 这是一个密码学领域的经典问题，即一组互不信任的参与方在保护隐私信息以及没有可信第三方的前提下如何进行协同计算。随着信息技术的快速发展和个性化服务的演进，用户个人信息的跨境、跨系统、跨生态圈交互日益频繁，随之产生的隐私信息保护短板效应
机器之心原创 作者：蛋酱 十年演进，腾讯大数据第四代数智融合计算平台「天工」终于问世，它有什么过人之处？ 上世纪 80 年代，姚期智教授曾在一篇文章中提出了「百万富翁设想」：如果两个百万富翁在街头相遇，在出于隐私考虑不列举自己所有财产的前提下，他们如何比较出谁更富有？ 这是一个密码学领域的经典问题，即一组互不信任的参与方在保护隐私信息以及没有可信第三方的前提下如何进行协同计算。随着信息技术的快速发展和个性化服务的演进，用户个人信息的跨境、跨系统、跨生态圈交互日益频繁，随之产生的隐私信息保护短板效应、隐私侵犯
百度糯米上线大数据产品“店铺统计”，解决餐饮商家的运营难题 在2016百度糯米餐饮生态峰会上，百度糯米宣布上线了大数据产品——“店铺统计”。据悉，该产品可通过大数据技术分析，在商家的店铺页上直观展现商
本篇内容将通过三个部分来介绍工商银行实时大数据平台建设历程及展望。 一、工行实时大数据平台建设历程 二、工行实时大数据平台建设思路 三、展望
一年一度的双十一又双叒叕来了，给技术人最好的礼物就是大促技术指南！ 而经过这些年的发展，大促早已不仅仅局限于电商行业，现在各行各业其实都会采用类似方式做运营活动，汽车界有 818，电商有 618 、11.11 等等，各种各样的大促场景，对包括数据库在内的基础软件提出了很多新挑战，同时也积累了诸多最佳实践。
但更让人意想不到的是，它现在打算让如此海量的数据分析、处理工作，进入“无人驾驶”状态。
一般我们在找工作时，会看到大数据开发、大数据分析、大数据运维这三个岗位，有时候我们对这三个岗位具体是做什么，还有些懵逼。作为一名数据库 SQL 优化器工程师，结合我过往的大数据经验，今天帮大家分析这三个岗位，具体哪个好，要看你从什么角度去看他。
<数据猿导读> 本周，大数据领域共发生6起投融资事件，涉及领域包括软件、物流、精准营销，融资金额千万到十亿元不等。以下为您奉上本周投融资事件 📷 一、Oracle（甲骨文）公司拟 5.32 亿美元收购数据分析公司 Opower 近日，Oracle（甲骨文）正式宣布将以以每股10.3美元的价格正式收购Opower公司，共计金额5.32亿美元。据悉，Opower是一家节能数据分析公司，成立于2007年。该公司主要通过对电力大数据的整合、分析，为用户提供实时服务，从而实现节能的目的。目前，Opo
本文节选自《基础软件之路 - 企业级实践及开源之路》一书，该书集结了中国几乎所有主流基础软件企业的实践案例，由 28 位知名专家共同编写，系统剖析了基础软件发展趋势、四大基础软件（数据库、操作系统、编程语言与中间件）的领域难题与行业实践以及开源战略、生态建设与人才培养。
2021年11月2日，茅台发布云平台服务采购项目招标公告，招标人为贵州茅台酒股份有限公司，项目总投资约 1 亿元。 项目概况：茅台云平台主要为茅台当前业务系统、大数据平台、营销服、产供销、酒库安消一体化、资产管理等平台系统以及未来茅台其它新业务系统提供统一的服务。 招标范围：设计、采购并建设云平台、统一运维运营平台软件、业务应用迁移、等保测评、驻场运维服务等一套完整的茅台云平台及配套服务。 服务期限 5 年。 投标人资格明确要求：投标人或其所投云平台厂商需具备Open Infrastructure Fou
摘要总结：近日，数据中心联盟组织的第五批大数据产品评测结果出炉，腾讯云大数据平台在多项评测中表现优异，获得多个奖项。腾讯云大数据资深架构师于涛在演讲中介绍了腾讯云大数据产品能力，并分享了腾讯云在大数据领域的实践经验和技术积累。
“大面积、炫酷动效、丰富色彩”，大屏易在观感上给人留下震撼印象，便于营造某些独特氛围、打造仪式感。
引言 虎牙是中国第一家上市的游戏直播公司，旗下产品包括知名游戏直播平台虎牙直播、风靡东南亚和南美的游戏直播平台NimoTV等，产品覆盖PC、Web、移动三端。其中，游戏直播平台虎牙直播月活达1.5亿。 如何借助于海量业务数据将全平台的优质内容与终端用户更智能、高效地连接起来，为公司运营和业务发展提供更为有效的数据能力支撑，是虎牙大数据团队（下面简称虎牙）过去和未来一直需要深入思考和探索的重要使命。为了达成以上愿景，虎牙选择与腾讯云EMR团队合作，接入大数据云端解决方案。 本文将通过案例解读，带大家深入了
虎牙是中国第一家上市的游戏直播公司，旗下产品包括知名游戏直播平台虎牙直播、风靡东南亚和南美的游戏直播平台NimoTV等，产品覆盖PC、Web、移动三端。其中，游戏直播平台虎牙直播月活达1.5亿。
当前，信息技术与经济社会的深度融合引发了大数据产业的迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和政府执政能力产生重要影响。运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。得数据者的天下的思潮更是在全球普及开来。
图片来自网络 作者简介：王竹欣，硕士，毕业于北京航空航天大学电子信息工程学院，现任职于中国信息通信研究院信息通信安全研究所，主要研究方向为网络安全、数据安全。陈湉，毕业于北京邮电大学计算机学院，硕士，现任中国信通院安全研究所数据安全研究部副主任，主要研究方向为大数据安全、个人信息保护。 随着大数据时代的到来，大数据技术为经济社会发展带来创新活力的同时，也使传统网络安全防护面临严重威胁与全新挑战。本文介绍了大数据技术及产业发展的有关背景，从数据安全、个人信息保护及大数据平台自身安全三个方面梳理大数据技术应
现在大数据这么火，各行各业想转行大数据，那么问题来了，该往哪方面发展，哪方面最适合自己？
2023年3月21日，腾讯大数据与机械工业出版社联合举办的“十年一剑·数擎未来”腾讯大数据技术分享会在北京举办，会上隆重发布《腾讯大数据构建之道》一书，本次会议由机械工业出版社九州云播平台直播，全网近30家媒体平台转播，累计观看超14万人次。 腾讯公司副总裁蒋杰和机械工业出版社副社长范兴国发来了视频致辞。腾讯云副总裁刘煜宏，中国信息研究通信院大数据与区块链部副主任（主持工作）姜春宇，中国开源推进联盟副秘书长谭中意，腾讯公司数据平台部数据中心总监罗韩梅，机械工业出版社华章分社计算机图书事业部经理杨福川出席了
煤老板和IT精英相遇，两个人想比比谁更富有，但都不愿告诉对方自己真正拥有多少财富，也不想让第三方掌握原始信息。何解？
日前由西安弈聪信息技术有限公司(简称:弈聪软件)自主开发的的“BDS大数据公共服务平台”通过中国版权保护中心审核并取得国家软件著作权登记证书。
9月25日，工业和信息化部信息化和软件服务业司将“2018年大数据产业发展试点示范项目名单”进行公示。
要实现高效的大数据机器学习，需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统面临诸多技术挑战。近年来，大数据浪潮的兴起，推动了大数据机器学习的迅猛发展，使大数据机器学习系统成为大数据领域的一个热点研究问题。介绍了国内外大数据机器学习系统的基本概念、基本研究问题、技术特征、系统分类以及典型系统；在此基础上，进一步介绍了本实验室研究设计的一个跨平台统一大数据机器学习系统——Octopus（大章鱼）。 关键词：大数据；机器学
2020 年，疫情的出现，不仅让人们正常的生活和工作状态经常被打断和改变，而且人类未来可能要学会与疫情常态化共存。疫情的出现也加速了国内企业的数字化进程，比如，企业原来的营销方式主要靠线下，但疫情的常态化迫使企业更多依赖数字化的方式。
<数据猿导读> 大麦网与AEG达成战略合作 打造先进信息大数据系统；网易金融与清华大学达成了战略合作，将在大数据风控等领域展开布局；思科公司发布数据中心分析平台——Analytics Data Center一体机……以下为您奉上更多大数据热点事件 📷 来源：数据猿 作者：abby 一、大麦网与AEG达成战略合作 打造先进信息大数据系统 在近日举行的上海梅赛德斯-奔驰文化中心发布会上，网络票务平台大麦网宣布与AEG达成战略合作，据了解，大麦网成立于2003年，是一家横跨娱乐、体育、
刚刚过去的11.11，京东创下了2044亿元的成交新纪录，电商历史由此翻开了崭新的一页。
数据猿导读 在2017年3月28-29日举办的“2017大数据产业峰会”上，中国信息通信研究院牵头开展了全国范围内的大数据和人工智能企业调查，经过数据采集、加工、整理以及大数据分析，逐步完成跨区域、跨
Oracle（甲骨文）公司拟 5.32 亿美元收购数据分析公司 Opower 近日，Oracle（甲骨文）正式宣布将以以每股10.3美元的价格正式收购Opower公司，共计金额5.32亿美元。据悉，O
大数据电商平台世界高铁网完成2000万融资，朗玛峰资本领投 世界高铁网创始人陈忠林透露，公司近日已完成2000万人民币A轮融资，朗玛峰资本领投，天使轮投资方丰厚资本及四川汇元跟投。据了解，世界高铁网是
针对电商平台上的作弊行为，阿里巴巴一直秉承着零容忍的态度，在虚假交易的识别防控以及处罚力度上没有最强只有更强。经过多年在全球最大的电商平台大数据上的沉淀和积累，阿里电商反作弊形成了一套监控预警、识别分析和处罚管控的多维度监管机制，特别是对虚假交易的数据监控和算法识别上应用了覆盖全链路大数据的实时分析处理能力以及大规模图搜索技术来鉴别作弊行为。
“数据猿年度重磅活动预告：2020年度金猿策划活动（金猿榜单发布+金猿奖杯颁发+2.0版产业图谱+落地颁奖大会）即将推出，敬请咨询期待！
作者 | 曾响铃 文 | 响铃说（xiangling0815） 又是一年618，然而618大促在国内的影响力、吸引力却在一年不如一年，现阶段许多“人造消费节”已经不太能继续打动消费者，与一片繁茂的过去相比，如今正走向烟消云散。电子商务增速最快的时代已经过去，但新零售的黄金时代还有冲突。 至于原因，是多样性的。一方面频繁的日间小促足以满足消费者需求，另一方消费者厌倦了互联网平台复杂的玩法机制。就意味着在单纯的价格竞争、渠道竞争之外，品牌方最需要思考的是如何外探更创新的营销场景。 当下“宅经济”赛道越发火爆
有赞致力于成为商家服务领域里最被信任的引领者，因为被信任，所有我们更需要为商家保驾护航，保障系统的稳定性。有赞从去年开始通过全链路压测，模拟大促真实流量，串联线上全部系统，让核心系统同时达到流量峰值：
大数据这个词语已经开始日渐的耳熟能详了，目前大数据“杀熟”也已经开始传得沸沸扬扬，这也就预示着，大数据已经全面的侵入了我们生活的方方面面，无论是从个体需求还是企业角度亦或者是从国家层面来说，大数据都已经有了不可估量的地位，那这是否就意味着大数据的时代已经全面来临？
<数据猿导读> 一亿元融资傍身，因果树推出人工智能投顾产品“图灵”；“VR界皮克斯”Baobab Studios获2500万美元融资，维港投资领投；商旅增值服务供应商“金色世纪”登陆新三板挂牌上市……
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
中国已到数字化革命阶段-苏州太牛！其他城市还在迷茫时候，苏州已成为大数据商业创新发源地城市。
本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一，由 InfoQ 编辑部制作呈现，重点聚焦大数据领域在 2021 年的重要进展、动态，希望能帮助你准确把握 2021 年大数据领域的核心发展脉络，在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一，将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域，后续将聚合延展成专题、迷你书、直播周、合集页面，在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。
4月20日，京东大数据来到了北京大学光华管理学院，这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座，为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关，实现产品创新，建设高效、安全、稳定的大数据平台，并以数据支撑京东的快速发展。 讲座中，葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发，全面的剖析了其中的奥秘。 在讲到平台使命时，胜利总提到，大数据平台在京东集团中的战略地位很重要，因为京东的公司运营是由
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
