近日，由金科创新社主办，全球金融专业人士协会支持的“2023鑫智奖·第五届金融数据智能优秀解决方案评选”榜单正式发布。腾讯安全申报的“SOC+基于新一代安全日志大数据平台架构的高级威胁安全治理解决方案”获评“鑫智奖·网络信息安全创新优秀解决方案”。
大数据技术最新发展趋势将走向何方？大数据云原生化将面临哪些挑战？又有怎样的解决之道？腾讯、英特尔、bilibili、作业帮、Alluxio 等厂商正在战略加码哪些前沿技术领域？所有这些问题，您将在 8 月 19 日举办的腾讯云大数据峰会暨 Techo TVP 开发者峰会上找到答案。 届时，腾讯云还将重磅发布全新一代大数据产品矩阵和品牌愿景，并全面分享腾讯云在云原生、数据治理、国产化等方面的最佳实践。 国内大数据领域权威专家包括中国信通院大数据与区块链部副主任 腾讯云 TVP 姜春宇、英特尔大数据技术全球
大数据技术最新发展趋势将走向何方？大数据云原生化将面临哪些挑战？又有怎样的解决之道？腾讯、英特尔、bilibili、作业帮、Alluxio等厂商正在战略加码哪些前沿技术领域？所有这些问题，您将在8月19日举办的腾讯云大数据峰会上找到答案。 届时，腾讯云还将重磅发布全新一代大数据产品矩阵和品牌愿景，并全面分享腾讯云在云原生、数据治理、国产化等方面的最佳实践。 国内大数据领域权威专家包括中国信通院大数据与区块链部副主任、腾讯云TVP姜春宇、英特尔大数据技术全球CTO、腾讯云TVP戴金权、bilibili OL
本文首先介绍了大数据架构平台的组件架构，让读者了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点，最后是专家眼里大数据平台架构的发展趋势。
目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的
👆点击“博文视点Broadview”，获取更多书讯 最近有不少小伙伴在问有没有架构类的书单，博文菌收到了大家的需要，这就安排上！ 俗话说：不想当架构师的程序员不是好程序员。成为架构师几乎是每位开发者入行初期的共同理想。 如何站在架构的视角去看代码世界，如何依托企业业务需求搭建可高用架构，云端架构的设计原则有哪些…… 本期书单为你带来今年出版的10本架构类好书，希望能够帮你建立架构思维，解开架构谜团！ ---- 01 ▊《业务架构・应用架构・数据架构实战（第2版）》 温昱 著 国内知名架构专家创新
参加活动赢取话费和一个月免费会员 点击底部阅读原文，参加PPV课玩转可视化图表，赢取话费和PPV课一个月免费会员，精品课程免费看！ 目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase
近日，工信部指导下的数据中心联盟公布第五批大数据产品评测结果，通过评测的产品包括16家大数据供应商的17款大数据产品，覆盖一线云厂商和传统大数据平台供应商。腾讯云大数据平台在SQL、NoSQL和机器学习三方面取得优异成绩，其中NoSQL测试成绩在17款产品中排名第2名。腾讯云大数据平台源自亿万级数据资产，在数据接入、数据处理、数据存储、数据分析等方面积累了丰富的实战经验。
Twitter是最早一批推进数字化运营的硅谷企业之一，其公司运营和产品迭代的很多功能是由其底层的大数据平台提供的。图7-2所示为Twitter大数据平台的基本示意图。
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。
内容来源：2017 年 7 月 29 日，青云资深产品经理李威在“大数据与人工智能大会”进行《云端大数据平台最佳实践》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：3289 | 9分钟阅读 摘要 很多企业在做大数据平台或大数据方案的时候，常常不知道该选用哪些产品来满足自己的需求。本次分享将从青云的云平台架构出发，探讨大数据平台的实践以及思考。 嘉宾演讲视频及PPT回顾：http://suo.im/4A4Y7h 云平台架构 青云提供了完整的
大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。
近年来，因数据衍生、关联、发展起来的技术层出不穷，我们不断探索数据从资源转化为资产的方法，又面临在数据共享和互通中引发的安全隐患；我们迫切希望进行企业核心数据库的开源化、国产化替换，又碍于“恐龙级”老旧系统的历史遗留问题而难以开展；同时，我们还需要持续跟进如AIOps、DataOps、混沌工程等新兴技术理念，制定适合自身企业的落地方案…… 为了和大家一起攻克这些疑难，第七届DAMS中国数据智能管理峰会将于2021年8月27日在上海举办，携手中国信通院云大所、阿里、腾讯、蚂蚁集团、美团、携程、快手、工商银行
本文作者 耿立超，架构师，14年IT系统开发和架构设计经验，CSDN博客专家，著有《大数据平台架构与原型实现：数据中台建设实战》一书。 原文链接： https://laurence.blog.csdn.net/article/details/106851739 故事缘起 我们需要工程原型！ 从2008年Hadoop成为Apache的顶级项目开始，大数据技术迎来了十多年的持续发展，其间随着Spark的异军突起，整个大数据生态圈又经历了一次“装备升级”，变得更加完善和强大。 今天，很多企业已经完成了早期对大数据
不可否认，大数据在这些年的发展当中，实现大数据处理的核心技术，始终是分布式。基于分布式技术架构，有分布式存储、分布式计算等相应的技术框架组件，形成了完善的技术生态，为大数据处理需求任务提供相应的解决方案。今天我们就从大数据平台架构的角度，来聊聊分布式技术架构。
我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文是演讲内容的第一部分。 大数据平台是一个整体的生态系统，内容涵盖非常丰富，涉及到大数据处理过程的诸多技术。在这些技术中，除了一些最基础的平台框架之外，针对不同的需求场景，也有不同的技术选择。这其中，显然有共性与差异性的特征。若从整个开发生命周期的角
大数据已深入到企业经营的方方面面，数字化管理已不仅仅是传统的报表，更深入到具体的业务核心流程中，数据平台的稳定性、数据质量问题将直接影响到企业的正常经营，业务对数据的依赖也越来越高，更低的使用成本、更高的计算性能、更快的数据时效等一直都是大数据平台技术架构升级与优化的目标。 近年来，云原生、资源弹性伸缩、数据实时化、湖仓一体、流批一体等新兴技术术语时常出现，但这些技术如何落地、后续演进方向如何、给业务带来的价值几何等很多人都不清楚。 在 4 月 21-22 日上海举办的 ArchSummit 架构师峰会上，
4月20日，京东大数据来到了北京大学光华管理学院，这次由京东大数据部平台运营管理负责人葛胜利老师给北大光华管理学院的师生们带来主题为“电子商务大数据平台技术架构与产品架构”的专题讲座，为大家讲述京东大数据平台如何在短短几年的时间里突破技术难关，实现产品创新，建设高效、安全、稳定的大数据平台，并以数据支撑京东的快速发展。 讲座中，葛胜利从京东大数据平台的“使命、架构、产品、运营”四大方面出发，全面的剖析了其中的奥秘。 在讲到平台使命时，胜利总提到，大数据平台在京东集团中的战略地位很重要，因为京东的公司运营是由
一直以来，大数据和云计算就好比是马车上的两个轮子，架着海量信息朝着安全与智能化的目标前进。如今，腾讯大数据平台已经成立十三年，数据计算量日均可达到百万亿级，如此庞大的数据计算下，技术平台架构的重要性也是不言而喻。 无论是由自研到开源的一站式海量数据集成框架—Apche Inlong、还是通用的分布式shuffle服务—Firestorm 0.2.0，亦或是大数据计算底座语言模型—腾讯SuperSql等，这些产品都见证了腾讯大数据这些年在自研之路上的成长与发展，也获得了行业内外的关注与支持。 3月7日19点，
IAS2020 最后 倒计时 还有 3 天 12月26日，本周六，正值年末岁尾 让我们送走不易的2020，架构 全新的未来！ IAS 全体嘉宾 ﹀ ﹀ IAS 详细议程 ﹀ ﹀ （截至12月16日，最新以网站为准） （*当日执行议程以网站最新为准） IAS 更多精彩 ﹀ ﹀ 除了精彩纷呈的演讲，大会现场还设有技术书展，百本书籍免费领，图书签售等环节，快扫描二维码访问大会网站，了解更多峰会信息！ ▼ ▣ > 往届精彩 < 大会荐读图书 《算法与数据中台：基于Google、Facebook与微
之所以叫传统大数据架构，是因为其定位是为了解决传统BI的问题，简单来说，数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。可以看到，其依然保留了ETL的动作，将数据经过ETL动作进入数据存储。
为适应数据应用需求，大数据平台架构持续演进，历经数据仓库、数据湖两个阶段。2020年，湖仓一体概念提出，湖仓一体架构因能实现数据资产统一管理、降低数据冗余、降低大数据平台架构运维复杂性，将成为大数据平台的主流架构。
近年来，因数据衍生、关联、发展起来的技术层出不穷，我们不断探索数据从资源转化为资产的方法，又面临在数据共享和互通中引发的安全隐患；我们迫切希望进行企业核心数据库的开源化、国产化替换，又碍于“恐龙级”老旧系统的历史遗留问题而难以开展；同时，我们还需要持续跟进如 AIOps、DataOps、混沌工程等新兴技术理念，制定适合自身企业的落地方案…… 为了和大家一起攻克这些疑难，第七届 DAMS 中国数据智能管理峰会将于 2021 年 8 月 27 日在上海举办，携手中国信通院云大所、阿里、腾讯、京东、百度、中国电
目前我们数据平台部共有200多人。整个数据平台是按照基础平台、核心应用、产品包装和质量监控的思路分为四部分： 数据中心，负责建设管理腾讯大数据基础平台; 精准推荐中心，负责研发落地以数据挖
编程语言：Python,Java,SQL,Scala. 无论后端选用哪种编程语言，SQL是必备。Python/Java/Scala最好是精通一门会两门。
国家 2035 远景规划提出要加快全面数字化转型的步伐，而“大数据平台”是数字化转型的基础技术之一。经过六年多的探索和实践，微众银行打造了一套在金融领域“自主可控”的开源大数据平台。对于任何企业来说，建立和维护一个大数据平台都不是一件容易的事情，而建设一个有特色的、完整易用的大数据平台，显然更是一件技术难度极高的事情。InfoQ 采访了微众银行 WeDataSphere 主创团队，希望他们的实践经验能给大家带来一些启发和思考。
新经济形势下，中国的金融科技公司估值规模正在逐步超过美国，领跑全球Fintech的发展。回归金融本源，强化合规安全，“互联网+”赋能实体经济，落实普惠金融理念，是2018年互联网金融行业发展的主旋律。
腾讯业务产品线众多，拥有海量的活跃用户，每天线上产生的数据超乎想象，必然会成为数据大户，为了保证公司各业务产品能够使用更丰富优质的数据服务，腾讯的大数据平台做了那些工作？具备哪些能力？记者采访到了腾讯数据平台总经理蒋杰先生，他将给大家揭秘腾讯的大数据平台！ 建设专业数据平台、持续提升处理能力、贴身满足业务需求、挖掘创造数据价值———蒋杰（腾讯大数据团队使命） CSDN： 首先还是请蒋总介绍一下自己和你的职业生涯。 蒋杰：我是蒋杰，目前是腾讯数据平台部的负责人。我的第一份工作其实并非在互联网行业，而是在传
4.掌握大数据分析在搜索引擎、广告服务推荐、电商数据分析、金融客户分析方面的应用。
移动互联时代大浪淘沙，「数据」亦主沉浮。各家公司在追逐产品不断完善的同时，也都在累积各自的用户数据反哺产品。而随着数据的不断累积庞大也容易带来一些难以用老旧方法解决的问题，这些问题驱使着企业的大数据体系迭代演进，也再次把「大数据技术」推向高潮。
image.png 大数据，这个词越来越热，很多人都在谈大数据，其实很多张口闭口大数据的人，或许都不知道数据是如何产生、传递、存储、运算到应用的。其实我一直感觉大数据这个东西有时候真的不是一般企业可以玩的溜的，特别是随着传统业务增长放缓，以及移动互联网时代的精细化运营，对于大数据分析和挖掘的重视程度高于以往任何时候，如何从大数据中获取高价值，已经成为大家关心的焦点问题。 腾讯业务产品线众多，拥有海量的活跃用户，每天线上产生的数据超乎想象，必然会成为数据大户，为了保证公司各业务产品能够使用更丰富优质的数据
市场上只有供应链而没有企业，21 世纪的竞争不是企业和企业之间的竞争，而是供应链和供应链之间的竞争。
引言 虎牙是中国第一家上市的游戏直播公司，旗下产品包括知名游戏直播平台虎牙直播、风靡东南亚和南美的游戏直播平台NimoTV等，产品覆盖PC、Web、移动三端。其中，游戏直播平台虎牙直播月活达1.5亿。 如何借助于海量业务数据将全平台的优质内容与终端用户更智能、高效地连接起来，为公司运营和业务发展提供更为有效的数据能力支撑，是虎牙大数据团队（下面简称虎牙）过去和未来一直需要深入思考和探索的重要使命。为了达成以上愿景，虎牙选择与腾讯云EMR团队合作，接入大数据云端解决方案。 本文将通过案例解读，带大家深入了
笔者在 2021 年底，曾应科技媒体 InfoQ 的邀请，总结了 2021 年的数据平台架构（详见：解读数据架构的 2021：大数据 1.0 体系基本建成，但头上仍有几朵乌云），提出了的 2021 年的 5 个热点、4 个趋势和 3 个挑战。在过去的两年，数据架构领域发生了很多重大变化（很多是拐点级变化），例如大模型技术突破、向量检索成为热点、半 / 非结构化类 Dark Data 开始被关注等等。作为数据平台从业者，笔者经常被问到“下一代数据平台发展趋势？”或者“AI 平台和数据平台是否应该一体”等问题。
日志是大数据平台重要数据来源之一，应用程序日志一方面记录各种程序执行状况，一方面记录用户的操作轨迹。Flume 是日志收集常用的工具。
2017年6月10-11日，SDCC 2017·深圳站http://bss.csdn.net/m/topic/sdcc_2017/shenzhen#register 火热开启，拥有互联网应用架构实战峰会、大数据技术实战峰会两大峰会，秉承干货实料的内容原则，邀请业内顶尖的架构师和数据技术专家，共话高可用/高并发/高性能的系统架构设计、分布式缓存服务、Web App前端架构、消息引擎架构、弹性计算、大数据平台构建、优化提升大数据平台的各项性能、Spark部署实践、企业流平台实践，以及实现应用大数据支持业务创新发
本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一，由 InfoQ 编辑部制作呈现，重点聚焦大数据领域在 2021 年的重要进展、动态，希望能帮助你准确把握 2021 年大数据领域的核心发展脉络，在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一，将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域，后续将聚合延展成专题、迷你书、直播周、合集页面，在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。
大数据技术已经被应用到各行各业，涉及人们生活的方方面面。大数据技术大大提高了数据存储和计算能力，从而为企业快速决策提供了数据支撑，能够助力企业改进业务流程、控制成本、提高产品质量，应用大数据技术为企业核心竞争力的提升打下了坚实的基础。
是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。
本文精选26个经典的工业互联网+人工智能案例，涉及的企业是业界主流一线企业，供大家参考学习。、
导语 | 云原生数据湖致力于扩大公有云市场总量：一方面以低成本优势推动客户上云，另一方面云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命，本文将为大家洞悉云原生数据湖的神秘面纱，并且首次推出腾讯云的云原生数据湖产品。文章作者：于华丽，腾讯TEG数据平台部研发工程师。 一、云上架构大数据平台的挑战和机遇 选择 Cloud 还是 Local 的诸多讨论和实践中，成本一直是绕不开的话题。“公有云太贵了，一年机器就够托管三五年了”，这基本上是刚开始接触公有云的企业，在进行了详细价格
7月31日至8月1日，由开放原子开源基金会与 Linux 基金会联合开源中国发起，被誉为“全球开发者开源技术盛会”的 GOTC 全球开源技术峰会在深圳顺利举办。
昨天（5月28号）由社科文献出版社初版的《大数据蓝皮书：中国大数据发展报告No.2》正式发布了。以“数化万物 智在融合”为主题的中国国际大数据产业博览会也京举行中。基本可以预见，在接下来的一段时期内关于大数据应用开发又将进入到一个新的阶段。
基于海量数据的存储与处理面临挑战，TB级到PB级； 行业技术标准的日益形成，Hadoop； 趋势：
量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性，但是目前中国对于个人方面的征信行业发展落后于欧美国家，个人消费金融的需求没有得到很好的满足。按照央行最新数据，目前央行征信中心的数据覆盖人口达到8亿人[1]，但其中有实际征信记录的只有3亿人左右，有5亿人在征信系统中只是一个身份证号码。此外，我国还有5亿人跟银行从来没有信贷交易关系，这5亿人对金融部门来说是陌生人。这样算下来
2017 年 12 月 22-23 日，由高可用架构技术社区和 msup 共同举办的 GIAC 全球互联网架构大会在上海光大会展中心举行。 本届全球互联网架构大会以“改变未来的互联网构建方式”为主题。分为经典架构、DevOps 、技术前沿、管理与效率、人工智能与机器学习5大技术方向； 包括未来的编程语言、系统设计与架构、微服务架构及 Serverless、中间件平台、容器、AI DevOps、数据库、大前端、Fintech、机器学习、人工智能、智能硬件、效率管理等 20 个技术专题； 史海峰、鸟哥、老师木、
人类实现了信息的存储，就像Time Machine一样，回到任意一个点，通过已有的数据重新构建过去的影像，也能够预测未来，模拟一个虚拟而准确的未来环境
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
