首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【案例】农业银行大数据平台项目——海量数据复杂运算处理

本篇案例为数据猿推出的大型“金融大数据主题策划”活动(查看详情)第一部分的系列案例/征文;感谢 南大通用 的投递 作为整体活动的第二部分,2017年6月29日,由数据猿主办,上海金融信息行业协会、互联网普惠金融研究院合办...南大通用GBase 8a MPP Cluster产品也发展成为国内企业大数据、数据仓库领域基础平台软件的领先产品。...2013年11月30日,数据仓库原型集群及资负、零售数据集市试运行(28节点MPP集群)。...2014年11月,数据仓库原型环境向生产环境(56节点MPP集群)的迁移与切换工作完成,迁移有效数据103T。 2014年12月,完成财会集市(16节点MPP集群)搭建。...关键技术2:MPP集群活架构示意图 通过运用GBase 8a MPP集群间同步工具识别主集群增量数据(以DC为单位),点对点传输至备集群,实现主备集群数据一致;同时结合大数据平台批量加工调度平台

7.5K100

腾讯11活动全解析

众所周知,腾讯云一直被大家称为良心云,而隔壁的套路云也已在举行11的活动,但套路太多,反观腾讯云要良心很多,也更直接,跟着我一起来看看吧。...[微信截图_20181030143257.png] 马上进入官方活动主会场 新用户一键领取2775元代金券 福利1:爆品秒杀 每日5场秒杀,分别于 9:00 / 11:00 / 14:00 / 16:00...福利3:升级续费大礼包 本次活动可一键领取升级券总计18张,共计6945元,升级券可用于服务升级。 本次活动可一键领取续费券总计18张,共计6090元,续费券可用于服务续费。...福利4:云安全,云视频专场 80%直播领军企业信赖之选,详情可进入活动页查看。...总结 腾讯云的活动总的来说比阿li云的活动要良心很多,不是一定要新用户才能购买,老用户同时可以参与,真是良心,不多说了,我也要去续费了,升级服务器了。

37.1K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    节福利活动「云+月圆奇妙夜」

    猜趣味灯谜,赢豪华礼品,节叠加,双倍快乐~ 活动一:(限前200位,注意手速!) 转发任意灯谜海报到朋友圈,祝福大家节快乐,点赞超过10个,赠送云+定制视频月卡1张 。...(本活动每人限参与1次,抱团评论或评论账号重复率过高将视为恶意刷奖,请遵守规则,愉快过节哦~) 活动二: 10月1日晚21:20-22:00,会发出15张灯谜海报,每个作者群内,每个灯谜的第1、第8...(现金红包每人限获奖一次,视频卡可以叠加;与活动二不冲突,可以重复参与。...,文明参赛,友好过节~) 幻灯片2.png 幻灯片3.png 幻灯片5.png 幻灯片6.png 幻灯片7.png 幻灯片8.png 幻灯片9.png 幻灯片10.png 幻灯片11.png 幻灯片12...,已退出自媒体分享计划或原创分享计划者不在获奖者之列哦; 3、如发现违规作弊行为,云+将回收奖品,后续福利活动一律拉黑处理。

    7.7K6933

    数据库架构比较

    虽然Oracle声称要解决在内存中使用Oracle12c组合OLTP和OLAP的挑战,但实际上,这是有限的中小型应用程序。...“通过大规模并行处理(MPP)设计,查询通常比在对称多处理(SMP)系统上构建的传统数据仓库快50倍”。-微软公司。...成本和高可用性:一些基于MPP数据仓库解决方案旨在在廉价的商用硬件上运行,而无需可能包含成本的企业级冗余组件。这些解决方案通常使用自动数据复制来提高系统弹性并确保高可用性。...在此期间,关于数据仓库是否已经死亡以及Hadoop是否会取代 MPP平台的讨论很多,尽管普遍的共识似乎表明Hadoop充其量只是数据仓库的补充技术; 不是它的替代品。 什么是Hadoop?...截至2018年9月,这包括150多个项目 ,其中包含12个用于SQL over Hadoop和17个数据库的独立工具。

    4K21

    活动】——旦“协旧迎新”,组队赢取好礼!

    活动海报_自定义px_2021-12-23+12_29_59.png 活动规则详解: 1....【组团期】提出的需求也会计算在内,只要是活动期间在用户之声(VOC平台)上提出的需求都会被统计 3....所有参与活动的小伙伴都需要登记UIN(腾讯云账号ID),之前在群内提交给工作人员的已无需再提交,如果从未提交过UIN的 小伙伴需要在活动期间及时找工作人员登记,否则需求不计数。 4....本次活动礼品采购周期较长,原则上活动结束后15个工作日左右发货,请获奖的小伙伴耐心等待。 5....想要参与活动的小伙伴可以扫描下方二维码添加好友,备注活动,就可以进群参与活动咯~ image.png

    5.4K402

    首次揭秘1112背后的云数据库技术!| Q推荐

    从 2009 年到 2021 年,从千万交易额到千亿交易额, 11 已经开展了 12 年。如今,每年的 11 以及一个月后的 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的 11 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部 12 队长朱成、阿里巴巴业务平台 11 队长徐培德、阿里巴巴数据库 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了 11 12 背后的数据库技术...体现在业务层面,消费者如今参加秒杀活动,无论是否是节的大促高峰期,瞬时就可以得到抢购结果的反馈,不需要等待。在数据库层面实现抢购公平,意味着秒杀活动已经是真正意义上的“拼手速”的事情。... 11 12 丰富的运营活动和千亿交易额背后,数据库层面是包括 RDS、PolarDB、Tair、ADB(ADB3.0) 以及 Lindorm 等数据库产品提供的组合技。

    31.8K50

    数仓变局:探析Teradata退出中国市场原因及影响

    于1997年进入中国市场,开始向中国市场提供数据仓库和分析解决方案。当时,中国的信息化建设正在起步,Teradata成为中国数据仓库市场的重要参与者。...2019年12月,Teradata公司官方发布的一份新闻稿中(现已删除),就宣布了停止在中国市场的市场营销和销售活动的消息,显然,Teradata退出中国其实早有端倪。...来自2022 Gartner Magic_Quadrant_for_Cloud DBMS Teradata核心是BYNET,其它MPP产品还需要Master或Namenode,比如:Greenplum超过...比如:索信达今年就帮助某国有大行将信用卡业务从原有的Teradata数据仓库替换为国产MPP数据库。...而少部分直接与客户接触的员工会再多留一段时间处理相关事宜,如:客户经理将会工作到9月,负责硬件维保的CS会工作到12月再离职。 同时,Teradata的退出势必会对中国数据仓库市场的竞争格局产生影响。

    67710

    数据仓库模型全景

    前面讲了数据仓库的价值、构建思路、实例,完成数据仓库的概念、逻辑、物理模型设计后,数仓的产品选型也是需要考虑的部分,根据数据存储量、查询效率、并发能力可以选用MPP数仓和基于Hadoop的分布式数仓等...一、MPP还是Hadoop 这里继续用之前用到的图讲解,数据仓库的特性是处理温数据和冷数据,面向业务分析提供偏于离线分析能力,因此一般选用Hadoop+MPP数仓结合的解决方法,Hive能够提供大批量历史数据的存储计算能力...,Hbase能够提供半结构化文档的快速检索能力,MPP能够提供强大高压缩比基础上的快速查询能力; 二、MPP数仓特性 在MPP解决方案中目前我已接触过的是vertica和GP,在teradata实习期间没有用到...td数仓; 数仓的特性是大批量的查询和索引,少量的改查工作,MPP (Massively Parallel Processing),即大规模并行处理数据库的一般特性: ① 列式存储意味着高压缩比、高IO.../slave模式,具备统一的查询入口(master),vertica是无中心架构,所有节点都提供查询服务,gbase是存储/管理中心架构; shared nothing 模式:x86机器构建计算/存储的高扩展集群

    1.2K20

    MPP技术的优势与严重缺陷

    MPP架构通常用于处理海量数据的应用程序,如数据仓库、商业智能和大数据分析。 MPP常见的发力场景是数据仓库。...在数据仓库中,MPP架构意味着数据库服务被部署在多个节点中,共同完成存储、分析计算任务。 常见的开源MPP数据仓库包括: 1. Apache HAWQ 2. Apache MADlib 3....它主要的优势在于: MPP数据仓库通常能够提供更高的性能和较低的查询延迟,可以在更短的时间内处理大量数据。 MPP数据仓库对于结构化数据的支持更加成熟,适用于需要对事务性数据进行复杂分析的场景。...MPP数据仓库通常拥有更完整、更可靠的数据管理和安全性能,可以保证数据的一致性和可靠性。...那么MPP的常见的缺陷就能推出: MPP数据仓库通常需要更多的硬件资源和投资,价格较高,不适合所有的企业规模和预算。 MPP数据仓库的部署和维护需要更专业的技术人员,技术门槛相对较高。

    56830

    【大数据100分】大数据架构及行业大数据应用(中级教程)

    在著名的甲骨文公司任职12年,是世界顶级的Oracle数据库专家。2010年获得中组部实施的国家“千人计划”荣誉(海外高层次人才引进计划),是国内基础软件行业唯一入选的数据库技术专家。...90年代初开始跟Oracle数据库打交道,回国之前在Oracle公司(法国)工作了12年,主要做数据库核心技术的支持、架构、咨询工作。...这类MPP产品可以有效支撑PB级别的结构化数据分析,这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析,目前最佳选择是MPP数据库。 ?...,每晚9点进行的线上活动。...〖大数据地平线〗以大数据执委会和中关村大数据产业联盟成员为依托,进行的走入企业现场调研活动。 〖大数据香山汇〗以“运动、分享、进步”为宗旨的爬山、PPT分享、研讨活动

    1.1K150

    自媒体作者评奖活动12月)&11月获奖名单

    自媒体作者评奖活动12月) 为鼓励参与腾讯云自媒体分享计划的作者产出更多优质内容,为自媒体计划注入更多的新鲜力量。腾讯云开发者社区将试运行自媒体作者月度评奖活动(以下简称活动)。...二、活动时间 2019.12.1-2019.12.31 ps.评奖内容每月更新,本规则为2019年12月的活动规则;此后每个月的奖项设置、具体奖品和活动规则可能会有所不同,请各位作者关注每个月的活动公告...---- 自媒体作者评奖活动(11月) 为鼓励参与腾讯云自媒体计划的作者产出更多优质内容,腾讯云开发者社区将试运行自媒体作者月度评奖活动(以下简称活动)。...二、活动时间 2019.11.1-2019.11.30 ps.评奖内容每月更新,本规则为2019年11月的活动规则;此后每个月的奖项设置、具体奖品和活动规则可能会有所不同,请各位作者关注每个月的活动公告...---- 自媒体作者评奖活动(10月、9月、8月)详情回顾

    5.1K2994

    Snova数仓简介

    Snova为您提供简单、快速、经济高效的PB级云端数据仓库解决方案。...借助于Snova,您可以在数分钟内创建拥有数百节点的企业级云端数据仓库,并高效的完成日常维护工作;也可以使用丰富的Postgre开源生态工具,实现对Snova中海量数据的即时查询分析、ETL处理及可视化探索...性能卓越 基于分布式大规模并行处理MPP框架,可线性扩展存储及计算能力。支持行列混合存储,可按业务需求选择最佳存储方案。查询引擎深度优化,查询效率数倍于传统数据仓库。...安全可靠 节点同步冗余,实现用户无感的故障转移和容灾备份。分布式部署,计算单元、服务器、机柜三重防护,提高重要数据基础设施保障。用户集群独立部署,支持VPC隔离,数据访问安全多重保障。...借助于Snova数据仓库,在金融、零售、互联网、游戏等多个领域,可方便地搭建用于经营分析决策、海量日志分析、用户行为实时洞察等场景的一套解决方案。

    1.8K20

    天津农商银行数据仓库Netezza替换项目:单一来源 GBase 8a MPP Cluster

    2021年8月17日,天津农商银行发布《数据仓库Netezza替换项目-国产化数据库软件项目》单一来源采购的公示: 拟采购内容:采购数据库集群系统 GBase 8a MPP Cluster软件 拟采购供应商名称...2021年8月10日,天津农商银行发布《数据仓库迁移项目》单一来源采购的公示: 拟采购内容:数据仓库迁移 拟采购供应商名称:中电金信软件有限公司 申请理由:我行数据仓库系统初期建设、后期维护、系统优化等...为保证系统架构、数据架构、模型设计、实施工艺等一致性,减少数据仓库迁移项目风险、时间投入,我行将与中电金信软件有限公司进行单一来源采购。

    89220

    数据仓库构建方法论和简单实践

    前面讲了数据仓库的价值、构建思路、实例,完成数据仓库的概念、逻辑、物理模型设计后,数仓的产品选型也是需要考虑的部分,根据数据存储量、查询效率、并发能力可以选用MPP数仓和基于Hadoop的分布式数仓等...一、MPP还是Hadoop 这里继续用之前用到的图讲解,数据仓库的特性是处理温数据和冷数据,面向业务分析提供偏于离线分析能力,因此一般选用Hadoop+MPP数仓结合的解决方法,Hive能够提供大批量历史数据的存储计算能力...,Hbase能够提供半结构化文档的快速检索能力,MPP能够提供强大高压缩比基础上的快速查询能力; 二、MPP数仓特性 在MPP解决方案中目前我已接触过的是vertica和GP,在teradata实习期间没有用到...td数仓; 数仓的特性是大批量的查询和索引,少量的改查工作,MPP (Massively Parallel Processing),即大规模并行处理数据库的一般特性: ① 列式存储意味着高压缩比、高IO.../slave模式,具备统一的查询入口(master),vertica是无中心架构,所有节点都提供查询服务,gbase是存储/管理中心架构; shared nothing 模式:x86机器构建计算/存储的高扩展集群

    72120

    腾讯云大数据发布数据生态战略,构建开源开放数仓生态

    2020年12月20日,在腾讯2020 Techo Park开发者大会大数据专场上,腾讯云大数据产品总经理聂晶对数据仓库近30年发展历程做出总结,并分享了他对目前行业的认知以及未来发展的判断。...聂晶介绍,作为一个开放的云厂商,腾讯云结合腾讯数据技术实践、开源技术组织和商业化技术合作伙伴能力,在云端提供了涵盖Hadoop、ES、MPP数仓在内的,丰富易用、开源开放的开箱即用数据基础设施和数据工具...随着30年的行业演进,小型机为代表的第一代单一传统关系数据库技术已经无法适应这个时代;因此,在技术领域持续涌现出了MPP数仓、SQL On Hadoop、ELK这样的优秀新兴技术,组成了第二代数仓技术的百花齐放时代...作为一个开放的云厂商,腾讯云结合腾讯数据技术实践、开源技术组织和商业化技术合作伙伴能力,在云端提供了涵盖Hadoop、ES、MPP数仓在内的,丰富易用、开源开放的开箱即用数据基础设施和数据工具,可以帮助企业快速构建安全...立即观看 Techo 大数据专场《开源开放 构建云上数仓生态》专题回放 ---- 关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

    1.7K20

    MPP DB技术分类

    随着数据量的增大,传统数据库如Oracle、MySQL、PostgreSQL等单实例模式将无法支撑大量数据的处理,数据仓库采用分布式技术成为自然的选择。...而在MPP服务器中,每个节点只访问本地内存,不存在异地内存访问的问题。 5.数据仓库的选择 哪种服务器更加适应数据仓库环境?这需要从数据仓库环境本身的负载特征入手。...众所周知,典型的数据仓库环境具有大量复杂的数据处理和综合分析,要求系统具有很高的I/O处理能力,并且存储系统需要提供足够的I/O带宽与之匹配。...显然,适应数据仓库环境的MPP服务器,其节点互联网络的I/O性能应该非常突出,这样才能充分发挥整个系统的性能。...6.MPP数据仓库架构分类 前面讲到MPP架构非常复杂,通常用到数据库系统来屏蔽节点间的负载平衡和调度的复杂性。

    3.4K60
    领券