首页
学习
活动
专区
工具
TVP
发布

鹏华基金核心系统完成国产化升级,腾讯云大数据TBDS再拓应用新场景

其中,大数据TA处于IT架构的核心位置,主要用于客户的份额登记过户,是连接外部销售渠道、外部服务机构、资产端和财富端的重要一环,具有串联基金投资服务的核心业务价值。...而营销数据中心作为数据架构的基石,主要承担清洗、整合、沉淀公司数据资产职责,通过对外输出标准基础数据及指标,为精准营销分析、营销绩效跟踪、统一监管报送等业务场景赋能。...据了解,腾讯大数据处理套件TBDS是基于腾讯多年海量数据处理经验,对外提供的可靠、安全、易用的大数据处理平台。...为加快金融行业实现全面自主可控的脚步,TBDS能够从多维度支持平台的国产化需求:在性能层面,腾讯运营的TBDS整体集群规模超80000个节点,单集群可支持超大规模万节点;同时,TBDS已经全面支持国产化生态...目前,腾讯云大数据TBDS已持续为超1000家中大型客户构建国产化大数据方案。 腾讯TBDS现已在金融行业成功打造了多个突破性案例,在中金财富、中国银行、兴业银行等多家头部金融机构落地。

27020
您找到你想要的搜索结果了吗?
是的
没有找到

TBDS大数据集群迁移实践总结

背景 xx公司属于最早一批使用TBDS腾讯大数据处理平台)产品的老客户,从2016年开始将业务运行在TBDS。...目前客户使用的是早期TBDS版本,与最新release版本在系统总体架构、组件版本等方面相差过大。因为客户需求越来越多,现在使用的老版本大数据集群因为功能较少,导致部分需求无法满足客户新增需求。...1.TBDS简介 1.1架构简介 TBDS 是基于腾讯多年海量数据处理经验,对政企客户提供的可靠、安全、易用的大数据处理平台。...整个TBDS架构,上层主要是提供给用户使用的应用层,用户在上层通过页面进行用户管理,库表管理及全链路的应用开发。中间平台层主要提供各类大数据组件,供开发者运行各类大数据程序。...(4)腾讯云机房只允许腾讯云的设备进出机房,不能使用客户的硬盘拷贝数据然后带到腾讯云机房挂载上去。

3.6K70

我买一万元基金,谁来帮基金公司「算账」?

在经过一番严谨的POC测试后,腾讯大数据处理套件TBDS(Tencent Big Data Suite,TBDS)正式在鹏华基金大数据核心系统落地应用。...5月18日,腾讯云首期“开箱吧,腾讯云”也系统性介绍了大数据套件TBDS——TBDS是基于腾讯云大数据多年积淀与客户认知,提供安全可靠的湖仓融合方案与大数据全场景能力,集实时/离线场景高性能分析引擎、数据开发以及数据治理功能于一体...在国产化方面,TBDS能够从多维度支持平台的国产化需求,国产化不意味着牺牲性能和稳定性,在性能层面,腾讯运营的TBDS整体集群规模超80000个节点,单集群可支持超大规模万节点。...此外,TBDS已经全面支持国产化生态,涵盖了国产化芯片、操作系统、服务器等领域。目前,腾讯云大数据TBDS已持续为超1000家中大型客户构建国产化大数据方案。...腾讯云于金融行业的最佳实践之一,也是TBDS打动鹏华基金的重要因素。

13910

荣登2019中国“十佳大数据案例”,腾讯大数据再获国家认可

腾讯大数据处理套件(Tencent Big Data Suite,以下简称TBDSTBDS凭借过硬的产品实力,以及政府、金融、工业等领域大量的行业应用,从1706个案例中脱颖而出,荣登数博会2019“...什么是腾讯大数据处理套件TBDS?...TBDS是基于腾讯多年海量数据处理经验,集实时/离线场景高性能分析引擎、数据开发以及数据治理功能于一体的大数据平台,其核心包含TBDS大数据基础平台、多集群多租户管控平台,数据接入,数据开发,数据治理,...腾讯大数据处理套件TBDS的创新和核心优势 TBDS通过乐高架构,融合多个组件系统,构建开箱即用的大数据平台,提供拖拽式的可视化数据开发IDE及机器学习平台,可支持用户自定义功能,具有非常好的产品扩展性...此次TBDS入选“十佳大数据案例”,充分体现了政府和行业对腾讯大数据技术、产品、企业综合实力和行业影响力的高度肯定,给予我们极大的鼓舞和信心。

2.2K30

腾讯云大数据平台 TBDS全面升级,加速构建安全可控的大数据生态

8月22日,腾讯云大数据首届“智理无数,心中有数”伙伴交流会在深圳滨海大厦举办。本次会议主要围绕腾讯云大数据平台TBDS产品的全新升级,以及在渠道伙伴中的推广策略及应用实践展开。...腾讯云副总裁刘煜宏 此次升级,腾讯TBDS在三大核心引擎上更加注重底层自研能力提升,通过领先的自研技术和前沿的技术理念持续强化安全可控水平。...,腾讯云则会通过方案融合的方式提供包括领先底层产品、专业架构师等能力;而面对有Hadoop或大数据实施经验的合作伙伴,腾讯云还能提供专业的实施部署培训认证、标杆项目贴身孵化成长、认证服务合作伙伴内部推荐等多重增益...作为腾讯云大数据平台TBDS首个完成产品集成的合作伙伴,国泰新点生态合作部总经理殷利明先生介绍了腾讯TBDS产品给自身产品带来的技术性能提升和全链路开箱即用工具链的支持,快速赋能到国泰新点政务大数据项目的数据平台建设和项目落地...通过国泰新点跟腾讯云大数据TBDS的合作案例,也为其他伙伴深度合作开拓了新的思路和机会。

1.5K20

datax工具在TBDS上同步数据方法

因为datax工具本身无法传入认证参数,所以若想在TBDS上使用datax同步数据则需要关闭相应的服务认证。...此文以mysql同步至hive举例 1.首先关闭hdfs认证,在8088界面修改HDFS配置 hadoop.security.authentication tbds 改成simple 2.关闭hive认证....对于HDFS和HIVE的配置更改后,有些服务也是需要重启的,对关联的服务进行重启 image.png 6.服务重启后,使用hadoop命令测试是否不需要认证即可访问 7.下载datax工具,并解压到TBDS...mysqlreader", "parameter": { "column": ["id","username"], "connection": [ { "jdbcUrl": ["jdbc:mysql://tbds-x-x-x-x...type":"string"} {"name":"username","type":"string"} ], "compress": "",##为空则不压缩 "defaultFS": "hdfs://tbds-x-x-x-x

1.4K30

腾讯云大数据 TBDS 在私有化场景万节点集群的实践

腾讯云基础软件创新实践专场,来自腾讯云的 TBDS 大数据引擎研发负责人杨鹏程带来了主题为《腾讯云⼤数据 TBDS 在私有化场景万节点集群的实践》的演讲,以下为主要内容。...本次分享主要分为三个部分展开:第一部分是 Hadoop 体系下存算⼀体存在的问题;第二部分是 TBDS 存算分离架构和三层优化;第三部分是云原⽣环境下计算引擎优化和最佳实践,最后是对本次分享内容的总结。...TBDS 存算分离架构和三层优化 通过前面存算一体提出的问题以及存算分离的简单的介绍,我们从三个核心点设计和考虑我们的存算分离架构,主要是核心扩展性、海量存储计算速度和云原生。...上图是 TBDS 存算分离的大致架构图,主要是存算分离底座部分去掉了应用层,像数据管理、一站式数据开发、数据治理、数据报表分析及上层工具等。...我们的存储层主推腾讯自研并贡献给 Apache 社区的 Ozone 对象存储,Ozone 在文件的元数据架构上通过拆分以及 Raft 分布式的方案解决了 HDFS NameNode 元数据中央节点无法扩展的问

88120

金融核心系统迁移,腾讯云有何「解题思路」?

在4个月后,国内某大型基金公司做出重大决策,决心对大数据平台进行一场大手术,将在CDH大数据平台上的数据进行平滑迁移到腾讯TBDS 大数据平台。...据腾讯云高级大数据架构师杨文龙介绍,他们从4月开始与基金公司接洽、商讨,直到8月才开始正式进驻开干,而此时,留给他们完成 CDH 大数据平台的平滑迁移时间仅剩下半年。...杨文龙提到客户提需求时,明确要求希望迁移至腾讯TBDS 大数据平台后,计算效率能显著提升。...据了解,在迁移腾讯TBDS 大数据平台后,数据分析时长需要从原来6小时缩短到3小时内,营销同事在上班前就可拿到运营数据表,极大提升了营销同事工作效率。...据了解,在迁移腾讯TBDS 大数据平台后,数据分析时长需要从原来6小时缩短到3小时内,营销同事在上班前就可拿到运营数据表,极大提升了营销同事工作效率。

1.7K30

腾讯云认证FAQ | 专项技术认证、企业培训、考试售后等

以大数据专项技术认证为例,主要提供专有云交付运维工程师-腾讯TBDS认证和腾讯云大数据开发工程师认证。...专有云交付运维工程师-腾讯TBDS认证是针对大数据处理平台交付运维工程师、大数据系统管理员的技能认证。...通过该认证可有效验证你是否具备腾讯云大数据处理套件(TBDS)的部署规划能力、部署安装动手能力、运维实操能力以及基于TBDS完成大数据业务开发工作的能力。...如果你对大数据专项技术认证感兴趣,你可以选择专有云交付运维工程师-腾讯TBDS认证或腾讯云大数据开发工程师认证。 这两个认证学习的内容是不一样的,让我为你简要概述。...提供了三个职业发展方向培训课程,即云开发、云运维、云架构培训,每个职业方向包括工程师、高级工程师、专家工程师三个不同的等级。

31830

腾讯云大数据荣获“2022技术卓越奖”,深入其背后的原因

腾讯云大数据开源了社区顶级项目数据集成Inlong、机器学习Angel等八大项目,在Ceph、JDK、Ozone等项目上的贡献第一,以及在云原生数据湖架构、自适应智能计算、Angel PowerFL隐私计算框架...剖析腾讯云大数据的产品矩阵 腾讯云副总裁黄世飞在首届腾讯云大数据峰会暨Techo TVP开发者峰会上表示,“基于全新的技术架构、数据治理理念,以及产品能力,从底层的大数据基础引擎、中层的一站式大数据开发治理平台...腾讯大数据处理套件TBDS则是针对私有云场景,基于腾讯多年海量数据处理经验,整合腾讯内部大数据技术能力,将云端大数据产品能力完全复刻的,面向数据全生命周期的企业级大数据云平台。...该平台全面基于腾讯大数据套件TBDS,从编译环境搭建、部署适配、功能验证等多维度出发,深度满足用户的国产化需求,加快金融行业实现全面自主可控的进程,高效提升业务服务质量,为金融行业高质量发展打开新思路。...在电力行业,腾讯云大数据TBDS团队基于腾讯内部业务场景优化后的大数据组件,为南方电网提供性能优化参数。

59820

腾讯云认证FAQ | 专项技术认证、企业培训、考试售后等

以大数据专项技术认证为例,主要提供专有云交付运维工程师-腾讯TBDS认证和腾讯云大数据开发工程师认证。...专有云交付运维工程师-腾讯TBDS认证是针对大数据处理平台交付运维工程师、大数据系统管理员的技能认证。...通过该认证可有效验证你是否具备腾讯云大数据处理套件(TBDS)的部署规划能力、部署安装动手能力、运维实操能力以及基于TBDS完成大数据业务开发工作的能力。...如果你对大数据专项技术认证感兴趣,你可以选择专有云交付运维工程师-腾讯TBDS认证或腾讯云大数据开发工程师认证。 这两个认证学习的内容是不一样的,让我为你简要概述。...提供了三个职业发展方向培训课程,即云开发、云运维、云架构培训,每个职业方向包括工程师、高级工程师、专家工程师三个不同的等级。

39120

TBDS-Elasticsearch安全认证配置方法

Elasticsearch未授权访问漏洞 ES高版本已经支持x-pack认证,TBDS的ES版本是6.4.2,默认已经安装了x-pack,下面是配置方法。.../tmp/elasticsearch.yml.bak 3.修改配置文件开启认证 提供两种方法修改配置文件 (1)在ES节点直接修改配置文件,但是这种方法在TBDS集群不建议,若通过8088页面重启ES...节点修改ambari-server服务集成代码,该方法适用于TBDS集群 登录portal节点,修改/var/lib/tbds-server/resources/common-services/ES/7.6.2...服务 Tbds-server restart 4.配置证书及密钥 生成CA证书 [root@tbds-172-27-0-174 bin]# cd /usr/share/elasticsearch/ [root...@tbds-172-27-0-174 elasticsearch]# bin/elasticsearch-certutil ca ##生成证书,直接全部回车到最后 生成P12密钥 [root@tbds

2.7K80

腾讯云认证三大热门技术全览

01 腾讯云从业者认证腾讯云从业者认证是云计算行业从业者的初级技能认证,通过该认证,可有效验证你是否具备掌握云计算基础知识以及理解腾讯云基础产品的功能和使用场景的能力。...腾讯云音视频从业者认证考试内容:考完之后,你能收获到的能力:本认证适用于音视频产品经理、运营、售前咨询、商务销售、架构师等从业者, 以及音视频技术爱好者。...以大数据专项技术认证为例,主要提供专有云交付运维工程师-腾讯TBDS认证和腾讯云大数据开发工程师认证。...专有云交付运维工程师-腾讯TBDS认证是针对大数据处理平台交付运维工程师、大数据系统管理员的技能认证。...通过该认证可有效验证你是否具备腾讯云大数据处理套件(TBDS)的部署规划能力、部署安装动手能力、运维实操能力以及基于TBDS完成大数据业务开发工作的能力。

18210

腾讯云生态合作伙伴五月专属优质培训来袭!

产品方案强化营 快速获取产品及方案功能特性,需求场景,销售指南 线上直播 01.华东区核心伙伴产品精锐第三期(已结束) 云资源购买及配置历程 渠道架构师技术团队 直播时间:5月6日 16:30~17...:30 02.华东区核心伙伴产品精锐第四期 友商客户Win Back策略及打法 渠道架构师技术团队  直播时间:5月18日 16:30~17:30 03.后疫情时代企业办公复产专项培训第一讲(已结束)...00~17:00  课程简介:腾讯云大数据平台套件TBDS(Tencent Big Data Suite)是基于开源体系,融入腾讯内部海量数据处理先进实践,面向数据全生命周期,提供一站式的,满足政企级容灾和性能需要...扫描下方二维码报名课程 能力认证辅导营 快速get认证知识要点 线上直播 01.腾讯云大数据平台产品TBDS售前工程师认证(已结束)  直播时间:5月10日 16:00~18:00  课程简介:1...大数据平台组件以及TBDS平台功能与定位、竞争优势、客户案例等; 3. TBDS在各行业案例分析,渠道销售策略。

2.3K20

TBDS大数据套件对接cos对象存储系统配置化实现

腾讯大数据处理套件(Tencent Big Data Suite,TBDS)是一个可靠、安全、易用的大数据处理平台。...TBDS 提供了多种高性能分析引擎方便您应对实时流数据处理、离线批数据分析、实时多维分析等场景的海量数据分析挑战。...腾讯TBDS大数据处理套件除了可以对原生HDFS分布式文件系统中的数据文件做大批量离线数据分析外,还可以支持对腾讯cos对象系统中的数据文件进行直接访问并进行大批量离线数据分析。...本文将重点讲述腾讯TBDS套件如何与cos对象系统相结合,让cos对象存储系统充当TBDS中的sprak、hive等数据分析组件的底层文件系统,实现spark、hive访问cos对象系统像访问本地的HDFS.../436/6884 1.png 第二步:登录TBDS部署Portal Web的机器,/data/tools/目录下有一个tbds-bootstrap.sh的脚本工具,该工具可以用来向整个TBDS集群进行文件同步

2K20

腾讯云大数据平台TBDS获得分布式批处理平台万节点能力认证

6月28日,在“2022大数据产业峰会”上,腾讯云大数据平台TBDS以单集群1万节点的超大规模,成功通过信通院第14批产品能力测评,成为本批次唯一通过大规模能力认证的厂商,树立行业新标杆。...同时,腾讯云参与制定的多项标准在本次大会也正式发布。  ...据悉,腾讯大数据处理套件(Tencent Big Data Suite,TBDS)是腾讯基于多年海量数据处理经验,对企业客户提供的可靠、安全、易用的大数据处理平台,在数据存算、治理分析和应用方面,提供了完善的解决方案场景...此次评测中,除了超大规模的节点数量,在其它一些重要的性能指标上,腾讯云大数据平台TBDS也领先业界,以单集群为例,TBDS的存储能力超过300Pb;单表数据量超过30Pb,单表分区超过300万;单项目空间表超过...腾讯云大数据产品TBDS+Wedata,融合了数据集成、数据开发,以及数据地图、数据质量、数据安全等一系列数据开发治理能力,可以快速帮助企业在数据构建和应用大数据的过程中实现降本增效和数据价值的最大化。

1.6K20

离线同步方案

公司开源的ETL工具 Apache SeaTunnel:Apache SeaTunnel (原名 Waterdrop)是一个非常易于使用的超高性能分布式数据集成平台,支持实时流式和离线批处理的海量数据处理,架构于...不兼容 lSqoop2引入sqoop server,集中化管理connector lSqoop2多种访问方式:CLI,Web UI,REST API lSqoop2引入基于角色 的安全机制 3.1、 架构对比...lSqoop1架构: (1)、Importing Data 第一步,Sqoop从数据库中获取要导入的数据的元数据; 第二步,Sqoop提交map-only作业到Hadoop集群中; (2)Exporting...参考:https://blogs.apache.org/sqoop/entry/apache_sqoop_overview lSqoop2架构: 3.2、功能对比 Feature Sqoop1 Sqoop2...sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html lSqoop2:http://sqoop.apache.org/docs/1.99.7/user.html 5、腾讯

1.7K30

架构设计:腾讯架构在线制作

Freedgo Design 提供工具在线绘制腾讯架构图,该工具为您提供一组符号、图标和工具,只需点击几下鼠标即可创建腾讯架构图 , 并且可以将腾讯架构设计导出成图像(JPG,PNG,SVG 和PDF...从云计算,存储,网络,CDN,数据库,中间级,大数据套件,人工智能,物联网 以下是产品图标: [腾讯架构图] 云计算 [腾讯架构图] 数据库 [腾讯架构图] 大数据及区块链 [腾讯架构图] 物联网...、金融、游戏 [腾讯架构图] 域名与网站 [腾讯架构图] 中间件、量子 [腾讯架构图] 安全与存储 [腾讯架构图] 如何制作腾讯架构图?...AI视觉应用架构设计 [腾讯架构图] 下面列出了如何使用Freedgo Design制作轻松创建腾讯架构图的步骤。...进入制图页面后 点击 文件 -> 从类型中新建 -> 云架构 -> 腾讯云 [在线制图 腾讯架构图] 或者点击图例,在图例中找到 网络架构 -> 网络图,选择一个类似的图例进行改动 [在线制图 腾讯架构

11.6K42
领券