学习
实践
活动
专区
工具
TVP
写文章

datax工具在TBDS上同步数据方法

因为datax工具本身无法传入认证参数,所以若想在TBDS上使用datax同步数据则需要关闭相应的服务认证。 此文以mysql同步至hive举例 1.首先关闭hdfs认证,在8088界面修改HDFS配置 hadoop.security.authentication tbds 改成simple 2.关闭hive认证 .对于HDFS和HIVE的配置更改后,有些服务也是需要重启的,对关联的服务进行重启 image.png 6.服务重启后,使用hadoop命令测试是否不需要认证即可访问 7.下载datax工具,并解压到TBDS mysqlreader", "parameter": { "column": ["id","username"], "connection": [ { "jdbcUrl": ["jdbc:mysql://tbds-x-x-x-x type":"string"} {"name":"username","type":"string"} ], "compress": "",##为空则不压缩 "defaultFS": "hdfs://tbds-x-x-x-x

85330
  • 广告
    关闭

    上云精选

    2核2G云服务器 每月9.33元起,个人开发者专属3年机 低至2.3折

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    TBDS-Elasticsearch安全认证配置方法

    Elasticsearch未授权访问漏洞 ES高版本已经支持x-pack认证,TBDS的ES版本是6.4.2,默认已经安装了x-pack,下面是配置方法。 /tmp/elasticsearch.yml.bak 3.修改配置文件开启认证 提供两种方法修改配置文件 (1)在ES节点直接修改配置文件,但是这种方法在TBDS集群不建议,若通过8088页面重启ES 节点修改ambari-server服务集成代码,该方法适用于TBDS集群 登录portal节点,修改/var/lib/tbds-server/resources/common-services/ES/7.6.2 服务 Tbds-server restart 4.配置证书及密钥 生成CA证书 [root@tbds-172-27-0-174 bin]# cd /usr/share/elasticsearch/ [root @tbds-172-27-0-174 elasticsearch]# bin/elasticsearch-certutil ca ##生成证书,直接全部回车到最后 生成P12密钥 [root@tbds

    1.9K80

    TBDS大数据集群使用虚拟机的风险

    TBDS产品在同等配置物理机与虚拟机实际的性能测试对比表明,虚拟机整体性能较物理机下降约40%左右; 2、虚拟机集群计算能力极大地降低。 TBDS采用分布式计算框架,需要通过大数据集群的多个主机分担执行同一个计算任务,主机的CPU、内存和磁盘I/O能力越强则处理性能就越快。 TBDS提升性能的关键是尽量利用各自主机的本地计算资源和本地硬盘资源进行分布式计算,避免各主机之间进行大量的数据重分布,采用物理机数据分布可控,SQL执行、优化可控,如果采用虚拟机,数据分布无法保障和物理机一致的分布 TBDS在物理机部署的情况下,主副本分布在不同的物理机上,从而保障一台物理机宕机的情况下,在其它物理机上有可用副本,而使用虚拟机方式部署副本,可能部分数据的主、副本会在同一个物理机上,这样就失去主副本高可用的作用 结束语 大数据对计算能力、存储资源、可扩展性都要求很高,单台物理服务器的CPU、内存和存储资源不足以支撑TBDS对数据存储容量和计算效率的要求,要求把多台服务器构建统一的集群进行分布式存储和计算,即N:

    1K40

    使用mirrormaker工具同步CDH-kafka数据到TBDS-kafka

    把CDH集群的kafka数据同步到TBDS的kafka集群做测试,可以使用自带的mirrormaker工具同步 mirrormaker的原理可以网上查看,详细的命令参考https://my.oschina.net /guol/blog/828487,使用方式相当于先消费CDH的数据,然后再生产到TBDS集群中。 mirrormake到配置及命令启动都在目标集群上,所以下面的操作都在TBDS集群上 1.因为TBDS kafka有开启认证,所以mirromaker指定的生产者配置文件--producer.config   target.producer.configure需要加入认证,同时连接的端口使用6668(TBDS kafka认证方式有两种,社区的开源认证方式为6668端口,TBDS自研认证使用6667端口), 我们使用社区的开源认证方式访问 bootstrap.servers=172.0.x.x:6668,172.0.x.x:6668,172.0.x.x:6668 ##TBDS的kafka broker地址

    52630

    腾讯云大数据 TBDS 在私有化场景万节点集群的实践

    在 腾讯云基础软件创新实践专场,来自腾讯云的 TBDS 大数据引擎研发负责人杨鹏程带来了主题为《腾讯云⼤数据 TBDS 在私有化场景万节点集群的实践》的演讲,以下为主要内容。 本次分享主要分为三个部分展开:第一部分是 Hadoop 体系下存算⼀体存在的问题;第二部分是 TBDS 存算分离架构和三层优化;第三部分是云原⽣环境下计算引擎优化和最佳实践,最后是对本次分享内容的总结。 TBDS 是基于 Router 的联邦方式,解决了 HDFS 的多集群数据孤岛问题,让集群之间的存储能够互通,当然我们也在 Router 上做了很多新的功能以及性能上的优化。 TBDS 存算分离架构和三层优化 通过前面存算一体提出的问题以及存算分离的简单的介绍,我们从三个核心点设计和考虑我们的存算分离架构,主要是核心扩展性、海量存储计算速度和云原生。 上图是 TBDS 存算分离的大致架构图,主要是存算分离底座部分去掉了应用层,像数据管理、一站式数据开发、数据治理、数据报表分析及上层工具等。

    7420

    TBDS大数据套件对接cos对象存储系统配置化实现

    腾讯大数据处理套件(Tencent Big Data Suite,TBDS)是一个可靠、安全、易用的大数据处理平台。 TBDS 提供了多种高性能分析引擎方便您应对实时流数据处理、离线批数据分析、实时多维分析等场景的海量数据分析挑战。 腾讯TBDS大数据处理套件除了可以对原生HDFS分布式文件系统中的数据文件做大批量离线数据分析外,还可以支持对腾讯cos对象系统中的数据文件进行直接访问并进行大批量离线数据分析。 本文将重点讲述腾讯TBDS套件如何与cos对象系统相结合,让cos对象存储系统充当TBDS中的sprak、hive等数据分析组件的底层文件系统,实现spark、hive访问cos对象系统像访问本地的HDFS /436/6884 1.png 第二步:登录TBDS部署Portal Web的机器,/data/tools/目录下有一个tbds-bootstrap.sh的脚本工具,该工具可以用来向整个TBDS集群进行文件同步

    1.5K20

    TBDS部署sqoop组件及抽取数据至hive的使用方法

    导语:本身TBDS平台不提供sqoop组件,若用户想在TBDS平台上使用sqoop抽取外部数据导入至TBDS平台,需要单独部署sqoop组件。 一、TBDS安装sqoop组件 1.首先下载sqoop安装包 链接:https://share.weiyun.com/5zgpbZi 密码:danme3 2.从TBDS集群中选择一台机器安装sqoop工具 rpm -ivh sqoop-xxx.rpm 3.把/etc/sqoop/conf/下的sqoop-env-templete.sh复制一个sqoop-env.sh,将脚本里面的hadoop及mr路径改为TBDS 2041/hadoop/,按照截图配置参数 image.png 4.配置完毕以后即可使用sqoop命令 注:若其他节点也想使用sqoop命令,则按照相同步骤操作配置即可 二、sqoop抽取外部数据导入TBDS 的hive表 因为访问TBDS的hive表必须要认证才能访问,所以与开源导入的方法稍有不同,需要先做认证配置才能使用。

    1.4K60

    荣登2019中国“十佳大数据案例”,腾讯大数据再获国家认可

    腾讯大数据处理套件(Tencent Big Data Suite,以下简称TBDSTBDS凭借过硬的产品实力,以及政府、金融、工业等领域大量的行业应用,从1706个案例中脱颖而出,荣登数博会2019“ 什么是腾讯大数据处理套件TBDSTBDS是基于腾讯多年海量数据处理经验,集实时/离线场景高性能分析引擎、数据开发以及数据治理功能于一体的大数据平台,其核心包含TBDS大数据基础平台、多集群多租户管控平台,数据接入,数据开发,数据治理, 腾讯大数据处理套件TBDS的创新和核心优势 TBDS通过乐高架构,融合多个组件系统,构建开箱即用的大数据平台,提供拖拽式的可视化数据开发IDE及机器学习平台,可支持用户自定义功能,具有非常好的产品扩展性 客户能借助于TBDS快速构建中台能力,聚焦于进行企业的业务创新。

    64830

    腾讯云大数据平台 TBDS全面升级,加速构建安全可控的大数据生态

    在不久前信通院产品能力测评中, TBDS以单集群1万节点的超大规模,成功通过该批次能力测评,成为本批次唯一通过大规模能力认证的厂商,树立了行业新标杆。 腾讯云副总裁刘煜宏 此次升级,腾讯云TBDS在三大核心引擎上更加注重底层自研能力提升,通过领先的自研技术和前沿的技术理念持续强化安全可控水平。 针对伙伴比较关心的售卖环节,腾讯云产业生态合作部总经理张大捷提到,“腾讯云大数据平台TBDS具备全面自主国产化和平台开放的优势,适配各行业客户需求,提供灵活的场景适配方案。 作为腾讯云大数据平台TBDS首个完成产品集成的合作伙伴,国泰新点生态合作部总经理殷利明先生介绍了腾讯TBDS产品给自身产品带来的技术性能提升和全链路开箱即用工具链的支持,快速赋能到国泰新点政务大数据项目的数据平台建设和项目落地 通过国泰新点跟腾讯云大数据TBDS的合作案例,也为其他伙伴深度合作开拓了新的思路和机会。

    33720

    腾讯云大数据平台TBDS获得分布式批处理平台万节点能力认证

    6月28日,在“2022大数据产业峰会”上,腾讯云大数据平台TBDS以单集群1万节点的超大规模,成功通过信通院第14批产品能力测评,成为本批次唯一通过大规模能力认证的厂商,树立行业新标杆。 据悉,腾讯大数据处理套件(Tencent Big Data Suite,TBDS)是腾讯基于多年海量数据处理经验,对企业客户提供的可靠、安全、易用的大数据处理平台,在数据存算、治理分析和应用方面,提供了完善的解决方案场景 此次评测中,除了超大规模的节点数量,在其它一些重要的性能指标上,腾讯云大数据平台TBDS也领先业界,以单集群为例,TBDS的存储能力超过300Pb;单表数据量超过30Pb,单表分区超过300万;单项目空间表超过 腾讯云大数据产品TBDS+Wedata,融合了数据集成、数据开发,以及数据地图、数据质量、数据安全等一系列数据开发治理能力,可以快速帮助企业在数据构建和应用大数据的过程中实现降本增效和数据价值的最大化。

    25720

    腾讯云数据库联手宇信科技发布联合方案,全面助力金融科技安全可控

    统一监管报送平台 联合方案 在监管报送国产化的联合解决方案上,腾讯云TBDS的MPP计算引擎联手宇信科技统一监管报送平台,致力于打造安全可控、稳定高效的监管报送解决方案,帮助金融机构解决监管报送场景中数据量大 充分发挥宇信科技23年来在金融行业监管报送的行业知识沉淀,以及腾讯云TBDS的MPP计算引擎在金融OLAP场景的万亿级⑤关联查询的秒级分析、全面国产化、企业级安全等优势,为用户打造一站式的国产化统一监管报送联合方案 (注⑤出自中国泰尔实验室出具的批处理平台性能专项测试报告) 图:统一监管报送平台&TBDS联合方案 在云化和国产化的趋势下,金融机构的业务系统逐步开始上云,腾讯云原生PaaS平台(TCS)将联手宇信的业务系统产品线

    32420

    腾讯云联手宇信科技发布多个联合方案,全面助力金融科技自主可控

    腾讯云TBDS&宇信科技 统一监管报送平台联合方案 在监管报送国产化的联合解决方案上,腾讯云TBDS的MPP计算引擎联手宇信科技统一监管报送平台,致力于打造安全可控、稳定高效的监管报送解决方案,帮助金融机构解决监管报送场景中数据量大 充分发挥宇信科技23年来在金融行业监管报送的行业知识沉淀,以及腾讯云TBDS的MPP计算引擎在金融OLAP场景的万亿级⑤关联查询的秒级分析、全面国产化、企业级安全等优势,为用户打造一站式的国产化统一监管报送联合方案 (注⑤出自中国泰尔实验室出具的批处理平台性能专项测试报告) 图:统一监管报送平台&TBDS联合方案 在云化和国产化的趋势下,金融机构的业务系统逐步开始上云,腾讯云原生PaaS平台(TCS)将联手宇信的业务系统产品线

    23830

    扫码关注腾讯云开发者

    领取腾讯云代金券