Hadoop实操-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏成员

974

文章

2440268

阅读量

707

订阅数

0899-7.1.7-如何在CDP中安装Zeppelin并配置Interpreter

hive python spark jar

Zeppelin默认的管理权限是admins组，所以用户要加admins组才可以添加和修改interpreter

2022-12-14

9520

0897-7.1.7-CDP中如何通过Ranger为UDF授权

jar java 云推荐引擎 hive 大数据

1.文档编写目的本片文档主要讲述了在Ranger中对Hive的UDF函数进行授权的方式。分别测试了对HDFS上和本地的UDF的授权。测试环境 CDP7.1.7，集群启用了Kerberos 使用一个普通用户liuyq测试，该用户有udf_test库的权限 2.HDFS上的UDF JAR授权 2.1.准备工作 1.将UDF的 jar包上传至HDFS的/user/hive/udf目录下，用于测试HDFS上的UDF授权 hdfs dfs -mkdir /user/hive/udfhdfs dfs -put

2022-10-10

1.5K0

0880-7.1.7-如何在CDP中使用Prometheus&Grafana对Flink任务进行监控和告警

flink 大数据 jar 开源 jenkins

本文作者：BYD信息中心-数据中心管理部-董睿这里打一个小广告，手动狗头比亚迪西安研发中心（与深圳协同办公），base西安。招聘大数据平台运维方向工程师，实时计算方向工程师，感兴趣的小伙伴请投递简历至dong.rui@byd.com 1.文档编写目的 Prometheus 是一款基于时序数据库的开源监控告警系统，Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。Grafana是一款采用 Go语言编写的开源应用，是一个跨平台的开源

2022-05-09

1.7K0

0869-7.1.7-如何在CDP中使用Hive Bulkload批量导入数据到HBase

hbase TDSQL MySQL 版 hive jar java

1.文档编写目的在遇到将Hive中的数据同步到HBase时，一般都是通过在Hive中创建映射HBase的表，然后通过insert的方式来实现，在数据量小的时候，往往还能接受，但是如果是大批量数据，除了同步时间较长，往往还会对线上的HBase服务造成影响，因为这种方式底层还是调用的HBase的put API来实现的。为了提高HBase的数据写入，一般都会考虑使用bulkload的方式，而bulkload其实也有很多种选择： 1.编写MapReduce/Spark程序生成hfile文件，然后通过HBase命令

2022-03-04

1.1K0

0819-使用CDP7.1.3的Atlas采集CDH5.15.1的元数据和血缘

专用宿主机 jar html hive

基于以上框架，使用CDP的Atlas采集CDH5的元数据和血缘，理论上只需要将相应的Atlas Hook正确部署到CDH5对应的服务上即可。本文以采集Hive元数据和血缘为例，描述如何部署Atlas Hive Hook到CDH5上。

2020-12-14

1.9K0

0797-使用HDP或CDP的Atlas采集CDH6的元数据和血缘

专用宿主机 jar java hive 数据库

基于以上框架，使用HDP或CDP的Atlas采集CDH6的元数据和血缘，理论上只需要将相应的Atlas Hook正确部署到CDH6对应的服务上即可。本文以采集Hive元数据和血缘为例，描述如何部署Atlas Hive Hook到CDH6上。

2020-08-13

2.7K1

0738-6.2.0-如何在Hive中使用多分隔符

专用宿主机 jar 编程算法 hive

而Fayson在以前的文章中也基于C5的环境介绍过如何在Hive中使用多分隔符，参考《Hive多分隔符支持示例》。本文主要介绍在CDH6中如何让Hive支持多分隔符。

2020-02-10

1.2K0

0535-5.15.0-Oozie中创建Ssh Action指定ssh端口号

ssh 打包 jar apache github

考虑到服务器的安装，有些系统管理员会将服务器默认的SSH端口修改其它端口，这时在Hue上创建Oozie Ssh Action的WorkFlow时无法指定服务器的SSH端口号，导致Ssh Action执行失败。本篇文章Fayson主要介绍如何让Oozie的Ssh Action支持端口指定。

2019-11-27

1.5K0

0700-6.2.0-使用Solr7对多种格式文件建立全文索引

lucene/solr xml 专用宿主机 jar java

Solr是一个开源搜索平台，用于构建搜索应用程序。它建立在Lucene(全文搜索引擎)之上。Solr是企业级的，快速的和高度可扩展的。使用Solr构建的应用程序非常复杂，可提供高性能。它提供了层面搜索(就是统计)、命中醒目显示并且支持多种输出格式（包括XML/XSLT 和JSON等格式），并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。Solr7要求JDK为1.8以上。在Solr7版本中新增了跨核（solr 跨核概念，是建立在solr存储方式的基础上，因为使用solr前必须创建Core，Core即为solr的核，那不同的业务有可能在不同的核中，之前版本是不支持跨核搜索的）搜索功能。本文主要介绍如何在CDH6.2.0集群中使用Solr7对多种格式的文件建立全文索引。

2019-09-18

1.8K0

史上最全-mysql迁移到clickhouse的5种办法

云数据库 SQL Server 数据库文件存储 jar 官方文档

https://anjia0532.github.io/2019/07/17/mysql-to-clickhouse/

2019-07-22

12.5K1

0650-6.2.0-通过UDF实现Hive&Impala的中文拼音排序

hive jar java 编程算法打包

由上面两张图可以看出，在Hive和Impala中排序都失败了，没有按照期望中的中文对应的拼音进行排序。

2019-06-17

1.9K0

0590-6.1.0-C6升级过程中Oozie共享库的问题分析

jar java 专用宿主机

升级CDH6.1至CDH6.2的过程中，当升级过程执行到安装Oozie共享库时，在成功创建Oozie ShareLib根目录之后上载Oozei共享库的过程中报错了，报错信息如下：

2019-04-28

2K0

0588-6.1.0-命令行动态指定MapReduce运行参数无效问题分析

mapreduce hadoop jar 面向对象编程打包

在本地完成MapReduce程序的开发后，打包提交到服务器上，然后在命令行使用hadoop jar命令运行，并在运行时动态的指定参数（如：Map和Reduce的内、资源池等参数）。通过在命令行添加“-D mapreduce.job.queuename=资源池名”的方式来指定。本篇文章Fayson主要讲述动态指定MapReduce作业参数无效问题分析。

2019-04-28

1.2K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态