腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

岑玉海

专栏作者

105

文章

133914

阅读量

56

订阅数

Carbondata源码系列（一）文件生成过程

hive https apache

在滴滴的两年一直在加班，人也变懒了，就很少再写博客了，最近在进行Carbondata和hive集成方面的工作，于是乎需要对Carbondata进行深入的研究。于是新开一个系列，记录自己学习Carbondata的点点滴滴。 1、环境准备当前版本是1.2.0-SNAPSHOT git clone https://github.com/apache/carbondata.git 先用IDEA打开carbondata的代码，点击上方的View -> Tool Windows -> Maven Projects,

2018-03-01

1.7K0

Carbondata源码系列（二）文件格式详解

在上一章当中，写了文件的生成过程。这一章主要讲解文件格式（V3版本）的具体细节。 1、字典文件格式详解字典文件的作用是在存储的时候将字符串等类型转换为int类型，好处主要有两点： 1、减少存储占用空间 2、用在需要group by的字段上比较合适，可以减少计算时的shuffle的数据量。每一个字典列都有对应的三种文件.dict, .sortindex, .dictmeta文件，输出格式都是thrift格式 1.1 .dict文件字典的值每满1000就作为一个chunk输出一次，具体的类是ColumnD

2018-03-01

1.5K0

ambari删除脚本

#1.删除hdp.repo和hdp-util.repo cd /etc/yum.repos.d/ rm -rf hdp* rm -rf HDP* #rm -rf ambari* #2.删除安装包 #用yum list installed | grep HDP来检查安装的ambari的包 yum remove -y sqoop.noarch yum remove -y lzo-devel.x86_64 yum remove -y hadoop-libhdfs.x86_64 yum remov

2018-03-01

1.1K0

sqoop 常用命令整理（二）

apache 人工智能 jdbc 云数据库 SQL Server

　　26.Validate 它用来比较源数据和目标数据的数量它有三个接口 Validator. 它有三个接口 Validator. Property: validator Description: Driver for validation, must implement org.apache.sqoop.validation.Validator Supported values: The value has to be a fully qua

2018-03-01

8330

通过ambari安装hadoop集群（二）

开始安装，输入主机名字，然后选择私钥注意java_home那里需要改为/usr/jdk64/jdk1.6.0_31，然后点击确认，它会出一个警告提示，别管他就行。等待安装完毕之后，就会出现成功的提

2018-03-01

9240

oozie 安装过程详解

1.从apache的官网下载oozie3.3.2 2.编译oozie，以下命令用root来执行吧，它不做任何的测试的，因为一测试就会出错的官网估计也知道，所以顺便也提供了一个跳过参数的命令。。。 bin/mkdistro.sh -DskipTests 编译完成之后的实际可运行程序位于oozie/distro/target/oozie-3.3.2-distro/ 目录下我好不容易找到了这个目录，我把它已到了/usr目录下面 3.在oozie的

2018-02-28

1.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态