张浩的专栏

大家好,这里是张浩的专栏,主要以分享大数据相关技术为主。感兴趣的小伙伴可以关注我和订阅我的专栏哦。
25 篇文章
23 人订阅

全部文章

ZHANGHAO

Spark 中 Kafka Offset 管理

Spark在spark-streaming-kafka-0-10的API中实现了对Kafka Offset提交的API,在Spark消费过消息之后,提交消费过消...

1540
ZHANGHAO

实时MySQL数据源同步中间件-Maxwell

Maxwell是一个读取MySQL binlog并将行更新作为JSON写入Kafka,Kinesis或其他流平台的应用程序。

2621
ZHANGHAO

基于Avro文件和Avro Schema构建Avro Hive表

2585
ZHANGHAO

CCA175 考试总结

今天(2019.01.29)考了CCA175考试,针对考试中一些考点和技巧做出总结

4703
ZHANGHAO

Spark 设置 Hadoop 的配置文件

当我们在开发Spark应用程序的时候,没有设置Hadoop的配置文件的情况下来读取或者写入HDFS文件,每次都要写上hdfs://host:port/pa...

1471
ZHANGHAO

Sqoop 压缩

Sqoop 作业的输出可以直接压缩。Sqoop 作业是一个MapReduce作业, 因此通过设置MapReduce压缩编解码器, 可以得到 Sqoop 的输出压...

1734
ZHANGHAO

Scala 操作 HBase2.0 数据库

3511
ZHANGHAO

Apache Phoenix 的安装与使用

Apache Phoenix 是 HBase 的开源 SQL 皮肤,可以使用标准的JDBC 的APIs去代替常规的HBase 客户端的APIs去创建表,插入数据...

3466
ZHANGHAO

Spark Streaming中使用HikariCP数据库连接池与MySQL交互

在使用Spark Streaming的应用程序时,我们可能需要将计算结果保存到MySQL中,为了高效的与MySQL进行交互,这里我们使用HikariCP这个高效...

61319
ZHANGHAO

Spark Streaming基于网络的词频统计

1601
ZHANGHAO

Hive 创建自定义函数(UDF)

当Hive中的内置函数不满足我们需求的时候,我们可以自定义我们自己的Hive函数,来满足我们的需求。

2711
ZHANGHAO

用Kafka消费Flume传来的日志

1721
ZHANGHAO

Hive的数据模型

在Hive中,表中的一个Partition对应表下的一个目录,所有的Partition的数据都存储在对应的目录中

2131
ZHANGHAO

Hive复杂数据类型的使用

941
ZHANGHAO

Hive的数据类型

841
ZHANGHAO

Hive CLI常用命令

1661
ZHANGHAO

Kafka基本操作

1181
ZHANGHAO

HBase Shell常用命令

1225
ZHANGHAO

Sqoop在导入的时候导入多张表

当我们用Sqoop导入一张表的时候可以用 --table <table-name> 去指定要导入一个表,但是我们要导入多个表的话,用这个--table是不行的。...

5051
ZHANGHAO

Sqoop在导入的时候生成的MR代码教你怎么指定路径去存放

最近常用Sqoop导入一些数据到HDFS中。但是执行完成后,总是会在我执行sqoop命令的文件夹下生成一些MR代码。总是需要去手动清理。感觉比较困扰,然后就看S...

2131

扫码关注云+社区

领取腾讯云代金券