首页
学习
活动
专区
工具
TVP
发布

张浩的专栏

大家好,这里是张浩的专栏。感兴趣的小伙伴可以关注我和订阅我的专栏哦。
专栏作者
27
文章
55895
阅读量
24
订阅数
JFrog Artifactory
Artifactory 是一个存放制品(Artifacts)的工具。当前,Artifactory 是一个非常有影响力,功能非常强大的工具。
ZHANGHAO
2022-06-19
1.6K0
数据库迁移工具 Flyway 使用
它仅基于 7 个基本命令: Migrate、 Clean、 Info、 Validate、 Undo、 Baseline和 Repair。
ZHANGHAO
2022-05-14
3.1K0
Spark 中 Kafka Offset 管理
Spark在spark-streaming-kafka-0-10的API中实现了对Kafka Offset提交的API,在Spark消费过消息之后,提交消费过消息的Offset到Kafka里面,在Spark重启后,可以继续消费没有消费的消息,实现Exactly once的语义。
ZHANGHAO
2019-03-19
1.8K0
实时MySQL数据源同步中间件-Maxwell
Maxwell是一个读取MySQL binlog并将行更新作为JSON写入Kafka,Kinesis或其他流平台的应用程序。
ZHANGHAO
2019-03-06
3.2K0
基于Avro文件和Avro Schema构建Avro Hive表
使用avro-tools获取Avro文件的Schema avro-tools getschema hdfs://localhost:9000//user/hive/warehouse/retail_stage.db/orders/part-m-00000.avro >~/orders.avsc 将Avro文件的Schema文件上传到HDFS hdfs dfs -put orders.avsc /user/hive/warehouse/avro/schema/orders/ 创建Hive表 create ex
ZHANGHAO
2019-02-22
2.5K0
CCA175 考试总结
今天(2019.01.29)考了CCA175考试,针对考试中一些考点和技巧做出总结
ZHANGHAO
2019-01-29
2.1K25
Spark 设置 Hadoop 的配置文件
当我们在开发Spark应用程序的时候,没有设置Hadoop的配置文件的情况下来读取或者写入HDFS文件,每次都要写上hdfs://host:port/path如下图所示。
ZHANGHAO
2019-01-25
4.4K0
Sqoop 压缩
Sqoop 作业的输出可以直接压缩。Sqoop 作业是一个MapReduce作业, 因此通过设置MapReduce压缩编解码器, 可以得到 Sqoop 的输出压缩。
ZHANGHAO
2019-01-23
1.1K0
Scala 操作 HBase2.0 数据库
环境配置 Maven添加hbase-client的依赖 <!--HBase Client--> <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.1.2</version> </dependency> </dep
ZHANGHAO
2019-01-20
3K1
Apache Phoenix 的安装与使用
Apache Phoenix 是 HBase 的开源 SQL 皮肤,可以使用标准的JDBC 的APIs去代替常规的HBase 客户端的APIs去创建表,插入数据和查询HBase数据。
ZHANGHAO
2019-01-15
1.8K0
Spark Streaming中使用HikariCP数据库连接池与MySQL交互
在使用Spark Streaming的应用程序时,我们可能需要将计算结果保存到MySQL中,为了高效的与MySQL进行交互,这里我们使用HikariCP这个高效的数据库连接池。
ZHANGHAO
2018-12-24
4.7K1
Spark Streaming基于网络的词频统计
运行一个Netcat服务器 $ nc -lk 9999 编写Spark Streaming 应用程序 package spark.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object NetworkWordCount { def main(args: Array[String]) { if (args.length < 2
ZHANGHAO
2018-12-20
5880
Hive 创建自定义函数(UDF)
当Hive中的内置函数不满足我们需求的时候,我们可以自定义我们自己的Hive函数,来满足我们的需求。
ZHANGHAO
2018-12-19
3.1K0
用Kafka消费Flume传来的日志
1.创建Kafka Topic kafka-topics.sh --create --zookeeper localhost:2181 --partitions 1 --replication-factor 1 --topic weblogs 2.创建Flume Conf Source 使用Spooling Directory Source agent.sources=spooldir-source agent.sources.spooldir-source.type=spooldir agent
ZHANGHAO
2018-12-19
7720
Hive的数据模型
在Hive中,表中的一个Partition对应表下的一个目录,所有的Partition的数据都存储在对应的目录中
ZHANGHAO
2018-12-16
1.1K0
Hive复杂数据类型的使用
array CREATE TABLE student1( sid int, sname string, gradle array<float> ); {1,Tom,[80,90,75]} map CREATE TABLE student2( sid int, sname string, gradle map<string,float> ); {1,Tom,<'大学语文',85>} array map 联合使用 CREATE TABLE student3(
ZHANGHAO
2018-12-16
9670
Hive的数据类型
基本数据类型 整数类型:tinyint/smallint/int/bigint 浮点数类型:float/double 布尔类型:boolean 字符串类型:string 复杂数据类型 Array:数组类型,由一系列相同类型的元素构成 Map:集合类型,包含key->value键值对,可以通过key来访问元素 Struct:结构类型,可以包含不同数据类型的元素。这些元素可以通过"点语法"的方式来得到所需的元素 时间类型 Date:从Hive0.12.0开始支持 timestamp:从Hive0.8.0开始支持
ZHANGHAO
2018-12-15
6160
Hive CLI常用命令
清屏 Ctrl+L 或者 !clear 查看数据仓库中的表 show tables; 查看数据仓库中内置的函数 show functions; 查看表结构 desc tablename 查看HDFS上的文件 dfs -ls 目录 执行Linux的命令 !命令 执行HQL语句 SELECT * FROM tablename 执行SQL的脚本 source sql文件 Hive 静默模式 hive -S Hive 直接执行SQL hive -e <quoted-query-string> Hive 执行文件中
ZHANGHAO
2018-12-15
1.5K0
Kafka基本操作
创建topic kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytopic 查看topic kafka-topics.sh --list --zookeeper localhost:2181 查看topic详情 kafka-topics.sh --describe --zookeeper localhost:2181 producer生产消息 kafka
ZHANGHAO
2018-12-11
3700
HBase Shell常用命令
创建表 create 't1', 'f1', 'f2', 'f3' ---- 删除表 disable 't1' drop 't1' ---- 清空表 truncate 'tablename' ---- 更新和设置单元格的值 put 't1', 'r1', 'c1', 'value ---- 获取列的值 get 'r1', {COLUMN => ['c1', 'c2', 'c3']}
ZHANGHAO
2018-12-11
7410
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
热点技术征文第五期
新风口Sora来袭,普通人该如何把握机会?
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档