系统开发高级工程师

张浩的专栏

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

Artifactory 是一个存放制品（Artifacts）的工具。当前，Artifactory 是一个非常有影响力，功能非常强大的工具。

JFrog Artifactory

它仅基于 7 个基本命令： Migrate、 Clean、 Info、 Validate、 Undo、 Baseline和 Repair。

数据库迁移工具 Flyway 使用

Spark在spark-streaming-kafka-0-10的API中实现了对Kafka Offset提交的API，在Spark消费过消息之后，提交消费过消息的Offset到Kafka里面，在Spark重启后，可以继续消费没有消费的消息，实现Exactly once的语义。

Spark 中 Kafka Offset 管理

Maxwell是一个读取MySQL binlog并将行更新作为JSON写入Kafka，Kinesis或其他流平台的应用程序。

实时MySQL数据源同步中间件-Maxwell

使用avro-tools获取Avro文件的Schema
avro-tools getschema hdfs://localhost:9000//user/hive/warehouse/retail_stage.db/orders/part-m-00000.avro >~/orders.avsc
将Avro文件的Schema文件上传到HDFS
hdfs dfs -put orders.avsc /user/hive/warehouse/avro/schema/orders/
创建Hive表
create ex

基于Avro文件和Avro Schema构建Avro Hive表

今天(2019.01.29)考了CCA175考试，针对考试中一些考点和技巧做出总结

CCA175 考试总结

   当我们在开发Spark应用程序的时候，没有设置Hadoop的配置文件的情况下来读取或者写入HDFS文件，每次都要写上hdfs://host:port/path如下图所示。

Spark 设置 Hadoop 的配置文件

Sqoop 作业的输出可以直接压缩。Sqoop 作业是一个MapReduce作业, 因此通过设置MapReduce压缩编解码器, 可以得到 Sqoop 的输出压缩。

Sqoop 压缩

环境配置
Maven添加hbase-client的依赖
  
    <dependencies>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.1.2</version>
        </dependency>
    </dep

Scala 操作 HBase2.0 数据库

Apache Phoenix 是 HBase 的开源 SQL 皮肤，可以使用标准的JDBC 的APIs去代替常规的HBase 客户端的APIs去创建表，插入数据和查询HBase数据。

Apache Phoenix 的安装与使用

在使用Spark Streaming的应用程序时，我们可能需要将计算结果保存到MySQL中，为了高效的与MySQL进行交互，这里我们使用HikariCP这个高效的数据库连接池。

Spark Streaming中使用HikariCP数据库连接池与MySQL交互

运行一个Netcat服务器
$ nc -lk 9999
编写Spark Streaming 应用程序
package spark.streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object NetworkWordCount {
  def main(args: Array[String]) {
    if (args.length < 2

Spark Streaming基于网络的词频统计

当Hive中的内置函数不满足我们需求的时候，我们可以自定义我们自己的Hive函数，来满足我们的需求。

Hive 创建自定义函数（UDF）

1.创建Kafka Topic
kafka-topics.sh --create  --zookeeper localhost:2181  --partitions 1 --replication-factor 1   --topic weblogs

2.创建Flume Conf
Source 使用Spooling Directory Source
agent.sources=spooldir-source
agent.sources.spooldir-source.type=spooldir
agent

用Kafka消费Flume传来的日志

在Hive中，表中的一个Partition对应表下的一个目录，所有的Partition的数据都存储在对应的目录中

Hive的数据模型

array
CREATE TABLE student1(
    sid int,
    sname string,
    gradle array<float>
);
{1,Tom,[80,90,75]}
map
CREATE TABLE student2(
    sid int,
    sname string,
    gradle map<string,float>
);
{1,Tom,<'大学语文',85>}
array map 联合使用
CREATE TABLE student3(

Hive复杂数据类型的使用

基本数据类型
整数类型：tinyint/smallint/int/bigint
浮点数类型：float/double
布尔类型：boolean
字符串类型：string
复杂数据类型
Array：数组类型，由一系列相同类型的元素构成
Map：集合类型，包含key->value键值对，可以通过key来访问元素
Struct：结构类型，可以包含不同数据类型的元素。这些元素可以通过"点语法"的方式来得到所需的元素
时间类型
Date：从Hive0.12.0开始支持
timestamp：从Hive0.8.0开始支持

Hive的数据类型

清屏
Ctrl+L 或者 !clear
查看数据仓库中的表
show tables;
查看数据仓库中内置的函数
show functions;
查看表结构
desc tablename
查看HDFS上的文件
dfs -ls 目录
执行Linux的命令
!命令
执行HQL语句
SELECT * FROM tablename
执行SQL的脚本
source sql文件
Hive 静默模式
hive -S
Hive 直接执行SQL
hive -e  <quoted-query-string>
Hive 执行文件中

Hive CLI常用命令

创建topic
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytopic
查看topic
kafka-topics.sh --list --zookeeper localhost:2181
查看topic详情
kafka-topics.sh --describe --zookeeper localhost:2181 

producer生产消息
kafka

Kafka基本操作

创建表
create 't1', 'f1', 'f2', 'f3'
----
删除表
disable 't1'
drop 't1'
----
清空表
truncate 'tablename'
----
更新和设置单元格的值
put 't1', 'r1', 'c1', 'value
----
获取列的值
get 'r1', {COLUMN => ['c1', 'c2', 'c3']}

HBase Shell常用命令

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了张浩的专栏专栏，为你提供了张浩的专栏的相关文章，致力于帮助开发者快速成长与发展。

张浩的专栏

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐