Maxwell 系列（三）—— 使用

大数据最后一公里

发布于 2021-08-05 10:26:41

8600

发布于 2021-08-05 10:26:41

一、控制台输出

全库监控

"" 测试 ""
bin/maxwell \
--user='maxwell' \
--password='sweet' \
--host='127.0.0.1' \
--port='3306' \
--producer=stdout

读取指定库

bin/maxwell \
--user='maxwell' \
--password='sweet' \
--host='127.0.0.1' \
--port='3306' \
--filter='exclude: *.*, include: lpc.*' \
--producer=stdout

库名不能指向maxwell
host可以跨节点指定ip

二、输出到kafka

测试脚本kafka-1

bin/maxwell \
--user='maxwell' \
--password='sweet' \
--host='127.0.0.1' \
--port='3306' \
--filter='exclude: *.*, include: lpc.student' \
--producer=kafka \
--kafka_version='1.0.0' \
--kafka.bootstrap.servers=ip1:port,ip2:port,ip3:port \
--kafka_topic=lpc_maxwell   
""
--kafka_topic默认是maxwell
在上面测试脚本中设置值为lpc_maxwell，这个是静态传参，
也可以动态传参namespace_%{database}_%{table}，动态传参脚本如下
""

测试脚本kafka-2

bin/maxwell \
--user='maxwell' \
--password='sweet' \
--host='127.0.0.1' \
--port='3306' \
--filter='exclude: *.*, include: lpc.*' \
--producer=kafka \
--kafka_version='1.0.0' \
--kafka.bootstrap.servers=ip1:port,ip2:port,ip3:port \
--kafka_topic=testdynamic_%{database}_%{table}

测试脚本kafka-3

bin/maxwell \
--user='maxwell' \
--password='sweet' \
--host='27.0.0.1' \
--port='3306' \
--filter='exclude: *.*, include: lpc.*' \
--producer=kafka \
--kafka_version='1.0.0' \
--kafka.bootstrap.servers=ip1:port,ip2:port,ip3:port \
--kafka_topic=%{database}_%{table}

1、在上面的说明中动态传参namespace，意思是命名空间使用动态传参指定前缀，指定前缀测试说明在第2点之后使用前缀可以将属于个性化定制，自动创建topic时用于区别其他topic名称，这里是为了建立实时数仓，需要以数仓分层标识

topic自动创建说明：

2、刚开始filter参数是--filter='exclude: *.*, include: lpc.student' 这种情况下，在执行测试脚本kafka-1时，会在自动创建topic。

3、如果filter参数是--filter='exclude: *.*, include: lpc.*' 这种情况下，执行测试脚本kafka-2并不会自动创建，在监控的数据发生变化时，才会自动创建静态传参和动态传参

4、静态传参是--kafka_topic=参数值，手动指定的，maxwell会将变化数据发送到指定的topic中

5、动态传参

5.1 动态传参没有前缀测试脚本kafka-3，maxwell会识别%{}，前缀和连接符可以指定，也可以不指定

5.2 动态传参有前缀前缀可以手动指定，具体说明见第1点

三、输出到redis

测试

bin/maxwell \
--user='maxwell' \
--password='sweet' \
--host='127.0.0.1' \
--port='3306' \
--filter='exclude: *.*, include: lpc.student' \
--producer=redis \
--redis_host=ip \
--redis_port=port \
""

redis生产者参数，redis_type默认是 pubsub订阅模式

bin/maxwell \
--user='maxwell' \
--password='sweet' \
--host='127.0.0.1' \
--port='3306' \
--filter='exclude: *.*, include: lpc.student' \
--producer=redis \
--redis_host=ip \
--redis_port=port \
--redis_type=lpush

设置redis_type为lpush模式，根据控制台结果可知，maxwell实时增量同步到redis，指定key的类型是list，list中对应的是多个json字符串