flume 1.9 版本更新

flume 1.9 版本更新

个人见解

关心的几个点

• Flume环境变量支持float或double
• 高版本kafka支持与指标完善
• 安全相关的几点改进

总体上这个版本并没有带来太核心的变化，老版本用户可以不考虑升级。

官方说明(翻译为主)

** 新特性

FLUME-2071 - Flume环境变量不支持float或double的配置值.

FLUME-2442 - Flume配置中提供明文密码之外的另一种方法

FLUME-3142 - 新增了HBase2的sink

** Improvement

FLUME-2653 - 允许inUseSuffix是null/empty

FLUME-2854 - pom文件中jetty版本参数化

FLUME-2977 - 升级RAT版本到0.12

FLUME-3050 - 新增一个用于错误条件的计数器并将它上报到监控的URL

FLUME-3182 - 添加对syslog (tcp)和多端口syslog (tcp)Source的SSL/TLS的支持

FLUME-3186 - 可以在flume配置中调整asyncHbaseClient配置参数

FLUME-3223 - Flume HDFS Sink should retry close prior to performing a recoverLease

FLUME-3227 - StressSource新增限速功能

FLUME-3239 - SpoolDirectorySource中不要重命名文件

FLUME-3246 - 验证flume配置来避免source批量值大于channel的transaction容量

FLUME-3269 - 支持JSSE keystore/trustore -D system properties

FLUME-3275 - Components supporting SSL/TLS should be able to 特点协议列表 protocol list

FLUME-3276 - Components supporting SSL/TLS should be able to specify cipher suite list

FLUME-3280 - 通过向其添加静态代码分析器来改进maven构建以帮助代码审查

FLUME-3281 - 升级到Kafka 2.0 client

FLUME-3282 - 使用slf4j在每个component

** Bug

FLUME-1282 - Maven 2构建flume 1.x失败的情况

FLUME-2232 - Flume build时增加了findbugs

FLUME-2436 - 将hadoop-2设为默认构建文件

FLUME-2464 - 移除hadoop-2文件

FLUME-2786 - 停止flume-ng之前修改conf文件时，它将进入死锁状态

FLUME-2894 - Flume组件应按正确顺序停止（正常关闭）

FLUME-2973 - hdfs sink的死锁

FLUME-2976 - 当JMS source 试图连接一个Weblogic server没有鉴权时抛异常

FLUME-2988 - Kafka Sink指标缺失eventDrainAttemptCount(sink尝试写入的总数量)

FLUME-2989 - Kafka Channel指标缺少eventTakeAttemptCount(sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回，因为sink拉取的时候channel可能没有任何数据)和 eventPutAttemptCount(Source尝试写入Channe的事件总数量)

FLUME-3056 - 测试应用无限期hang住

FLUME-3101 - taildir source 可能无限循环当tail一个文件的时候

FLUME-3106 - 当sink的batchSize大于Memory Channel的transactionCapacity时，Flume会产生无穷无尽的数据

FLUME-3107 - 当sink的batchSize大于File Channel的transactionCapacity时，Flume会产生无穷无尽的数据

FLUME-3114 - 更新commons-httpclient的库依赖

FLUME-3117 - 在methodconfigure中调用System.exit()时，应用程序可能死循环

FLUME-3133 - 在Syslog Sources增加了一个ipHeader配置

FLUME-3201 - 修复SyslogUtil在12月正确处理RFC3164格式

FLUME-3218 - 修复外部进程配置filter测试

FLUME-3222 - TAILDIR源删除文件时抛出java.nio.file.NoSuchFileException

FLUME-3237 - 处理来自JMSSource中JMS提供程序的RuntimeExceptions

FLUME-3253 - JP Morgan Chase扫描使用Apache Flume 1.8显示Splunk App的漏洞

FLUME-3265 - 无法为LoadBalancingRpcClient设置批量大小

FLUME-3270 - 如果发生故障，请关闭JMSMessageConsumer构造函数中的JMS资源

FLUME-3278 - 处理Kafka组件中的-D密钥库参数

FLUME-3294 - 修复TaildirSource中的轮询逻辑

FLUME-3298 - 在flume-ng-hadoop-credential-store-config-filter增加hadoop-common 选项

FLUME-3299 - 修复pom文件中的log4j范围

** Sub-task

FLUME-3158 - 更新 surefire 的版本和配置

FLUME-3243 - 增加hdfs.callTimeout的值以及文档的相关描述

FLUME-3303 - 在release notes里面提及未来配置变化

** Test

FLUME-3195 - 切分TestKafkaChannel class

** Wish

FLUME-3087 - 切换日志等级从WARN到INFO,当使用 “maxIOWorkers” 默认值时.

** Task

FLUME-3183 - Maven: 生成SHA-512的checksum在deploy时

** Dependency upgrade

FLUME-2698 - 更新 Jetty 版本

FLUME-3115 - 更新 netty 库依赖

FLUME-3194 - 更新 derby 到最新版本 (1.14.1.0)

** Documentation

FLUME-1342 - JMX 监控 API 文档

FLUME-2723 - 需要 Channel’s transactionCapacity >= batchSize of the source/sink的文档

FLUME-3051 - 提到不兼容 Kafka source 在 0.8.x Kafka brokers

FLUME-3228 - interceptor timestamp中不正确的参数名