有奖捉虫:云通信与企业服务文档专题,速来> HOT
GooseFS 版本更新列表如下,如您有任何疑问或建议,欢迎 联系我们
版本号
更新日期
更新说明
下载链接
1.4.5
2023年11月11日
功能特性
支持 Hadoop Delegation Token 能力,满足 Hadoop 生态下授权和认证需求。
支持 RocksDB 分层压缩能力,减少 Checkpoint 磁盘占用,加快状态机恢复。
支持 Checkpoint 写入异常监控,方便快速定位写入异常事件。
问题修复
优化写入日志 writeTarGz 方法逻辑,支持设置 BIGNUMBER,解决在 Long Userid 时的磁盘占用问题。
优化 HashSet 数据结构,修复海量热数据场景下内存占用多的问题。
优化任务队列实现模式,修复底层文件不存在时,频繁getFileStatus 导致任务队列积压的问题。
优化高并发 LoadMetaData 时内存占用问题。
优化 Master 切主后,原主节点磁盘 IOPS 过高的问题。
GooseFS :点击下载
GooseFS(KonaJDK 版本):点击下载
GooseFS 客户端:点击下载
GooseFS 客户端(KonaJDK 版本):点击下载
GooseFS FUSE 客户端:点击下载
GooseFS FUSE 客户端(KonaJDK 版本):点击下载
1.4.4
2023年11月11日
功能优化
配置热更新能力,避免重启节点生效配置,提升集群可用性。
支持元数据 TTL 能力,支持按照时间维度分析文件分布情况,可以有效应对元数据规模超过 10 亿时的集群稳定性问题。
CopyFromLocal 支持并发拷贝和断点执行任务等能力,支持从 CFS /本地文件系统快速拷贝数据到 COS 中。
新增 Fuse 节点和 Worker 节点的监控指标:
Fuse 节点监控指标更新项
Fuse 请求分位耗时
Fuse 读写请求成功失败率
Fuse 端口探活状态
Fuse 文件读写句柄个数
Fuse 降级读状态
Fuse JVM 内存占用
Worker 节点监控指标更新项
Worker 节点读写请求成功失败率
Worker 节点读写请求分位耗时
Worker 节点活跃状态
Worker 节点心跳上报耗时
问题修复
修复 Worker 节点预读配置无法控制预读队列长度问题。
修复 Fuse 客户端文件句柄的内存占用虚高,导致 too many open files 问题。
Job Service 中心跳可用性提升,优化 Job Master 压力过大情况,丢失 Job Worker 心跳问题。
修复 Worker 节点由于开启监控指标采集后造成请求延迟的长尾问题。
Fuse 客户端读写流内存优化,Worker 读写流内存优化,改善节点 OOM 的问题。
修复获取 Worker 监控时抢锁,影响读性能问题,解决 Worker 节点监控无法上报问题。
GooseFS :点击下载
GooseFS(KonaJDK 版本):点击下载
GooseFS 客户端:点击下载
GooseFS 客户端(KonaJDK 版本):点击下载
GooseFS FUSE 客户端:点击下载
GooseFS FUSE 客户端(KonaJDK 版本):点击下载
1.4.2
2023年5月1日
问题修复
修复大文件写入耗尽客户端资源后死锁的问题
GooseFS :点击下载
GooseFS(KonaJDK 版本):点击下载
GooseFS 客户端:点击下载
GooseFS 客户端(KonaJDK 版本):点击下载
GooseFS FUSE 客户端:点击下载
GooseFS FUSE 客户端(KonaJDK 版本):点击下载
1.4.1
2023年3月1日
功能优化
支持清理和查看未完成文件列表
优化递归加载元数据(loadmetadata -R)操作加锁粒度
问题修复
修复 Flume 写入场景认证流和数据流状态统一问题
修复大文件写入耗尽客户端资源后死锁的问题
GooseFS :点击下载
GooseFS(KonaJDK 版本):点击下载
GooseFS 客户端:点击下载
GooseFS 客户端(KonaJDK 版本):点击下载
GooseFS FUSE 客户端:点击下载
GooseFS FUSE 客户端(KonaJDK 版本):点击下载
1.4.0
2022年11月11日
新增功能
提供文件解压缩功能(公测,仅上海自动驾驶专区可用)
支持临时密钥托管服务
distributedLoad 支持层级遍历
GooseFS-FUSE 支持降级读
功能优化
GooseFS distributedLoad 能力支持层级遍历能力,支持递归拉取指定目录下的元数据信息
FUSE 读性能优化,提升大文件顺序读性能
增加 Master 查询/更新 RocksDB 的分位耗时监控,提升元数据服务的监控灵敏度
优化了 GooseFS HA 模式下的集群恢复时间,提升了集群可用性
CosN 依赖版本升级,支持通过原生 HDFS 协议访问已开启元数据加速的存储桶,提升大数据场景下的文件操作性能
GooseFS 配置精简优化,减少了不必要的配置项,提升了配置易用性
listInfo 精简优化,提升文件 list 性能
问题修复
修复了 Worker 接收大量无效 async block 请求的问题
优化了 Worker 上报时对孤立 block 的处理逻辑
GooseFS :点击下载
GooseFS(KonaJDK 版本):点击下载
GooseFS 客户端:点击下载
GooseFS 客户端(KonaJDK 版本):点击下载
GooseFS FUSE 客户端:点击下载
GooseFS FUSE 客户端(KonaJDK 版本):点击下载
1.3.0
2022年7月25日
新增功能
支持 Kerberos 认证。
支持访问开启 元数据加速能力 的存储桶,以原生 POSIX 语义访问对象存储服务。
Master 节点缓存淘汰策略支持 LRU 算法,避免缓存频繁置换。
Master 节点支持过期元数据清理能力。
功能优化
GooseFS Master 节点优化了锁瓶颈问题,显著提升 Master QPS,带来 35% 左右的性能优化效果。
GooseFS Worker 节点支持并发 Format,提升操作性能。
GooseFS Fuse 客户端支持覆盖写操作。
GooseFS Fuse 客户端优化了 ls 命令的内存占用问题。
GooseFS HDFS 客户端优化 ListNamespace 的性能。
Bug 修复
修复了 RocksDB 泄漏和 Core 的问题,避免内存泄露。
修复了 Zookeeper Curator 误打日志的问题。
修复了 UFS 读带宽不准的问题。
修复了 DistributedLoad 的时候由于日志打印过多导致的 LostWorker问题。
当前版本不再维护,请下载最新版本
1.2.0
2022年1月25日
新增功能
GooseFS 支持将日志上报云日志系统。
Inode 和 Block 元信息支持单独配置 RocksDB。
GooseFS Client 支持热开关能力,提升故障容灾措施。
添加了部分全链路日志的基础设施。
功能优化
优化 Raft 切主延迟高的问题。
优化了 GooseFS HCFS Client 的内存占用。
Bug 修复
修复 Journal 乱序的问题。
Ratis 死锁导致的 GRPC 问题。
修复了 HDFSUnderFileSystemFactory 加载位置不正确的问题。
修复了 log4j2 的安全漏洞问题。
修复了 ufsPath 前缀检查错误的问题。
当前版本不再维护,请下载最新版本
1.1.0
2021年9月1日
新增功能:
支持 ranger 鉴权。
支持并发 list。
支持 distributedLoad 目录原子性。
支持 namespace 的缓存白名单。
支持 ofs scheme 透明加速。
功能优化:
cli 为各个 subcmd 增加 help 命令。
优化 table 挂载检测 namespace 是否存在。
完善 job worker/worker metrics 监控。
Bug 修复:
修复 distributedLoad 读膨胀问题。
当前版本不再维护,请下载最新版本
1.0.0
2021年6月1日
1. 基于 namespace 的读写策略与 TTL 管理。
2. 基于 Hive Table 维度以及 Table Partition 维度的预热。
3. 兼容存量 COSN 用户的路径兼容,实现透明加速。
4. Fluid 集成 GooseFS。
5. 集成了 CHDFS 支持。
当前版本不再维护,请下载最新版本