有赞数据中台成本治理实践
活动简介
有赞的业务高速增长，数据中台的计算资源消耗也水涨船高。半年翻一番，涨幅甚至超过业务，这不是一个可持续发展的状态。我们从减少浪费、技术优化、成本运营等角度出发，进行综合治理。希望能够提升成本意识，提高成本“能效”。
回顾文章
直播详情
讲师
二十年工作一直专注技术领域。一直从事中大型系统的咨询、规划、设计和建设工作；十余年的技术管理工作，在规划技术发展路线、推进技术革新、建设技术团队、推行研发团队文化等方面有丰富的经验。管理风格开放、公正、平等、激励，带领的团队有很强的执行力和使命感；热爱技术工作，善于使用技术手段解决各类问题，对大型系统的监控、运维、优化、 持续改进有丰富的经验，学习和掌握新兴技术的能力强；热爱编程，坚持编写代码，坚持深入开发第一线。
内容纲要
1. 机器资源利用率 • 集群水位和机器利用率标准 • 低利用率缩容/降配 • 任务延迟启动，削峰填谷 • 机型优化（计算型、存储型） 2. 容器化改造 • 利用K8s实现弹性扩缩容 • 离线在线错峰混部 • 资源按需购买 • 存储计算分离 3. 数据存储优化 • 冷备数据使用腾讯云COS服务 • hive分区表生命周期管理 • 优化存储压缩倍率 4. 数据/任务优化 • 无用数据（链路）探查下线 • 任务优化（倾斜、表关联等） • 减少调度频次 • 使用hive cube • 减少重复计算 5. 成本运营机制 • 数据成本量化 • 多维度账单 • 推进/奖惩机制 • 降本功能支持/反馈
欢迎大家在评论区留言提问，老师会挑选问题进行解答，提问同学将有机会获得腾讯太空鹅潮玩盲盒一份。
扫描左边二维码回复「加群」，即可加入沙龙技术交流群，直播期间群里每天都有福利抽奖：当当网、异步社区、华章图文提供的技术图书、腾讯周边公仔等好礼等着你哦~
活动方
战略合作伙伴
英特尔
以数据为中心，加速企业数字化变革
合作伙伴
互动评论
腾讯云开发者
我来说两句