联易融亮相 GIAC 全球互联网架构大会

近日，2023 GIAC 全球互联网架构大会在中国深圳召开。作为互联网技术的年度盛会，本次大会的召开备受关注，大会聚集了 80多位来自一线互联网企业的资深技术专家和架构师，围绕AIGC、DataOps、Web3 等热门技术话题展开分享，探讨云原生、湖仓一体、研发效能、元宇宙等技术最新的落地实践及创新思路，为参会者带来了一场技术交锋与经验收获之旅。

据了解，全球互联网架构大会(简称“GIAC”)是长期关注互联网技术与架构的高可用架构技术社区和msup推出的面向架构师、技术负责人及高端技术从业人员的年度技术架构大会，是中国地区规模最大的技术会议之一。

联易融大数据技术专家孙朝和受邀参加了本次大会，并带来了主题为《DataOps中的数据可观测性实践》的分享，分享了日益增长的数据量、数据和数据管道复杂性带来的挑战和构建数据可观测性平台来提升数据管道的健康度，保证数据的可靠性和及时交付的技术实践。

孙朝和介绍到，DataOps 是一种面向流程的自动化方法论，目标是提高数据质量和数据分析的效率，从而输出准确且及时的数据。联易融基于云原生和开源大数据组件构建了 DataOps 所需的数据平台，通过离线和实时流将数据集成到数据中心打破数据孤岛，利用数据编排来创建和自动化工作流来处理数据，并对数据管道中的数据进行测试和检查来保证数据的质量，最终输出高质量的数据来进行数据分析、机器学习和可视化。

“数据可观测性是 DataOps 的重要组成部分，它通过一系列的流程和技术来近乎实时地发现问题和解决问题，贯穿于数据旅程的全过程，主动观测数据集和数据管道来进行监控和告警。”孙朝和表示，联易融通过基于开源组件结合自主研发的方式构建了以数据管道服务为底座、整合元数据中心、数据质量中心、管道观测中心和告警服务的数据可观测性平台，提供了数据探测、数据管道监控、任务和数据集血缘、数据质量检查和告警通知等功能，让用户能够在平台上获取数据管道的健康情况、数据任务的性能信息和数据集的质量信息等多维度的信息，以更全面的视角来解决数据问题和进行性能优化，减少数据宕机时间，降低数据问题带来的损失。