首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
技术百科首页 >安全数据湖 >安全数据湖的产品功能是什么?

安全数据湖的产品功能是什么?

词条归属:安全数据湖

新一代架构 MPP

新一代大数据架构 MPP(Massively Parallel Processing)是更加全面、高效、可靠和智能的大数据处理架构。它采用了分布式数据库的设计理念,使各个节点之间共同协作,实现数据的并行处理。新一代 MPP 支持更多的数据类型和计算任务,提供更高效的数据存储和查询能力。主要特性包括:

  • 全数据可查

打破传统系统对冷热数据的定义,所有数据支持即时查询能力,支持对 PB 级大数据集的快速交互式查询和分析。

  • 高可用

存算分离部署模式下,系统无需数据备份即可提供高可用性;在存算一体部署模式下,系统提供实时备份功能。

  • 存算分离

存储和计算分离,可以实现大规模数据存储和计算的分布式处理,满足不同应用场景的高并发、高扩展性等需求。如计算资源支持硬件服务器虚拟机容器;存储支持本地磁盘、对象存储等。

  • 混合数据存储

同时支持行存储和列存储,以适应数据处理和分析任务的多样性。

  • 弹性扩展

具备弹性扩展的能力,可以根据业务需求自动扩展计算和存储资源。

  • 安全可靠

提供更细粒度的数据访问控制和保护机制,以确保数据的安全性和可靠性。

简单易用

产品提供一站式数据接入、采集、处理、存储、智能分析、检索和可视化 BI。确保产品的使用体验简单、易懂、方便,让用户可以快速上手,从而提高用户的满意度和产品的易用性。如:

  • 数据接入:支持多数日志采集方式,灵活应对业务需求。预置多种规则,开箱可用。
  • 交互式查询分析:支持对 PB 级数据进行实时分析。

SQL 支持:零基础使用,所见即所得,完全兼容标准 SQL 语法。

SPL 支持:高阶分析、无缝迁移,SPL 完全兼容 Splunk 语法。

  • 可视化 BI:所见即所得。

自定义仪表板。

自定义图表。

自定义报表。

  • 易运维:一键扩容、快速切换。
  • 易扩展:支持 App/插件化定制开发。

高性能

无索引、列存、基于代价的优化,带来高性能。高性能实现如:

  • MPP + Streaming:查询任务拆分成多个独立执行的子任务,子任务间并行执行并通过数据流形式进行数据传输,实时返回结果。
  • 存算分离:实现彻底的存储计算分离(对象存储下),冷数据存储在对象存储中,热数据缓存在计算节点,提供低成本高性能、快速弹性扩容等能力。
  • 协程 + 高性能 IO(AsyncIO): 减少系统资源消耗,提高 IO 吞吐量,加速查询速度。

高性价比

  • 无索引:

避免索引带来的成本开销。

  • 列式存储:

列中重复数据越多,压缩率越高。

不同数据类型采用不同压缩算法,进一步提升压缩性能。

在存算分离部署模式下无需备份,进一步节约成本。

相关文章
数据湖技术架构是什么 数据湖对企业的作用
我们经常会听见数据中心和数据库,因为它在我们的生活当中无处不在,但是很多人可能并不知道数据湖是什么,因为在日常生活中,数据湖似乎并不常见,但是它运用的领域是非常多的,下面将为大家介绍数据湖技术架构。
用户8715145
2021-10-19
8180
数据湖技术深度分析:主流产品功能对比
gavin1024
2025-07-28
2140
数据湖是什么意思?数据湖有哪些价值?
现在社会处于互联网飞速发展的时代,互联网技术的不断发展也让现在社会中信息传播速度越来越快,每个人随时随地都可以使用手机或者电脑访问互联网,在互联网上面会接触到各种各样的数据,无论是对于个人还是企业来说数据量都是非常庞大的,庞大的数据保存就是非常麻烦的问题,数据除了可以保存在各种存储硬件上面之外,现在还引入了数据湖的概念,那么数据湖是什么意思?数据湖有哪些价值?
用户8715145
2021-10-19
9770
荐读|数据湖是什么东东 数据湖的四个最佳实践
数据湖听起来很简单:把数据或信息汇集到一个结合处理速度和存储空间的大数据系统――Hadoop集群或内存解决方案,那样业务部门就能访问数据,获取新的洞察力。不过,与IT行业的许多技术一样,现实比梦想困难
灯塔大数据
2018-04-09
9390
腾讯安全发布云原生安全数据湖
安全日志记录着企业服务器、云基础设施、应用程序等的全部执行过程,对日志数据进行追溯分析,可以准确清晰地了解企业 IT 设施状况、排查安全隐患、检索故障源头等。
深度学习与Python
2023-09-24
9630
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券