腾讯安全湖：云原生一体化安全大数据分析平台

一、 产品定位与核心亮点

腾讯安全湖是一款云原生、低成本、高性能、自研且全栈国产化的安全大数据分析产品。产品定位为 PB 级安全数据智能分析平台。

核心技术属性：

底层采用腾讯自研数据底座引擎，摒弃传统方案，创新性地采用“列存储”与“无索引”技术，打造出极致压缩比的一体化数据采集、存储与分析引擎。

商业差异化卖点：

• 具备对 PB 级安全数据进行秒级检索的高效分析能力。
• 全技术栈满足国产化信创要求。
• 在同等规模数据量下，硬件存储成本仅为 Elasticsearch (ES) 的 1/10。
• 提供丰富的场景化 APP，并具备灵活的“插件化”安全应用开发能力。

二、 产品应用场景

• 全流量数据存储与深度分析：适用于企业需要排查失陷和入侵风险的安全运营场景。基于全流量数据，支持长周期数据回溯，可对 180 天以上的全流量数据开展情报检测、漏洞检测、调查取证及威胁可视化分析。
• APT 攻击识别与威胁回溯：适用于对抗长期潜伏与未知威胁的场景。安全人员基于 APT 攻击的 IOC、黑客工具和攻击技战术（ttps），进行自动化攻击回溯与持续跟踪扫描。
• 0day 漏洞及时响应与风险排查：适用于突发新 0day 漏洞的安全应急响应。根据漏洞信息回扫历史数据，通过内置或自定义的 0day 狩猎规则，快速定位历史漏洞利用情况和正在进行的攻击痕迹。
• 现有 SOC 架构优化升级：适用于传统 SOC 在处理海量及长周期历史数据时遇到性能和成本瓶颈的场景。升级至安全湖处理后，不仅可极大降低节点数和存储成本，还支持更灵活的语法查询与 180 天以上历史数据回溯。
• Splunk 国产化替换：适用于面临国产化替代压力的大型政企。产品满足全栈国产化技术要求，完美兼容 SPL 语法检索规则和 dashboard，支持告警规则无损迁移及图表报表还原。

三、 应用框架和功能介绍

功能框架

平台采用 “高性能数据平台” + “一体化智能分析引擎” 的双核架构：

• 数据采集层：全面覆盖本地数据源（安全、网络、服务、Web、终端、身份）、私有云及公有云的海量数据。
• 数据分析层：基于自研一体化数据引擎构建灵活实时的数据表，涵盖数据检索、监控&告警、分析&报表、可视化 BI 及安全应用开发等核心模块。
• 安全场景层：聚焦支撑企业的智能安全运营、安全分析与智能安全转型。

硬核指标

• 数据规模与性能：支持 PB 级海量数据秒级检索；支持 百亿级存量日志高效处理。
• 溯源周期：支持 180 天以上的长周期历史数据与全流量数据回溯。
• 资源成本：同等规模硬件存储成本仅为 ES 的 1/10；整体存储成本下降达 80%。
• 数据压缩：实现 20 倍以上的数据压缩比。
• 分析能力：内置 超 16 种数据解析方法/函数。

产品优势

• 极致的降本增效：通过“列存储”与“无索引”技术实现 20 倍以上的数据极致压缩比，节省 80% 的存储成本，打破传统数据堆叠的成本壁垒。
• 超强的数据穿透与检索能力：实现 PB 级海量数据的秒级查询，保障百亿级日志数据完整无忧，极大提升安全大数据分析效率。
• 长周期溯源保障：告警与原始安全数据生命周期长，具备 180 天以上的攻击事件取证、威胁调查和狩猎能力。
• 自动化威胁发现体系：无缝集成 NDR 网络流量数据，并内置腾讯情报、腾讯漏洞库及专家规则，实现针对 0day 漏洞和 APT 攻击的自动化历史回扫。
• 全生态国产化与高度兼容性：底层引擎完全自主研发，全技术栈达到信创标准，且能高度兼容替换国外成熟竞品（如 Splunk）的操作与分析逻辑。
• 一体化扩展性：支持存算分离与云原生架构，提供标准化接口与“插件化”应用扩展能力，全面提升企业安全运营的智能化水平。

荣誉背书

(注：提供的原文档材料中未提及相关荣誉或奖项信息。)

四、 典型案例

案例 1：互联网公司案例

• 背景：该互联网公司业务横跨内容、电商和直播等多个领域，拥有超百万量级的活跃用户。企业每天产生海量极具安全分析价值的运行和交互数据，传统的 ELK（如 ES）开源数据平台在面对如此庞大的日志规模时，面临计算存储资源消耗巨大、查询响应慢的业务困境。
• 解决方案：针对客户的安全分析痛点，构建了云原生安全数据湖解决方案。平台提供强大的数据采集汇聚能力，并利用云原生与存算分离技术实现资源的弹性伸缩。通过打造一体化安全分析平台打通工作流，支持 PB 级数据分析、未知威胁发现和快速威胁狩猎。
• 成效：
  • 数据吞吐：在腾讯云原生数据湖单日写入峰值超过 7.21TB。
  • 资源成本极效降低：计算/存储综合资源成本仅为原有 ES 架构的 14.2%。
  • 极致压缩释放空间：日志压缩比高达 16:1，相较于 ES 架构提升了 8 倍。
  • 检索效率全面飞跃：日常平均查询响应时间缩短为 ES 的 82%；在面对聚合查询等复杂场景时，响应时间大幅缩减至 ES 的 1/5，为安全风险的预防和发现提供了充足的辅助决策效率。