安全数据湖

安全数据湖的产品功能是什么？

数据接入

用户可以简单方便地将日志数据采集到产品中并进行集中管理。支持多种数据接入方式，如：Syslog/Kafka/Elasticsearch/MySQL/beats/API 等。分布式采集器（Agent/代理）支持在多云或混合云环境下收取、过滤、压缩，实现异地日志的数据采集和高效接入。

数据解析

数据解析是对接入到产品的数据进行标准化和规范化，以方便在产品进行存储和分析处理。主要操作包括清洗、过滤、标准化、关联补齐等处理。产品支持多种快速解析的方案，强大且易用的解析配置能力，支持多种解析方式，如 JSON、CEF、分隔符、正则表达式等，同时产品内置脚本解析引擎，方便扩展定制化的解析需求。

数据存储

数据存储用于对采集上来的不同类型的日志进行分类存储，以满足数据检索、查询、分析和可视化需求；可以对不同类型、不同价值的数据，执行不同的存储策略，以在成本和收益间取得理想的平衡。

检索分析

产品对输入的日志进行高效处理，方便用户快速地分析处理海量日志数据，日志数据写入后可被快速查询分析；亿级日志检索支持快速返回结果；日志分析可快速聚合亿级数据。用户可以通过产品构建海量数据交互式分析，对海量数据进行多维度、交互式的统计分析。产品支持简单检索分析、SQL 分析和 SPL 分析语法。

实时分析任务

产品支持实时分析任务，对日志进行检索分析。可用于日常的、例行的分析作业。

仪表板和报表

产品提供从数据源接入、数据分析到数据可视化分析全流程的 BI 能力，帮助用户快速获取决策数据依据。系统采用敏捷自助式设计，用户仅需通过简单拖拽即可完成原本复杂的报表开发过程。通过自定义仪表板视图及其可见范围，可以提高日志的可视性，以充分利用数据的价值进行精细化运营、辅助决策。通过丰富的可视化组件和交互式分析能力为用户提供强大的图表分析能力。

安全数据湖的产品功能是什么？

新一代架构 MPP

新一代大数据架构 MPP（Massively Parallel Processing）是更加全面、高效、可靠和智能的大数据处理架构。它采用了分布式数据库的设计理念，使各个节点之间共同协作，实现数据的并行处理。新一代 MPP 支持更多的数据类型和计算任务，提供更高效的数据存储和查询能力。主要特性包括：

• 全数据可查

打破传统系统对冷热数据的定义，所有数据支持即时查询能力，支持对 PB 级大数据集的快速交互式查询和分析。

• 高可用

存算分离部署模式下，系统无需数据备份即可提供高可用性；在存算一体部署模式下，系统提供实时备份功能。

• 存算分离

存储和计算分离，可以实现大规模数据存储和计算的分布式处理，满足不同应用场景的高并发、高扩展性等需求。如计算资源支持硬件服务器、虚拟机、容器；存储支持本地磁盘、对象存储等。

• 混合数据存储

同时支持行存储和列存储，以适应数据处理和分析任务的多样性。

• 弹性扩展

具备弹性扩展的能力，可以根据业务需求自动扩展计算和存储资源。

• 安全可靠

提供更细粒度的数据访问控制和保护机制，以确保数据的安全性和可靠性。

简单易用

产品提供一站式数据接入、采集、处理、存储、智能分析、检索和可视化 BI。确保产品的使用体验简单、易懂、方便，让用户可以快速上手，从而提高用户的满意度和产品的易用性。如：

• 数据接入：支持多数日志采集方式，灵活应对业务需求。预置多种规则，开箱可用。
• 交互式查询分析：支持对 PB 级数据进行实时分析。

SQL 支持：零基础使用，所见即所得，完全兼容标准 SQL 语法。

SPL 支持：高阶分析、无缝迁移，SPL 完全兼容 Splunk 语法。

• 可视化 BI：所见即所得。

自定义仪表板。

自定义图表。

自定义报表。

• 易运维：一键扩容、快速切换。
• 易扩展：支持 App/插件化定制开发。

高性能

无索引、列存、基于代价的优化，带来高性能。高性能实现如：

• MPP + Streaming：查询任务拆分成多个独立执行的子任务，子任务间并行执行并通过数据流形式进行数据传输，实时返回结果。
• 存算分离：实现彻底的存储计算分离（对象存储下），冷数据存储在对象存储中，热数据缓存在计算节点，提供低成本高性能、快速弹性扩容等能力。
• 协程 + 高性能 IO（AsyncIO）： 减少系统资源消耗，提高 IO 吞吐量，加速查询速度。

高性价比

• 无索引：

避免索引带来的成本开销。

• 列式存储：

列中重复数据越多，压缩率越高。

不同数据类型采用不同压缩算法，进一步提升压缩性能。

在存算分离部署模式下无需备份，进一步节约成本。

安全数据湖的应用场景有哪些？

安全数据湖为用户提供数据源接入、采集、处理、存储、分析、检索和可视化 BI 等功能。能够为用户不同的应用场景和业务目标，提供强大的平台支撑、智能分析和可视化能力。

威胁分析

产品集成威胁情报能力，可实时进行情报匹配实现在线威胁发现。也可以将威胁情报和历史的海量安全数据进行匹配，发现潜伏的安全威胁。另外产品支持 SQL/SPL 查询分析语言，可对海量安全数据进行分析挖掘，主动发现威胁。

解决企业难以在海量数据中发现威胁及攻击行为的痛点，利用现有安全设备日志采集和腾讯威胁情报，帮助安全运营团队快速提升威胁发现能力。

威胁溯源

将网络流量、系统日志、应用日志、安全产品告警等海量数据低成本存入产品。通过产品的 PB 级数据快速查询能力，可实现高危安全事件、潜伏网络攻击事件的上下文查询分析，从而实现完整性溯源取证和定损，提升企业威胁溯源能力，发现更多潜在的未知风险。

日志审计

采集日志到产品，通过检索快速分析其访问行为，例如某个账号、某个对象的操作记录等，判断是否存在违规操作，通过数据存储对日志数据进行长时间保存。

运维监控

将分散在集群各个节点的重要日志数据采集到产品进行统一管理，通过关键词检索可快速搜索出异常事件的日志，定位问题节点，结合上下文查询能力将异常事件的调用链完整还原，同时支持将数据存储至数据库表并进行生命周期管理。

数据治理及挖掘

采集多种业务打点数据，解析并存储，通过灵活的数据检索，快速分析和挖掘数据中的价值，为业务运转提供有效的判断依据。例如业务运营活动数据分析，用户行为及画像分析等。为数据中台提供多样化、易用、高效的数据治理平台。

产品通过多种方式展现数据，例如折线图、柱状图、散点图、雷达图等，以便用户在数据中发现新的关系或趋势。同时，通过多种数据挖掘技术，例如聚类分析、关联规则、分类和预测、时间序列分析、异常检测等，为用户提供了许多机会来发现在数据中隐藏的模式和规律。解决企业业务运营状况监控、业务数据分析的需求，帮助企业从数据中发现规律、找到问题、开拓商业机会。

安全数据湖支持哪些部署方式？

安全数据湖支持 SaaS 和私有化两种安装部署方式。

安全数据湖支持哪些来源数据？

支持通过 Kafka、Syslog、TCP、UDP 等方式将数据接入安全数据湖。