CDP DC安全概述

大数据杂货铺

发布于 2020-02-11 16:03:42

9110

发布于 2020-02-11 16:03:42

文章被收录于专栏：大数据杂货铺

—

Cloudera 安全概述

作为旨在支持大量和类型的数据的系统，Cloudera集群必须满足监管机构，政府，行业和公众提出的不断发展的安全要求。Cloudera集群包含Hadoop核心和生态系统组件，必须保护所有这些组件免受各种威胁，以确保所有集群服务和数据的机密性、完整性和可用性。

—

安全要求

数据管理系统的目标（例如机密性，完整性和可用性）要求在多个维度上对系统进行保护。可以根据总体操作目标和技术概念来表征这些特征，如下图所示：

外围访问群集必须受到保护，以防止来自内部和外部网络以及各种角色的各种威胁。例如，可以通过正确配置防火墙，路由器，子网以及正确使用公用和专用IP地址来提供网络隔离。身份验证机制可确保人员，流程和应用程序正确获得集群的身份，并在获得对集群的访问权限之前证明自己的身份。
数据必须始终保护群集中的数据免遭未经授权的暴露。同样，必须保护群集中节点之间的通信。加密机制可确保即使不良行为者拦截了网络数据包或从系统上物理删除了硬盘驱动器，其内容也不可用。
访问权限必须明确授予对群集中任何特定服务或数据项的访问权限。授权机制可确保用户对集群进行身份验证后，他们只能看到数据并使用已被授予特定权限的进程。
可见性可见性意味着数据更改的历史是透明的，并且能够满足数据治理策略。审核机制可确保对数据及其沿袭的所有操作（源，随时间的变化等）在发生时均记录在案。

确保集群安全以实现特定的组织目标涉及使用Hadoop生态系统固有的安全功能以及使用外部安全基础架构。各种安全机制可以在一定范围内应用。

—

安全等级

下图显示了可以为Cloudera集群实现的安全级别范围，从非安全（0）到最安全（3）。随着群集上数据的敏感度和数据量的增加，为群集选择的安全级别也应增加。

有了3级安全性，您的Cloudera集群就可以完全符合各种行业和法规要求，并可以在必要时进行审核。下表更详细地描述了这些级别：

级别	安全	特点
0	不安全	未配置安全性。非安全集群绝对不能在生产环境中使用，因为它们容易受到任何和所有攻击和利用。
1个	最小	配置用于身份验证，授权和审核。首先配置身份验证，以确保用户和服务仅在证明其身份后才能访问群集。接下来，应用授权机制为用户和用户组分配特权。审核过程跟踪谁访问群集（以及如何访问）。
2	更多	敏感数据已加密。密钥管理系统处理加密密钥。已经为元存储中的数据设置了审核。定期检查和更新系统元数据。理想情况下，已经设置了集群，以便可以跟踪任何数据对象的沿袭（数据管理）。
3	最安全	安全企业数据中心（EDH）是其中所有数据（包括静态数据和传输中数据）都经过加密并且密钥管理系统具有容错能力的企业。审核机制符合行业，政府和法规标准（例如PCI，HIPAA和NIST），并从EDH扩展到与其集成的其他系统。群集管理员训练有素，安全程序已通过专家认证，并且群集可以通过技术审查。

—

Hadoop安全架构

下图是生产型Cloudera企业集群中许多工作组件中某些组件的示例。该图突出显示了需要保护可能从内部和外部数据馈送以及可能跨多个数据中心摄取数据的群集的安全性的需求。要确保群集安全，就需要在所有许多内部和内部连接中以及要查询，运行作业甚至查看群集中保存的数据的所有用户中应用身份验证和访问控制。

外部数据流通过适用于Flume和Kafka的机制进行身份验证。使用Sqoop从旧数据库中提取数据。数据科学家和BI分析师可以使用诸如Hue之类的界面来处理Impala或Hive上的数据，以创建和提交作业。可以利用Kerberos身份验证来保护所有这些交互。
可以使用透明的HDFS加密和企业级密钥受托者服务器将加密应用于静态数据。Cloudera还建议使用Navigator Encrypt保护与Cloudera Manager，Cloudera Navigator，Hive和HBase元存储关联的群集上的数据以及任何日志文件或溢出。
可以使用Sentry（针对Hive，Impala和Search等服务）以及HDFS访问控制列表来实施授权策略。
可以使用Cloudera Navigator提供审核功能。