4A 安全体系建设：统一账号、认证、授权和审计

由于 Hadoop、HBase、Spark 等大数据系统在设计之初对安全问题考虑不充分，需要对大数据平台进行安全加固，其中最重要的是建立大数据环境下的4A 体系（账号 Account、认证 Authentication、授权 Authorization、审计 Audit）。

1. 统一账号系统

大数据平台基于 LDAP 实现大数据统一账号系统，对大数据平台各个组件的系统账号、用户账号进行集中、安全的管理。

1. 统一账号系统基于 LDAP 实现下面的账号管理功能：
2. 系统管理员增、删、改、查用户和组账号
3. 系统管理员设置组的组管理员
4. 系统管理员设置密码安全策略
5. 组管理员增、删、改、查对应组的用户账号
6. 审计日志与统一审计系统对接，实现账号管理的集中审计

统一账号系统提供 Web 界面方便管理员进行日常操作，并提供 RESTful https 接口与大数据平台或者第三方组件与进行对接和账号打通，实现安全、集中的统一账号管理。

2. 统一认证系统

大数据平台基于 Kerberos 和IP 白名单实现大数据统一认证系统，从安全证书和网络 IP 两个维度交叉对平台用户进行身份认证，合法的用户可以进行操作，非法的用户会被拒绝不能进行操作。

平台实现了 HDFS、HBase、Hive、YARN、MapReduce、YARN、Kafka、TransferX、BigManager、BigPlorer 等组件的 Kerberos 认证机制。

为了防止 Kerberos 证书被泄露或者误用，大数据平台还在 Kerberos 基础上进行认证加固，基于 IP 白名单对访问者的 IP 进行认证，被授权合法的 IP+用户组合才能访问平台，未授权的 IP 即使有 Kerberos 证书也无法正常访问平台，从而降低 Kerberos 证书被泄露的安全风险。

3. 统一授权系统

大数据平台实现基于 RBAC 模型的大数据统一授权系统，通过角色和权限两个维度对平台用户进行身份授权，具有合法权限的用户可以进行操作，不具备权限的用户会被拒绝不能进行操作。

基于角色的访问控制 RBAC 授权系统实现如下的功能：

1、基于角色进行访问控制和授权，对角色进行的授权会对这个角色的所有用户生效，可以方便的对一组用户进行批量授权和回收。用户默认属于自己和所属组两个角色，可以根据授权的需要创建新的角色并赋予相应的权限，然后在角色中增加和删除用户实现授权和回收。

2、访问控制和授权的粒度可以根据需要细化，包括授权的主体、客体、权限等各个维度。

3、提供可视化 Web 页面对统一授权系统进行操作。普通用户可以在 Web 页面上查看自己的角色和权限，申请新的权限。组管理员和管理员可以审批普通用户的权限申请，对已有的角色和权限进行修改。

4、可扩展的插件化机制，提供统一的服务端和 RBAC 客户端插件机制支持不同组件的集中授权管理，目前已经实现 HDFS、HBase、Hive、YARN、Kafka 等组件的 RBAC 授权管理，新的组件和系统可以通过调用 RBAC 客户端插件或 RESTful API 很方便的与授权系统进行对接。

5、安全可靠的授权机制，一方面 RBAC 服务端和客户端之间通过 https 进行通信，避免授权信息在网络中被监听或篡改，另一方面 RBAC 客户端将服务端的访问控制列表缓存到内存中，不读写本地文件，避免主机被攻破后修改配置文件绕过授权系统。

统一授权系统的架构如下：

HDFS/HBase/Hive/Yarn/Kafka 插件运行在各相应集群中，用户的每个操作都需经过插件来验证授权信息。各插件会定时的跟权限服务中心同步权限权限数据；大数据平台实现 RBAC 基于角色的访问控制授权系统对数据进行严格的访问控制，用户默认只对自己的数据有访问权限，需要访问其他用户的数据首先要获得访问控制授权。

为了实现最小化授权和访问控制，大数据平台的访问控制授权系统从多个方面进行细粒度的权限控制，包括：

1. 访问的主体：细化到用户或者用户+程序。普通数据访问授权细化到用户，高密级数据访问授权细化到某个用户的某个程序，授权的程序需要进行代码审查和备案，可以有效防止通过拷贝数据转储等方式滥用授权的数据。
2. 访问的客体：细化到结构化数据的表、字段，非结构化数据的目录、文件、对象、文档。
3. 访问的权限：细化到结构化数据 show/desc/select/update/delete /insert 等，非结构数据的读、写、查找等。
4. 访问的有效期：可细化指定授权的截止时间，在截止时间之前的有效期内访问授权有效，有效期过后授权自动失效权限自动收回。
5. 访问的时间段：可细化指定授权允许的时间段，比如工作日的工作时间段，防止在非预期的时间数据被访问。
6. 访问的来源：可细化指定授权访问的来源 IP，限定只能通过某个/某些 IP 来源的请求才能访问授权数据，防止被授权账号被窃取或故意在非预期的设备/主机上使用。

4. 统一审计系统

大数据平台基于审计日志实现大数据统一审计系统，支持通用的日志收集模块和高危操作实时告警功能，允许审计员对日志设置多样化多维度的过滤规则，在海量数据中实时、精准的识别高危操作。同时审计系统对收集的日志支持全文检索，方便审计员快速回溯用户行为。

平台支持 HDFS、HBase、Hive、Yarn 组件的审计，且支持多样性的告警方式。统一审计平台实现如下功能：

1. 基于日志进行统一的审计，收集各个组件的审计日志，进行集中存储，检索，分析，告警。
2. 审计日志存储采用经过加固的 ElasticSearch，数据只能新增和按照日期淘汰清理，不能手动修改或删除，保护审计日志不会被恶意篡改和清除。
3. 提取审计日志中结构化信息，包括集群，用户，IP，操作，对象，时间等，对不同的审计日志做统一的结构化处理，展示，分析等。
4. 交互式的审计日志检索，可以对结构化的集群，用户，IP，操作，对象，时间等字段进行精确检索，也可以对原始日志做模糊检索。
5. 自定义的告警策略，支持等值，包含，正则等多种日志匹配规则，支持邮件，短信等告警方式。
6. 可扩展的统一审计架构，新的组件或系统可以方便地整合到统一审计系统中，只需要采集审计日志，配置/开发日志解析，定义告警策略，就可以实现集中的审计管理。