由于 Hadoop、HBase、Spark 等大数据系统在设计之初对安全问题考虑不充分,需要对大数据平台进行安全加固,其中最重要的是建立大数据环境下的4A 体系(账号 Account、认证 Authentication、授权 Authorization、审计 Audit)。

1 统一账号系统

大数据平台基于 LDAP 实现大数据统一账号系统,对大数据平台各个组件的系统账号、用户账号进行集中、安全的管理。

  1. 统一账号系统基于 LDAP 实现下面的账号管理功能:
  2. 系统管理员增、删、改、查用户和组账号
  3. 系统管理员设置组的组管理员
  4. 系统管理员设置密码安全策略
  5. 组管理员增、删、改、查对应组的用户账号
  6. 审计日志与统一审计系统对接,实现账号管理的集中审计

统一账号系统提供 Web 界面方便管理员进行日常操作,并提供 RESTful https 接口与大数据平台或者第三方组件与进行对接和账号打通,实现安全、集中的统一账号管理。

2 统一认证系统

大数据平台基于 Kerberos 和 IP 白名单实现大数据统一认证系统,从安全证书和网络 IP 两个维度交叉对平台用户进行身份认证,合法的用户可以进行操作,非法的用户会被拒绝不能进行操作。

平台实现了 HDFS、HBase、Hive、YARN、MapReduce、YARN、Kafka、TransferX、BigManager、BigPlorer 等组件的 Kerberos 认证机制。

为了防止 Kerberos 证书被泄露或者误用,大数据平台还在 Kerberos 基础上进行认证加固,基于 IP 白名单对访问者的 IP 进行认证,被授权合法的 IP+用户组合才能访问平台,未授权的 IP 即使有 Kerberos 证书也无法正常访问平台,从而降低 Kerberos 证书被泄露的安全风险。

3 统一授权系统

大数据平台实现基于 RBAC 模型的大数据统一授权系统,通过角色和权限两个维度对平台用户进行身份授权,具有合法权限的用户可以进行操作,不具备权限的用户会被拒绝不能进行操作。

基于角色的访问控制 RBAC 授权系统实现如下的功能:

1、基于角色进行访问控制和授权,对角色进行的授权会对这个角色的所有用户生效,可以方便的对一组用户进行批量授权和回收。用户默认属于自己和所属组两个角色,可以根据授权的需要创建新的角色并赋予相应的权限,然后在角色中增加和删除用户实现授权和回收。

2、访问控制和授权的粒度可以根据需要细化,包括授权的主体、客体、权限等各个维度。

3、提供可视化 Web 页面对统一授权系统进行操作。普通用户可以在 Web 页面上查看自己的角色和权限,申请新的权限。组管理员和管理员可以审批普通用户的权限申请,对已有的角色和权限进行修改。

4、可扩展的插件化机制,提供统一的服务端和 RBAC 客户端插件机制支持不同组件的集中授权管理,目前已经实现 HDFS、HBase、Hive、YARN、Kafka 等组件的 RBAC 授权管理,新的组件和系统可以通过调用 RBAC 客户端插件或 RESTful API 很方便的与授权系统进行对接。

5、安全可靠的授权机制,一方面 RBAC 服务端和客户端之间通过 https 进行通信,避免授权信息在网络中被监听或篡改,另一方面 RBAC 客户端将服务端的访问控制列表缓存到内存中,不读写本地文件,避免主机被攻破后修改配置文件绕过授权系统。

统一授权系统的架构如下:

统一授权系统
统一授权系统

HDFS/HBase/Hive/Yarn/Kafka 插件运行在各相应集群中,用户的每个操作都需经过插件来验证授权信息。各插件会定时的跟权限服务中心同步权限权限数据;大数据平台实现 RBAC 基于角色的访问控制授权系统对数据进行严格的访问控制,用户默认只对自己的数据有访问权限,需要访问其他用户的数据首先要获得访问控制授权。

为了实现最小化授权和访问控制,大数据平台的访问控制授权系统从多个方面进行细粒度的权限控制,包括:

  1. 访问的主体:细化到用户或者用户+程序。普通数据访问授权细化到用户,高密级数据访问授权细化到某个用户的某个程序,授权的程序需要进行代码审查和备案,可以有效防止通过拷贝数据转储等方式滥用授权的数据。
  2. 访问的客体:细化到结构化数据的表、字段,非结构化数据的目录、文件、对象、文档。
  3. 访问的权限:细化到结构化数据 show/desc/select/update/delete /insert 等,非结构数据的读、写、查找等。
  4. 访问的有效期:可细化指定授权的截止时间,在截止时间之前的有效期内访问授权有效,有效期过后授权自动失效权限自动收回。
  5. 访问的时间段:可细化指定授权允许的时间段,比如工作日的工作时间段,防止在非预期的时间数据被访问。
  6. 访问的来源:可细化指定授权访问的来源 IP,限定只能通过某个/某些 IP 来源的请求才能访问授权数据,防止被授权账号被窃取或故意在非预期的设备/主机上使用。

4 统一审计系统

大数据平台基于审计日志实现大数据统一审计系统,支持通用的日志收集模块和高危操作实时告警功能,允许审计员对日志设置多样化多维度的过滤规则,在海量数据中实时、精准的识别高危操作。同时审计系统对收集的日志支持全文检索,方便审计员快速回溯用户行为。

平台支持 HDFS、HBase、Hive、Yarn 组件的审计,且支持多样性的告警方式。统一审计平台实现如下功能:

  1. 基于日志进行统一的审计,收集各个组件的审计日志,进行集中存储,检索,分析,告警。
  2. 审计日志存储采用经过加固的 ElasticSearch,数据只能新增和按照日期淘汰清理,不能手动修改或删除,保护审计日志不会被恶意篡改和清除。
  3. 提取审计日志中结构化信息,包括集群,用户,IP,操作,对象,时间等,对不同的审计日志做统一的结构化处理,展示,分析等。
  4. 交互式的审计日志检索,可以对结构化的集群,用户,IP,操作,对象,时间等字段进行精确检索,也可以对原始日志做模糊检索。
  5. 自定义的告警策略,支持等值,包含,正则等多种日志匹配规则,支持邮件,短信等告警方式。
  6. 可扩展的统一审计架构,新的组件或系统可以方便地整合到统一审计系统中,只需要采集审计日志,配置/开发日志解析,定义告警策略,就可以实现集中的审计管理。
目 录
  1. 1 统一账号系统
  2. 2 统一认证系统
  3. 3 统一授权系统
  4. 4 统一审计系统

相关文章

  • 双排微模块数据中心解决方案:项目概况

    双排微模块数据中心解决方案:项目概况

    随着云计算、物联网等信息技术的高速发展,原有传统机房越来越不适应业务应用快速发展的需要,机房升级改造势在必行。越来越多的政府机构、企事业单位在新建或改建数据机房的时候,都倾向于使用更精致、安全、灵活的模块化数据中心解决方案。 本”微模块数据中心、双排模块化机房效果图及整体解决方案“是基于真实案例,即一个新建档案馆的数据机房,结合众平网站分享的需要,做了一定的删减发表,文章结构见本页末,原文档**数据中心方案书共 90 页,由单排和双排方案组成,图片图表详实,需要的请联系原厂商。文章列表: 随着信…

  • 设备入网安全检查办法,入网检查清单

    设备入网安全检查办法,入网检查清单

    为减少新入网用户的计算机可能带来的风险, 全面保办公室计算机网络的安全,特对办公室新入网用户的计算机做安全检查。 第二章 范围 第二条 新入网用户包括 第三章 管理细则 第三条 对新入网用户的计算机检查的主要项目包括: 第四条 检查系统关键补丁 关键补丁检查主要检测系统是否开启了“自动更新补丁” 选项,如果目标系统未及时安装补丁,可能随时导致系统漏洞被恶意程序利用,最终导致恶意程序在局域网内传播,干扰正常用户。 第五条 检查恶意插件与木马 使用 XXXX 对系统进行完整的恶意插件与流行木马检查。…

  • 弱电项目中的安全性设计:网络安全、系统安全、物理安全和数据安全

    弱电项目中的安全性设计:网络安全、系统安全、物理安全和数据安全

    电系统工程主要指通讯自动化、楼宇自动化、办公自动化、消防自动化和保安自动化,当然信息化技术发展至今,弱电系统已远不止于此,具体可以看看这篇文章:什么是弱电智能化系统集成?主要包括哪些系统?本篇众平给各位说说一般信息化系统中的安全性设计。 网络安全设计要求 在弱电系统规划设计环节应结合信息安全需求,落实必要的安全防护和技术保障措施。 系统自身安全功能 账号权限设计。按照系统安全要求,本系统采用角色-模块化-权限-功能四位一体的方案来实现账号权限管理,具体如下: 角色:如系统管理员角色,系统操作员角…

  • 模块化数据中心解决方案:冷通道密闭系统

    模块化数据中心解决方案:冷通道密闭系统

    本”微模块数据中心、双排模块化机房效果图及整体解决方案“是基于真实案例,即一个新建档案馆的数据机房,结合众平网站分享的需要,做了一定的删减发表,文章结构见本页末,原文档**数据中心方案书共 90 页,由单排和双排方案组成,本部分内容是模块化数据中心具体选型时涉及到的冷通道建设方案,以下是本系列文章列表: 针对本项目,采用密闭“冷通道”设计方案,密闭冷通道结构由冷通道端门、天窗组件、IT 机柜(正面)、精密空调(正面)、UPS 主机(正面)、智能配电柜(正面)共同组成,缺一不可。采用密闭“冷通道”…

  • 信息系统工程实施管理

    信息系统工程实施管理

    第一章 目的 第一条 为了规范重庆 XX 中学信息系统建设管理和工程实施管理,在工程实施各个环节按照信息安全等级保护要求进行管理,特制定本管理规范。 第二章 范围 第二条 本规范适用于重庆 XX 中学信息系统建设管理和工程实施管理。 第三章 职责 第三条 网络安全办公室负责系统建设管理和工程实施管理。 第四章 管理细则 第四条 工程实施阶段的主要目的是将所有的模块(软硬件)集成为完整的系统,并且检查确认集成以后的系统符合要求。 第五条 本阶段应完成以下具体信息安全工作: 第六条 安全建设整改工程…

  • 监控中心管理制度、监控室管理制度模板

    监控中心管理制度、监控室管理制度模板

    本《监控中心管理制度》是我司此前应用与一普通中学的弱电工程项目中,系作为机房建设服务内容的一部分(本项目中监控室和网络机房共用一室)。监控中心管理制度通用性强,适合各种应用环境,内容不多不少做一块挂墙的展板刚刚合适,各位同行可结合实际做一定的修改。 结合个人经验,我们认为再好的物理、设备环境,如果缺失了对应的管理制度,那么这个系统都不堪一击,要么逐渐臃肿失控,要么被攻击控制。 学校监控中心是学校视频监控系统、安防系统、网络系统的控制中心,为了加强管理,确保各系统的正常使用和安全运作,充分发挥其作…

- 联 系 我 们 -

+86 186-2315-0440

在线咨询:点击这里给我发消息

电子邮箱:i@zzptech.com

工作时间:7*24h,全年无休

关注微信