由于Hadoop、HBase、Spark等大数据系统在设计之初对安全问题考虑不充分,需要对大数据平台进行安全加固,其中最重要的是建立大数据环境下的4A体系(账号Account、认证Authentication、授权Authorization、审计Audit)。

1 统一账号系统

大数据平台基于LDAP实现大数据统一账号系统,对大数据平台各个组件的系统账号、用户账号进行集中、安全的管理。

  1. 统一账号系统基于LDAP实现下面的账号管理功能:
  2. 系统管理员增、删、改、查用户和组账号
  3. 系统管理员设置组的组管理员
  4. 系统管理员设置密码安全策略
  5. 组管理员增、删、改、查对应组的用户账号
  6. 审计日志与统一审计系统对接,实现账号管理的集中审计

统一账号系统提供Web界面方便管理员进行日常操作,并提供RESTful https接口与大数据平台或者第三方组件与进行对接和账号打通,实现安全、集中的统一账号管理。

2 统一认证系统

大数据平台基于Kerberos和IP白名单实现大数据统一认证系统,从安全证书和网络IP两个维度交叉对平台用户进行身份认证,合法的用户可以进行操作,非法的用户会被拒绝不能进行操作。

平台实现了HDFS、HBase、Hive、YARN、MapReduce、YARN、Kafka、TransferX、BigManager、BigPlorer等组件的Kerberos认证机制。

为了防止Kerberos证书被泄露或者误用,大数据平台还在Kerberos基础上进行认证加固,基于IP白名单对访问者的IP进行认证,被授权合法的IP+用户组合才能访问平台,未授权的IP即使有Kerberos证书也无法正常访问平台,从而降低Kerberos证书被泄露的安全风险。

3 统一授权系统

大数据平台实现基于RBAC模型的大数据统一授权系统,通过角色和权限两个维度对平台用户进行身份授权,具有合法权限的用户可以进行操作,不具备权限的用户会被拒绝不能进行操作。

基于角色的访问控制RBAC授权系统实现如下的功能:

1、基于角色进行访问控制和授权,对角色进行的授权会对这个角色的所有用户生效,可以方便的对一组用户进行批量授权和回收。用户默认属于自己和所属组两个角色,可以根据授权的需要创建新的角色并赋予相应的权限,然后在角色中增加和删除用户实现授权和回收。

2、访问控制和授权的粒度可以根据需要细化,包括授权的主体、客体、权限等各个维度。

3、提供可视化Web页面对统一授权系统进行操作。普通用户可以在Web页面上查看自己的角色和权限,申请新的权限。组管理员和管理员可以审批普通用户的权限申请,对已有的角色和权限进行修改。

4、可扩展的插件化机制,提供统一的服务端和RBAC客户端插件机制支持不同组件的集中授权管理,目前已经实现HDFS、HBase、Hive、YARN、Kafka等组件的RBAC授权管理,新的组件和系统可以通过调用RBAC客户端插件或RESTful API很方便的与授权系统进行对接。

5、安全可靠的授权机制,一方面RBAC服务端和客户端之间通过https进行通信,避免授权信息在网络中被监听或篡改,另一方面RBAC客户端将服务端的访问控制列表缓存到内存中,不读写本地文件,避免主机被攻破后修改配置文件绕过授权系统。

统一授权系统的架构如下:

统一授权系统
统一授权系统

HDFS/HBase/Hive/Yarn/Kafka插件运行在各相应集群中,用户的每个操作都需经过插件来验证授权信息。各插件会定时的跟权限服务中心同步权限权限数据;大数据平台实现RBAC基于角色的访问控制授权系统对数据进行严格的访问控制,用户默认只对自己的数据有访问权限,需要访问其他用户的数据首先要获得访问控制授权。

为了实现最小化授权和访问控制,大数据平台的访问控制授权系统从多个方面进行细粒度的权限控制,包括:

  1. 访问的主体:细化到用户或者用户+程序。普通数据访问授权细化到用户,高密级数据访问授权细化到某个用户的某个程序,授权的程序需要进行代码审查和备案,可以有效防止通过拷贝数据转储等方式滥用授权的数据。
  2. 访问的客体:细化到结构化数据的表、字段,非结构化数据的目录、文件、对象、文档。
  3. 访问的权限:细化到结构化数据show/desc/select/update/delete /insert等,非结构数据的读、写、查找等。
  4. 访问的有效期:可细化指定授权的截止时间,在截止时间之前的有效期内访问授权有效,有效期过后授权自动失效权限自动收回。
  5. 访问的时间段:可细化指定授权允许的时间段,比如工作日的工作时间段,防止在非预期的时间数据被访问。
  6. 访问的来源:可细化指定授权访问的来源IP,限定只能通过某个/某些IP来源的请求才能访问授权数据,防止被授权账号被窃取或故意在非预期的设备/主机上使用。

4 统一审计系统

大数据平台基于审计日志实现大数据统一审计系统,支持通用的日志收集模块和高危操作实时告警功能,允许审计员对日志设置多样化多维度的过滤规则,在海量数据中实时、精准的识别高危操作。同时审计系统对收集的日志支持全文检索,方便审计员快速回溯用户行为。

平台支持HDFS、HBase、Hive、Yarn组件的审计,且支持多样性的告警方式。统一审计平台实现如下功能:

  1. 基于日志进行统一的审计,收集各个组件的审计日志,进行集中存储,检索,分析,告警。
  2. 审计日志存储采用经过加固的ElasticSearch,数据只能新增和按照日期淘汰清理,不能手动修改或删除,保护审计日志不会被恶意篡改和清除。
  3. 提取审计日志中结构化信息,包括集群,用户,IP,操作,对象,时间等,对不同的审计日志做统一的结构化处理,展示,分析等。
  4. 交互式的审计日志检索,可以对结构化的集群,用户,IP,操作,对象,时间等字段进行精确检索,也可以对原始日志做模糊检索。
  5. 自定义的告警策略,支持等值,包含,正则等多种日志匹配规则,支持邮件,短信等告警方式。
  6. 可扩展的统一审计架构,新的组件或系统可以方便地整合到统一审计系统中,只需要采集审计日志,配置/开发日志解析,定义告警策略,就可以实现集中的审计管理。
展开文章目录
文章目录
  1. 1 统一账号系统
  2. 2 统一认证系统
  3. 3 统一授权系统
  4. 4 统一审计系统

相关文章

  • 《信息安全与管理》专业社会调研报告、岗位调研

    《信息安全与管理》专业社会调研报告、岗位调研

    随着前几年《网络安全法》的正式发布,网络安全越来越受到政府、企事业单位的关注和重视,对应的信心安全人才也逐渐走俏,人才市场上有大量岗位空缺。于是,一大波网络安全厂商便向各个高效推出了校企合作的模式,对口培训、招收人才。各个厂商之间的方案或许都有不同,本文主要参考了启明星辰的方案,当然替换成其他品牌如奇安信、深信服、绿盟等都是可以的。 信息安全专业现状 信息已成为企业的重要资源之一,随着计算机技术应用的普及,各个组织机构的运行越来越依赖计算机,各种业务的运行架构于现代化的网络环境中。企业信息系统作…

  • 网络舆论引导处置简论(网络舆论溯源、引导和处置)

    网络舆论引导处置简论(网络舆论溯源、引导和处置)

    互联网 3.0 时代以移动互联为主要载体,大屏小屏交互、网络应用闭环、短视频风靡,网络舆论传播格局深刻变革。网络信息资源极大丰富的同时,网络舆论乱象频出,公众表达方式更为碎片化与情绪化,网络舆情极易迅速聚焦放大,风险随之增加。相关部门积极探索舆论引导处置策略与创新范式,有助于夯实舆情引导处置基础,快速适应舆论场域新局,提升政府治理能力与应急管理水平。 一、网络舆论引导组织机制与阵地建设 在网络舆情处置应对中,前置建立健全舆情应急预案,有助于舆论引导处置工作有章可循,迅速明确主体权责,以舆论效果为…

  • 模块化数据中心解决方案:配电系统设计

    模块化数据中心解决方案:配电系统设计

    根据GB 50174-2017《数据中心设计规范》规定,将数据中心机房划分为A、B、C三级,规范中A级数据中心设计为一级负荷(应由双重电源供电), B级数据中心设计为二级荷(宜由双重电源供电),不属于以上两种的为C级数据中心,设计为三级负荷(两回线路供电)。 《供配电系统设计规范》GB50052-2009规定,一级负荷由两个电源供电,当一个电源发生故障时,另一个电源应不至于受到损坏,同时两路电源应互为备用,每路电源均能承担本工程全部负荷。即当正常工作电源事故停电时,另一路备用电源能够自动投入。综…

  • 模块化机房与普通机房的区别在哪里?模块化机房的优势整理

    模块化机房与普通机房的区别在哪里?模块化机房的优势整理

    模块化数据中心是为了应对云计算、虚拟化、集中化、高密化等服务器的变化,提高数据中心的运营效率,降低能耗,实现快速扩容且互不影响的一种较新形式的数据中心建设方案。本文主要是分享了模块化数据中心相比传统机房的一些优势点,但其实一些中大型或者微小机房大多数仍旧是传统机房的配置。 一般的,微模块数据中心是指由多个具有独立功能、统一的输入输出接口的微模块、不同区域的微模块可以互相备份,通过相关微模块排列组合形成一个完整的数据中心。微模块数据中心是一个整合的、标准的、最优的、智能的、具备很高适应性的基础设施…

  • 网络安全保障与运维服务项目的技术要求和服务标准

    网络安全保障与运维服务项目的技术要求和服务标准

    近年来随着网络安全威胁的日趋严重,网络安全愈来愈受到政府企事业单位的重视,同时网络安全运维也算是一个更广为人知的服务项目,本文分享之案例来源于公开挂网的真实案例。 本项目依据《中华人民共和国网络安全法》和《渝交执法﹝2018﹞162 号》等相关法律法规,按照行业标准和规范要求,强化单位内部网络安全防护建设,并确保高效、稳定的运行维护。主要任务聚焦于加强“单位内部及终端设备网络安全”的防护建设与管理运维,致力于提升单位内部运维效率,改造现有终端设备,强化安全保障措施,并实现入侵预警功能。项目将构建…

  • 重庆市针对“重要网络与信息系统”密码应用提出明确要求

    重庆市针对“重要网络与信息系统”密码应用提出明确要求

    本文为重庆市密码管理局公文:关于进一步规范全市重要网络与信息系统密码应用有关要求的通知。通过对本通知内容的阐述,我们可以清晰地看到为规范全市重要网络与信息系统密码应用与安全性评估工作所做的周密安排和具体要求。从项目的规划阶段到建设阶段,再到运行阶段,并且考虑到集约建设与经费保障的每个环节,本通知为确保网络与信息系统安全提供了一份详细可行的操作指南。这一系列措施不仅有助于提升我市密码应用的安全性和合规性,同时也标志着我市在网络与信息安全领域迈出了坚实的步伐。 随着政策的进一步实施,预计将极大提高公…

- 联 系 我 们 -

+86 186-2315-0440

在线咨询:点击这里给我发消息

电子邮箱:i@zzptech.com

工作时间:9:00~18:30,工作日

微信客服