2022-12-21如何根据Macie检测结果为S3自动打上自定义敏感数据标签?

写写我的学习笔记,本文仅为个人学习心得,与AWS无关

内容简介

对敏感数据发现后,进行相应的分类分级后打个性化标签的是企业数据管理过程中的首要一步。
Amazon Macie https://docs.aws.amazon.com/macie/latest/user/what-is-macie.html 是一项数据安全服务,它使用机器学习和规则匹配来发现敏感数据,实现可见性和自动防范数据安全风险。很多客户在使用Macie发现S3中的数据后,希望可以自动为S3中的Object打上敏感数据标签,并且希望是由企业自己定义的内容而不是由Macie中的Severity简单定义的高(High)、中(Medium)、低(Low)。https://docs.aws.amazon.com/macie/latest/user/findings-severity.html

本篇博文中将提供一个支持自定义标签内容的并根据Macie发现结果自动打标签的方案,并提供自动部署的Cloudformation模板以及CLI示例命令行。

先决条件

架构与工作原理

Macie在执行完成敏感数据发现任务后,其扫描结果会自动传递至Eventbrige,我们通过建立一条rule,触发Lambda对S3中的文件进行打标签的操作,整体流程如下图:


架构图

本例中提供的是将敏感数据标签分为四个级别,具体在下一章中进行详细定义说明。

部署方法

请将附录中的两份模板文件保存至CLI本地运行目录下, 完成下列参数的设置:

  • tagkey 自定义标签的key
  • level0 level1 level2 level3 四个级别标签,从低到高的value
  • s3filepath
    我们需要一个mapping.json文件,定义敏感数据类型与级别的关系,并将其放在S3中,请于附录下载保存。根据企业定义,将每行value中默认的0改为对应的敏感级别,例如如果认为ADDRESS居住地址是level2级别的信息,则将"ADDRESS":后边的0修改为数字2
{
  "ADDRESS": 2,
  "AUSTRALIA_DRIVERS_LICENSE": 0,
  "AUSTRALIA_TAX_FILE_NUMBER": 0,
  "AUSTRIA_DRIVERS_LICENSE": 0,
  "AWS_CREDENTIALS": 0,
  "BANK_ACCOUNT_NUMBER": 0,
  "BELGIUM_DRIVERS_LICENSE": 0,
  • region 运行cloudformation模板的AWS区域
  • stackname cloudformation stack的名称
  • template 附录中提供的cloudformation stack模板,请保存为yaml格式。

以下为示例命令行

tagkey='敏感度标识'
level0='公开'
level1='内部'
level2='保密'
level3='机密'
s3filepath=mapping.json
region=us-east-1
stackname=MacieAutotag
template=blog-template.yaml
aws cloudformation create-stack --stack-name $stackname --template-body file://$template \
--parameters  \
ParameterKey=level0,ParameterValue=$level0 \
ParameterKey=level1,ParameterValue=$level1 \
ParameterKey=level2,ParameterValue=$level2  \
ParameterKey=level3,ParameterValue=$level3 \
ParameterKey=tagkey,ParameterValue=$tagkey  \
ParameterKey=s3filepath,ParameterValue=$s3filepath \
--capabilities CAPABILITY_IAM \
--region=$region

Cloudformation 需要几分钟运行完成,请运行以下CLI示例命令,将mapping.json上传至新建立的S3中供Lambda使用:

aws s3 cp  $s3filepath s3://$(aws cloudformation --region $region describe-stacks --stack-name $stackname --query 'Stacks[*].Outputs[0].OutputValue' --output text)/ --region=$region

登录AWS控制台,打开新建的lambda function->Configuration->Environment variables,可以看到我们之前定义的标签信息都已经体现在这里,而lambda会根据这些定义,针对Macie的发现结果给S3中的Object打上对应的标签。


lambda的环境变量

结果展示

当macie完成一次扫描后,我们可以登录AWS控制台查看Lambda的Cloudwatch group,如下图示例,lambda根据Macie的发现结果CREDIT_CARD_NUMBER,为文件1-financial-data.txt打上了三级对应的标签:机密。


lambda的执行记录
S3中的标签

小结

在这篇博文中,我向您展示了一种自定义敏感数据标签并由Macie扫描结果自动触发打标签的方法,非常简单方便。本文中定义的是四级标准,您完成可以根据企业的需求改为三级或者五级,只需要在lambda中的环境变量进行修改即可。mapping.json中列出的是Macie所有MDI的,如果您使用custom data identifiers https://docs.aws.amazon.com/macie/latest/user/custom-data-identifiers.html(CDI)扫描只需将CDI名称加进去即可。本文中的示例仅部署在us-east-1一个region,您可以使用AWS的CloudFormation StackSets https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/what-is-cfnstacksets.html,将模板部署在多个AWS Account以及多个regions中。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,590评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,808评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,151评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,779评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,773评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,656评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,022评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,678评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,038评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,756评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,411评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,005评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,973评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,053评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,495评论 2 343

推荐阅读更多精彩内容