使用 Amazon Elasticsearch分析SES邮件传递情况

1.概述

用户通过Amazon Simple Email Serivce(SES)发送邮件时,希望能详细查询每封邮件的传递情况。而SES只提供基于Metric的统计数据。本文就通过SES提供SNS通知的功能,结合Lambda将通知存入AmazonElasticsearch,方便用户查询和统计。

架构如下图:


2.准备工作

为方便部署和创建,建议您使用具有Admin权限的AWS用户来完成部署。

如果您同时使用多个Region的SES服务,您需要在各个Region部署Lambda程序,但您可以只使用一个AmazonElasticsearch实例。


3.为SES配置SNS

此场景为不使用ConfigurationSet(配置集)的情况,在SES的控制台上,对于Domain或者Email来配置SNS,具体可以参考文档: https://docs.aws.amazon.com/ses/latest/DeveloperGuide/configure-sns-notifications.html

这里建议将选中包括邮件头,这样在后续Elasticsearch分析查询时可以方便看到邮件标题等信息。


4.创建Elasticsearch

为简化网络环境,我们将Amazon Elasticsearch配置通过公共IP来访问。此Elasticsearch建议部署在与SES同一Region,以便快速插入数据和减少网络流量费用;但如果需要,也可以部署在其他Region。

打开SES控制台,创建Elasticsearch域:

请根据数据量来选择实例类型和EBS存储,建议可以先选择小的机型,后续

选择允许公有访问权限,并启用精细访问控制,创建主用户:

访问策略先设置为公开访问:

创建过程需要数分钟,创建完成后请记录下终端节点和Kibana地址:

5.部署Lambda

在SES所在Region,进入到Lambda控制台,填写函数名aws-ses-to-elasticsearch,运行时为Nodejs12.x,让Lambda自动创建角色:

创建完成后上传zip包的代码:(https://betashare.s3.cn-north-1.amazonaws.com.cn/nodejs/aws-ses-to-elasticsearch/lambda-bundle.zip


编辑环境变量,填入:

BASE_URL: Elasticsearch的终端节点

USER和PASSWORD:创建Elasticsearch设置的用户名和密码

PREFIX:创建Elasticsearch索引的前缀。



调整超时时间为1分钟。


配置触发器为SES配置的SNS主题:


6.发送测试邮件

在SES控制台发送一个测试邮件,也可以通过现有客户端来发送测试。

请检查CloudWatch的日志组中对应Lambda函数的日志,确认执行成功:



7.创建Elasticsearch索引

打开Kibana控制台,登录之后进入Management,创建一个indexpattern: ses*。


8.使用Elasticsearch

转到Discover界面,可以搜索内容:


创建Visual来方便统计:


9.设置报警

创建一个SNS,并订阅通知邮件。

创建一个Role用以ElasticSearch来触发SNS,Role的信任关系如下:

{

  "Version": "2012-10-17",

  "Statement": [{

    "Effect": "Allow",

    "Principal": {

      "Service": "es.amazonaws.com"

    },

    "Action": "sts:AssumeRole"

  }]

}

权限如下:

{

  "Version": "2012-10-17",

  "Statement": [{

    "Effect": "Allow",

    "Action": "sns:Publish",

    "Resource": "sns-topic-arn"

  }]

}



进入Alerts界面


创建monitor,根据frommail来计算:



创建触发器


添加目标:

10.    预估成本

此处以每月发送50万封邮件来计算,使用t3.small的Elasticsearch(AES)单节点和10G存储:(不包含数据传输费,CloudWatch日志费用以及其他可能产生的费用。)

每月发送邮件数   Lambda费用      AES计算费用      AES存储          总计

500000                  $ 1.00                 $  41.66              $  8.10              $   50.76

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354

推荐阅读更多精彩内容