用户通过Amazon Simple Email Serivce(SES)发送邮件时,希望能详细查询每封邮件的传递情况。而SES只提供基于Metric的统计数据。本文就通过SES提供SNS通知的功能,结合Lambda将通知存入AmazonElasticsearch,方便用户查询和统计。
架构如下图:
为方便部署和创建,建议您使用具有Admin权限的AWS用户来完成部署。
如果您同时使用多个Region的SES服务,您需要在各个Region部署Lambda程序,但您可以只使用一个AmazonElasticsearch实例。
3.为SES配置SNS
此场景为不使用ConfigurationSet(配置集)的情况,在SES的控制台上,对于Domain或者Email来配置SNS,具体可以参考文档: https://docs.aws.amazon.com/ses/latest/DeveloperGuide/configure-sns-notifications.html
这里建议将选中包括邮件头,这样在后续Elasticsearch分析查询时可以方便看到邮件标题等信息。
4.创建Elasticsearch
为简化网络环境,我们将Amazon Elasticsearch配置通过公共IP来访问。此Elasticsearch建议部署在与SES同一Region,以便快速插入数据和减少网络流量费用;但如果需要,也可以部署在其他Region。
打开SES控制台,创建Elasticsearch域:
请根据数据量来选择实例类型和EBS存储,建议可以先选择小的机型,后续
选择允许公有访问权限,并启用精细访问控制,创建主用户:
访问策略先设置为公开访问:
创建过程需要数分钟,创建完成后请记录下终端节点和Kibana地址:
5.部署Lambda
在SES所在Region,进入到Lambda控制台,填写函数名aws-ses-to-elasticsearch,运行时为Nodejs12.x,让Lambda自动创建角色:
创建完成后上传zip包的代码:(https://betashare.s3.cn-north-1.amazonaws.com.cn/nodejs/aws-ses-to-elasticsearch/lambda-bundle.zip)
编辑环境变量,填入:
BASE_URL: Elasticsearch的终端节点
USER和PASSWORD:创建Elasticsearch设置的用户名和密码
PREFIX:创建Elasticsearch索引的前缀。
调整超时时间为1分钟。
配置触发器为SES配置的SNS主题:
在SES控制台发送一个测试邮件,也可以通过现有客户端来发送测试。
请检查CloudWatch的日志组中对应Lambda函数的日志,确认执行成功:
7.创建Elasticsearch索引
打开Kibana控制台,登录之后进入Management,创建一个indexpattern: ses*。
8.使用Elasticsearch
转到Discover界面,可以搜索内容:
创建Visual来方便统计:
创建一个SNS,并订阅通知邮件。
创建一个Role用以ElasticSearch来触发SNS,Role的信任关系如下:
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Principal": {
"Service": "es.amazonaws.com"
},
"Action": "sts:AssumeRole"
}]
}
权限如下:
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": "sns:Publish",
"Resource": "sns-topic-arn"
}]
}
进入Alerts界面
创建monitor,根据frommail来计算:
创建触发器
添加目标:
此处以每月发送50万封邮件来计算,使用t3.small的Elasticsearch(AES)单节点和10G存储:(不包含数据传输费,CloudWatch日志费用以及其他可能产生的费用。)
每月发送邮件数 Lambda费用 AES计算费用 AES存储 总计
500000 $ 1.00 $ 41.66 $ 8.10 $ 50.76