一、监控的意义
爬虫脚本是基于网站的结构去写的，但是随着互联网的发展，很多公司的页面结构会发生变化，发生的变化就会导致我们写的爬虫失效，最主要的失效方式是xpath的失效。随着我们写的爬虫越来越多，越就越来越难以发现这些失效的脚本，导致数据更新失败，不及时，或者不满足抓取的质量和数量要求。这就需要对爬虫的脚本进行监控。
监控的目的是让数据及时的更新，脚本及时的发现bug以及解决bug。提高我们的工作效率。更好的保证线上数据产品的优质性。
我们需要介绍两种常见的监控方式：1、邮件 2、钉钉
二、Python邮件监控（SMTP）
1. SMTP简介
SMTP（Simple Mail Transfer Protocol）即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。
python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。
Python创建 SMTP 对象语法如下：
import smtplib
smtpObj = smtplib.SMTP( [host [, port [, local_hostname]]] )
参数说明：
- host: SMTP 服务器主机。 你可以指定主机的ip地址或者域名如: runoob.com，这个是可选参数。
- port: 如果你提供了 host 参数, 你需要指定 SMTP 服务使用的端口号，一般情况下 SMTP 端口号为25。
- local_hostname: 如果 SMTP 在你的本机上，你只需要指定服务器地址为 localhost 即可。
Python SMTP 对象使用 sendmail 方法发送邮件，语法如下：
SMTP.sendmail(from_addr, to_addrs, msg[, mail_options, rcpt_options])
参数说明：
- from_addr: 邮件发送者地址。
- to_addrs: 字符串列表，邮件发送地址。
- msg: 发送消息
这里要注意一下第三个参数，msg 是字符串，表示邮件。我们知道邮件一般由标题，发信人，收件人，邮件内容，附件等构成，发送邮件的时候，要注意 msg 的格式。这个格式就是 smtp 协议中定义的格式。
2. 邮件监控五个步骤
#导入邮件包
import smtplib
# 1.创建邮件对象
smtp_obj = smtplib.SMTP()
# 2.连接服务器
smtp_obj.connect()
#3.登录操作
smtp_obj.login()
#4.发邮件
smtp_obj.sendmail()
#5.退出操作
smtp_obj.quit()
3. 邮件监控发送（代码）
# 导入发送邮件包
import smtplib
from email.mime.text import MIMEText # 用来创建文本格式的邮件体内容
from email.mime.multipart import MIMEMultipart
from email.mime.image import MIMEImage
class Send_Email:
def __init__(self, num):
self.num = num
self.smtp = self.get_conn()
# print(self.smtp)
self.send_email()
def get_conn(self):
# 创建邮件对象
smtp_obj = smtplib.SMTP()
# 连接服务器
smtp_obj.connect("smtp.163.com")
# 登录邮箱
smtp_obj.login("13349949963@163.com", "zb376100870")
return smtp_obj
def send_email(self):
# 定义发送邮件的三要素
sender = "13349949963@163.com"
receiver = "376100870@qq.com"
# 获取发送邮件的 邮件体
msg = self.get_msg(sender, receiver)
# 发送邮件
self.smtp.sendmail(from_addr=sender, to_addrs=receiver, msg=msg.as_string())
print("send success")
def get_msg(self, sender, receiver):
# 定义邮件主题
subject = "恭喜你 你已经被阿里巴巴公司录用 "
# 获取邮件体中的 文本内容（消息体）
msg = self.get_content()
# 生成邮件体的 三要素
msg["From"] = sender
msg["To"] = receiver
msg["Subject"] = subject
return msg
def get_content(self):
if self.num == 1:
content = "请xx准时报到"
# 将内容写到面板中 文本格式
msg = MIMEText(content, "plain", "utf-8")
return msg
elif self.num==2:
# 读取文件
# with open("02.html", "r", encoding="utf-8") as f:
# content = f.read()
# print(type(content))
content = """
<html>
<h1>请xx准时报到<h1>
<a href="https://www.baidu.com/">baidu</a>
</html>"""
print(content)
msg = MIMEText(content, "html", "utf-8")
return msg
elif self.num==3:
#获取含有内嵌图片资源的HTML格式的邮件体
msg=self.get_pic()
return msg
#获取图片信息
def get_pic(self):
#通过cid图片文件关联起来
content="<b>Some<i>HTML</i>text</b> and an image <br><img src='cid:image1'><br>goood"
#如果content 中内嵌资源，必须定义related字段
#使用related定义内嵌套资源的邮件体
msgRoot=MIMEMultipart("related")
#创建HTML格式的邮件体
msgText=MIMEMultipart(content,"html","utf-8")
#将msgText中的内容附加到MIMEMultipart对象中
msgRoot.attach(msgText)
#读取图片文件内容
with open("2.jpg","rb")as f:
result=f.read()
#使用图片信息创建一个图片对象
msgImage=MIMEImage(result)
#指定文件的Content-ID 为image1
msgImage.add_header("Content-ID","image1")
#将msgImage中的图片内容附加到MIMEMultipart对象的指定image1当中
msgRoot.attach(msgImage)
#返回携带有内嵌套图片资源的HTML格式邮件的MIMEMultipart对象
return msgRoot
def __del__(self):
# 关闭
self.smtp.quit()
if __name__ == '__main__':
# 1 # 发送的邮件体是字符串
2 # 发送一个html的邮件体
3 # 发送一个图片的邮件体
num=int(input("请发送邮件所对应的数字"))
Send_Email(num)
应用场景：
链家租房 每天都要爬取一遍插入数据库的时候 需要增加一个字段 更新插入时间
refresh_time如果爬虫 正常 这样就可以保证 每天的refresh_time都是最新的如何监控那些 不正常更新的渠道（例如：链家租房）,你可以写sql语句查询每个渠道的更新时间;。如果是最新的更新时间则说明是正常；如果不是判断多久没有更新，说爬虫数据异常。这时需要 给指定的负责人发邮件 让他修改代码 使得爬虫正常运行。
邮件监控和下面的钉钉监控一样，可以根据钉钉监控来改写
二、钉钉监控
链家租房监控脚本
import pymysql
import time
import requests
'''
kpi小姐姐的api接口：
https://oapi.dingtalk.com/robot/send?access_token=8daebe660297f090e6839b6a4454ff05382b59f3d515b3d7c14bc07f5fb642dd
'''
class Moniter:
def __init__(self):
self.conn_mysql()
self.get_data()
def conn_mysql(self):
# 创建数据库的连接对象
# 字符集是utf8 不是utf-8
self.conn = pymysql.connect(host="127.0.0.1", user="root",password='123',
database="0218", charset="utf8")
# 创建操作数据库的对象
self.cur = self.conn.cursor()
def get_data(self):
# 定义一天前的时间戳
day_ago = time.time() - 86400
# 定义查询出总数和更新数量的sql语句
sql = """
select count(*) from lianjia
union
select count(*) from lianjia where refresh_time > {}
union
select phone from source_name where source = "lianjia"
""".format(day_ago)
# 执行sql语句 并获取sql语句查询出来的 数据
self.cur.execute(sql)
self.conn.commit()
data = self.cur.fetchall()
# print(data, type(data))
# 提出数据 获取总数 和更新数
total_count = int(data[0][0])
refresh_count = int(data[1][0])
phone = data[2][0]
# print(total_count, refresh_count, phone)
# 生成刷新数量的 百分比
per_no_refresh = refresh_count / total_count
# print(per_no_refresh)
#如果最新数据的占比小于80%，则说明需要提醒
if per_no_refresh < 0.8:
per_no_refresh = "%.2f%%" % (per_no_refresh * 100)
# print(per_no_refresh)
# 发送钉钉消息
self.dingding(phone, per_no_refresh)
def dingding(self, phone, per_no_refresh):
dd_api = "https://oapi.dingtalk.com/robot/send?access_token=" \
"8daebe660297f090e6839b6a4454ff05382b59f3d515b3d7c14bc07f5fb642dd"
# print(phone, per_no_refresh)
dd_json = {
"msgtype": "text",
"text": {
"content": "你的渠道有问题 请及时解决 更新比例为：{}".format(per_no_refresh)
},
"at": {
"atMobiles": [
phone,
"18679030315"
],
"isAtAll": False
}
}
requests.post(dd_api, json=dd_json)
print("send success")
def __del__(self):
self.cur.close()
self.conn.close()
if __name__ == '__main__':
Moniter()
