场景和需求是这样的：
1.机器在线数据显示在网站网页上，每次都要访问这个访问进行查询机器是否在线
2.由于网页上已经有现成的在线数据，所以就不打算直接查询数据库进行数据获取
3.需要定时发送一个邮件通知运维人员在线情况。（定时任务简单点用crontab）
4.下线机器的判定是机器信息更新时间在15分钟内算是在线，否则就是下线。
给予这样的场景和需求就有了以下的内容了。
1.首先网站的数据页面找出来，可以用各种web开发工具，我这里使用的是httpfox，
查询到这个device.php 通过post查询机器数据然后返回机器在线数据。
关于post和get的科普：
GET 方法请注意，查询字符串（名称/值对）是在 GET 请求的 URL 中发送的：
/test/demo_form.asp?name1=value1&name2=value2
有关 GET 请求的其他一些注释：
* GET 请求可被缓存
* GET 请求保留在浏览器历史记录中
* GET 请求可被收藏为书签
* GET 请求不应在处理敏感数据时使用
* GET 请求有长度限制
* GET 请求只应当用于取回数据
POST 方法请注意，查询字符串（名称/值对）是在 POST 请求的 HTTP 消息主体中发送的：
POST /test/demo_form.asp HTTP/1.1
Host: w3schools.com
name1=value1&name2=value2
有关 POST 请求的其他一些注释：
* POST 请求不会被缓存
* POST 请求不会保留在浏览器历史记录中
* POST 不能被收藏为书签
* POST 请求对数据长度没有要求
http://www.w3school.com.cn/tags/html_ref_httpmethods.asp
2.既然找到了切入点，那么就可以开始爬了。
#!/usr/bin/python2.6
# -*- coding: utf-8 -*-
import re
import urllib
import urllib2
import json
import time
import datetime
def get_data():
params = urllib.urlencode({'type':'gettable','data':'{"cpage":1,"pagesize":50,"search":{"address":{"type":"","id":0}}}'})
#用urllib.urlencode是因为这样会方便将数据转为一个key|value的字典来传输数据，可用来post。
url = 'http://XXXX/device.php' #url信息
req = urllib2.Request(url=url,data=params)#创建请求内容，参数是url和data
a = urllib2.urlopen(req)#进行访问页面，带着请求信息
b = a.read() #这写得比较简单，将访问页面的返回信息转变为json格式，然后读取json格式的内容获取需要的字段，因为我需要的数据在data字段里面，所以直接获取data为key的value信息。
c = json.loads(b)
data = c['data']
downs_result = []
num = 0
for i in data:
down_time_start = time.strptime(str(i['servertime']), "%Y-%m-%d %H:%M:%S")
down_time_start = datetime.datetime(down_time_start.tm_year,down_time_start.tm_mon,down_time_start.tm_mday,down_time_start.tm_hour,down_time_start.tm_min,down_time_start.tm_sec)
#关于time.strptime和datetime是一种搭配使用的转换时间格式的组合。只有将时间转为真正的时间格式才能进行运算，所以需要先将"时间"用strptime转为时间字符串，然后时间字符串用datetime转为真正的时间格式
if down_time_start < datetime.datetime.now() - datetime.timedelta(minutes=15): #这里用到timedelta来计算时间差值，timedelta会将时间转为秒数。
timediff = datetime.datetime.now() - down_time_start
if re.search(r'days',str(timediff)):
timediff = re.search(r'-?(\d+)\sdays,\s(\d+):(\d+):(\d+)',str(timediff))
downs_fno = timediff.group(1) + "天" + timediff.group(2) + "小时" + timediff.group(3) + "分钟" + timediff.group(4) + "秒"
downs_result.append(i['name'].encode('utf-8') + '_____' + str(down_time_start) + '_____' + "(" + "下线距离现在已经过了: " + downs_fno + ")")
num += 1
else:
timediff = re.search(r'(\d+):(\d+):(\d+)',str(timediff))
downs_fno = timediff.group(1) + "小时" + timediff.group(2) + "分钟" + timediff.group(3) + "秒"
downs_result.append(i['name'].encode('utf-8') + '_____' + str(down_time_start) + '_____' + "(" + "下线距离现在已经过了: " + downs_fno + ")")
num += 1
return (downs_result,num,len(data))
参考地址：
https://docs.python.org/2/library/json.html
https://docs.python.org/2/library/urllib2.html#module-urllib2
https://docs.python.org/2/library/urllib.html#urllib.urlencode
https://docs.python.org/2/library/time.html#time.strptime
https://docs.python.org/2/library/datetime.html
3.然后就是发送邮件，上网抄了一下别人的例子
import smtplib
from email.mime.text import MIMEText
mailto_list=["xxx@163.com"]
mail_host="smtp.163.com" #设置服务器
mail_user="xxx@qq.com" #用户名
mail_pass="12345" #口令
def send_mail(to_list,sub,content): #to_list：收件人；sub：主题；content：邮件内容
me="<"+mail_user+">" #显示发件人
msg = MIMEText(content,_subtype='html',_charset='utf-8') #创建一个实例，这里设置为html格式邮件
msg['Subject'] = sub #设置主题
msg['From'] = me
msg['To'] = ";".join(to_list)
try:
s = smtplib.SMTP()
s.connect(mail_host) #连接smtp服务器
s.login(mail_user,mail_pass) #登陆服务器
s.sendmail(me, to_list, msg.as_string()) #发送邮件
s.close()
return True
except Exception, e:
print str(e)
return False
完整版是这样的：
#!/usr/bin/python2.6
# -*- coding: utf-8 -*-
import re
import urllib
import urllib2
import json
import time
import datetime
import smtplib
from email.mime.text import MIMEText
mailto_list=["xxx@163.com"]
mail_host="smtp.163.com" #设置服务器
mail_user="xxx@qq.com" #用户名
mail_pass="12345" #口令
def get_data():
params = urllib.urlencode({'type':'gettable','data':'{"cpage":1,"pagesize":50,"search":{"address":{"type":"","id":0}}}'})
url = 'http://XXXX/device.php'
headers = {'Content-Type': 'application/json'}
req = urllib2.Request(url=url,data=params)
req.add_header = ('Content-Type','application/json')
a = urllib2.urlopen(req)
b = a.read()
c = json.loads(b)
data = c['data']
downs_result = []
num = 0
for i in data:
down_time_start = time.strptime(str(i['servertime']), "%Y-%m-%d %H:%M:%S")
down_time_start = datetime.datetime(down_time_start.tm_year,down_time_start.tm_mon,down_time_start.tm_mday,down_time_start.tm_hour,down_time_start.tm_min,down_time_start.tm_sec)
if down_time_start < datetime.datetime.now() - datetime.timedelta(minutes=15):
timediff = datetime.datetime.now() - down_time_start
if re.search(r'days',str(timediff)):
timediff = re.search(r'-?(\d+)\sdays,\s(\d+):(\d+):(\d+)',str(timediff))
downs_fno = timediff.group(1) + "天" + timediff.group(2) + "小时" + timediff.group(3) + "分钟" + timediff.group(4) + "秒"
downs_result.append(i['name'].encode('utf-8') + '_____' + str(down_time_start) + '_____' + "(" + "下线距离现在已经过了: " + downs_fno + ")")
num += 1
else:
timediff = re.search(r'(\d+):(\d+):(\d+)',str(timediff))
downs_fno = timediff.group(1) + "小时" + timediff.group(2) + "分钟" + timediff.group(3) + "秒"
downs_result.append(i['name'].encode('utf-8') + '_____' + str(down_time_start) + '_____' + "(" + "下线距离现在已经过了: " + downs_fno + ")")
num += 1
return (downs_result,num,len(data))
def send_mail(to_list,sub,content): #to_list：收件人；sub：主题；content：邮件内容
me="<"+mail_user+">" #显示发件人
msg = MIMEText(content,_subtype='html',_charset='utf-8') #创建一个实例，这里设置为html格式邮件
msg['Subject'] = sub #设置主题
msg['From'] = me
msg['To'] = ";".join(to_list)
try:
s = smtplib.SMTP()
s.connect(mail_host) #连接smtp服务器
s.login(mail_user,mail_pass) #登陆服务器
s.sendmail(me, to_list, msg.as_string()) #发送邮件
s.close()
return True
except Exception, e:
print str(e)
return False
if __name__ == '__main__':
downs_result,num,all=get_data()
all = "一共有" + str(all) + "台机器"
num = "下线的有" +str(num) + "台机器"
downs_result = [ str(i) for i in downs_result]
str_downs_result = "<br>".join(downs_result)
if send_mail(mailto_list,"hello",all + " " + num + "<br>" + str_downs_result): #因为是html邮件，所以换行是<br>
print "发送成功"
else:
print "发送失败"
完整版效果图
原文链接：http://www.godblessyuan.com/2015/06/26/webcrawler_monitor/
