说起程序的bug，这是一个让人崩溃、焦头烂额，一万句“XXX”在心中奔腾的词语
就说起最近刚从老家上来，状态迷糊中
虽然接触爬虫不是很久，看了一些基础书籍，实战爬了几个网站，心想应对简单的还是处处有余
然而这俩天啪啪啪打我的脸，好了，废话多了，看正题
回一趟老家：应老人们的要求，做一个七星彩数据分析和数据模型训练，预测下一期中奖号码（太想中大奖了，也想让他们死心，哈哈）
目标：爬取七星彩的过去的期数、中奖号码，并存储在Excel中
爬取网页： 七星彩中奖号码查询
使用工具：python使用的IDE--pycharm
第三方库： requests、BeautifulSoup、time、xlwt
爬取整体思路：
1、先找到要取得网页（搜一下七星彩中奖号码，确定哪一个网页数据齐全并爬取容易）
2、观察要爬取的网页并解析，确定要提取的数据（用谷歌浏览器浏览，按下F12解析网页）
3，构造爬取的网页结构，写代码
4、爬取数据并将数据存储在Excel表中
一、打开爬取网页，观察网页结构
哈哈，这个爬取数据也太简单了（只要有一点爬虫基础的人都会吧）
于是我选择了最简单的BeautifulSoup爬取，只要先找标识tr,再找td....嗯,nice
代码如下
二、写了简单的爬虫，然后打印一下内容观察
import requests
from bs4 import BeautifulSoup
import time
headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
for k in range(1,74):
url = 'http://tubiao.17mcp.com/Qxc/Haoma.aspx?page={}'.format(str(k))
res = requests.get(url, headers=headers,timeout=30)
soup = BeautifulSoup(res.text, 'lxml')
i = 0
for item in soup.select('tr')[1:-1]:
qihao = item.select('td strong')[i].text
onewei = item.select('td div')[i].text
twowei = item.select('td div')[i+1].text
threewei = item.select('td div')[i+2].text
fourwei = item.select('td div')[i+3].text
fivewei = item.select('td div')[i+4].text
sixwei = item.select('td div')[i+5].text
sevenwei = item.select('td div')[i+6].text
print(qihao,onewei,twowei,threewei,fourwei,fivewei,sixwei,sevenwei)
什么？竟然运行错误，什么鬼，继续改，继续bug？
what?好的，我这几天真的迷糊，折腾了俩天，才找出错误，晕，丢人
忠告：不要眼高手低，多练才是自己真的会了
迷茫了俩天，以为是被封IP，或者网站有反爬机制，其实，什么都没有。。。。。
失败原因：爬虫在做xpath时候匹配到空值，粗心大意以为网页很简单，没仔细看，因为标识tr还有空值
解决方法：加上try.....except 错误机制跳过tr空值
三、成功爬取，完整代码如下，已经详细注释
为了方便理解思路，爬取代码就没写成函数模块化
#一、导入爬虫第三方库
import requests
from bs4 import BeautifulSoup
import time
import xlwt
#二、分析网页爬取数据
#构造浏览器模拟（应对403禁止访问）
headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
#构造网页结构
for k in range(1,74):
url = 'http://tubiao.17mcp.com/Qxc/Haoma.aspx?page={}'.format(str(k))
#请求HTML
res = requests.get(url, headers=headers,timeout=30)
#对HTML进行解析
soup = BeautifulSoup(res.text, 'lxml')
all_lists = []
for item in soup.select('tr')[1:-1]:
dict = {}
#先寻找标识tr
#try异常错误机制
try:
#寻找tr下面的标识
qihao = item.select('td strong')[0].text
onewei = item.select('td div')[0].text
twowei = item.select('td div')[1].text
threewei = item.select('td div')[2].text
fourwei = item.select('td div')[3].text
fivewei = item.select('td div')[4].text
sixwei = item.select('td div')[5].text
sevenwei = item.select('td div')[6].text
list = [qihao,onewei,twowei,threewei,fourwei,fivewei,sixwei,sevenwei]
all_lists.append(list)
print(list)
except IndexError:
pass
#三、把数据存入Excel中
row0 = ['期数','各位','十位','千位','万位','第5位','第6位','第7位']#定义表头，即Excel中第一行标题
book = xlwt.Workbook(encoding='utf-8')#创建工作簿
sheet = book.add_sheet('七星彩',cell_overwrite_ok=True)
#创建表名,cell_overwrite_ok=True很重要，用于确认同一个cell单元是否可以重设值
for row in range(len(row0)):
sheet.write(0,row,row0[row])#写入表头
i = 1 #第一行开始
for all_list in all_lists:
j = 0#迭代行
for data in all_list:
sheet.write(i,j,data)#迭代列，并写入数据，#重新设置，需要cell_overwrite_ok=True
j += 1
i += 1
book.save('qingxingcai.xls')
好了，继续爬，等待下一个坑
