作业效果：
> show dbs
bj58 0.001GB
local 0.000GB
xiaozhu 0.000GB
> use bj58
switched to db bj58
> show collections
detailinfo
links
> db.links.find().count()
3481
> db.links.find()[0]
{
"_id" : ObjectId("574a689ee002824353704eaf"),
"link" : "http://short.58.com/zd_p/2e7875cf-cdd8-4eaa-baaf-1ac1b111e6d8/?target=dc-16-xgk_fegvcjemg_39429002744563q-feykn&end=end26096779100482x.shtml&psid=169068509191954188512724262&entinfo=26096779100482_0",
"title" : "18518313456"
}
> db.detailinfo.find().count()
3481
> db.detailinfo.find()[0]
{
"_id" : ObjectId("574abe78e00282487d8dd6e7"),
"telephon" : "18600141414",
"url" : "http://short.58.com/zd_p/2e7875cf-cdd8-4eaa-baaf-1ac1b111e6d8/?target=dc-16-xgk_fegvcjemg_39429002744563q-feykn&end=end26096779100482x.shtml&psid=169068509191954188512724262&entinfo=26096779100482_0",
"price" : "800",
"isp" : "联通",
"seller" : "王先生",
"sell_number" : "18518313456"
}
>
笔记&小结
为大规模爬取做工作流的准备
- 观察页面结构特征
之前仅仅对特定页面做了信息抓取
但如果是对网站进行大规模抓取，会涉及几种页面，需要程序有通用性，可以抓取需要的页面
- 设计工作流程
保证抓取过程的高效
观察页面结构特征
不同页面会出现内容结构不同的问题，比如，有的会有特有的元素，所以在某一些页面不能使用同一套爬虫爬取
有些页面不需要爬取
手动指定爬取的页数后，需要让程序通过识别分页元素，确定是否是最后一页，对最后没有信息的页面要做规避处理，比如直接跳过
设计工作流程
- 两个爬虫
- 从列表页爬取所有商品的 url，存储到数据库的一张表
- 获取商品 url，得到详情页，爬取需要的信息，存储到另一张表
将爬取任务分成两个爬虫的原因是，做大规模数据爬取时，最好一次只做一件事，这样提高爬虫的稳定性
这是在 工作时间 与 可能遇到问题时的调试 之间的平衡
- 获取 类目/频道
从主页获取所有 类目/频道 的信息
构造类目列表页的 url : 通用前缀、频道、发布者类型、第几页
url = "{}{}/0/pn{}".format()
- 在类目的列表页中爬取商品详情的 url
如果是批量访问，访问之间间隔一点时间比较好，如果网站承压性很好，就没有关系了
对于分页末尾需要停止的页面，判断是否有td标签，find('td','t')，如果有，继续，否则，停止
从元素结构上判断
- 爬取商品详情信息
浏览量每次有请求都会有变动，所以可以不记录
访问的url，可能因为已经交易成功下线而返回404。一个页面的js脚本链接包含404
从特定的内容判断
no_longer_exist = '404' in soup.find('script', type='').get('src').split('/')
soup.prettify()可以使得打印出来的 HTML 内容更易读
小结
- CSS
第一页http://bj.58.com/shoujihao/pn1/有内容需要跳过
<div class="boxlist">
<ul>
<div class="boxlist boxbg"></div> # 精选号码，不想抓取的内容
<div class="boxlist"></div> # 需要获取 url 的内容
</ul>
</div>
其他页没有这个问题
<div class="boxlist">
<ul>
<div class="boxlist"></div> # 需要获取 url 的内容
</ul>
</div>
没法通过 CSS 选择器直接过滤，只能判断是否第一页，然后区分处理：
if num == 1:
boxlist = detail_soup.select("div.boxlist div.boxlist")[1]
else:
boxlist = detail_soup.select("div.boxlist div.boxlist")[0]
- 内容
<span class="c_25d">
<a href="/haidian/pingbandiannao/">海淀</a>
" -
" <a href="/zhaojunmiao/pingbandiannao/">皂君庙</a>
</span>
获取所有 子元素的内容、子元素之间的内容
area_data = detail_soup.select("span.c_25d")
area = list(area_data[0].stripped_strings) if area_data else None
print area
[u'\u897f\u57ce', u'-', u'\u897f\u56db']
但下面的情况没法这样处理：
<h1>
"
18518313456
联通
ABCD
"
</h1>
清除两边的空格" "，删除字符串中间的" "和\t，将多个\n换成一个\n，然后通过\n分隔为列表
number = list(detail_soup.select("h1")[0].stripped_strings)[0]
info_list = number.replace('\t','').replace(' ',"").replace('\n\n\n','\n').split("\n")
# print 'number= ',info_list[0]
# print 'isp= ', info_list[1]
《python cookbook》
