学习爬虫第二周，爬取58同城手机号码，网址如下所示。

网页预览.png

按照学习的情况，首先需要对网页进行分析，观察页面结构。

观察页面特征：
针对大规模数据抓取，观察页面结构特征，编写的程序有没有通用性，能不能适用于所有页面。发现边界条件，找到局限性。

其次需要对程序的工作流程进行设计。

设计工作流程
搞清楚了程序根据页面如何设计之后，制定有效的工作流，保证抓取中程序的高效执行。工作输出效率更稳定。

1.大规模抓取数据，我们要知道边界在哪里，经过对网页的查询：

http://bj.58.com/shoujihao/pn{}.format(page)

我们发现当输入到pn117时，页面数据已经没有了。

同时对网页的中的titles和links进行元素位置查找，并抓取存进Mongo中，此处存储的为网页上所有手机号title的详情页的url链接。

2.经过对网页的分析，适合我们的网站是这样的：

right.png

不适合的网站是这样的：

error.png

因此在Spider2的详情页面抓取时，需要按照正确的网页结构元素进行抓取。

同时对网页中需要的元素进行抓取。

代码如下：

#!/usr/bin/env python
# coding: utf-8

from bs4 import BeautifulSoup
import requests
import time
import pymongo

#create the database
client = pymongo.MongoClient('localhost',27017)
#name:Phone
Phone = client['Phone']

#table:phone_numbers 存储手机号的表
phone_numbers = Phone['phone_numbers']
#table:phone_info  详细信息
phone_info = Phone['phone_info']





#infocont > span > b

#Spider1  提取链接
def get_links_from(page):
    url = 'http://bj.58.com/shoujihao/pn{}/'.format(page)
    wb_data = requests.get(url)
    time.sleep(1)
    Soup = BeautifulSoup(wb_data.text,'lxml')
    titles = Soup.select('#infolist > div > ul > div > ul > li > a.t > strong')
    links = Soup.select('#infolist > div > ul > div > ul > li > a.t')
    for title,link in zip(titles,links):
        data = {
            'title':title.get_text(),
            'link':link.get('href')
        }

        phone_numbers.insert_one(data)

#Spider2  详细页面
def get_item_from(url):
    wb_data = requests.get(url)
    time.sleep(1)
    Soup = BeautifulSoup(wb_data.text,'lxml')
    titles = Soup.select('#main > div.col.detailPrimary.mb15 > div.col_sub.mainTitle > h1')
    prices = Soup.select('#main > div.col.detailPrimary.mb15 > div.col_sub.sumary > ul > li > div.su_con > span')
    for title,price in zip(titles,prices):
        title = title.get_text().replace('\n','').replace('\t','').replace(' ','')
        price = price.get_text().replace('\n','').replace('\t','').replace(' ','')
        data  = {
         'title':title,
         'price':price,
         'url':url
        }
        print(data)
        phone_info.insert_one(data)



for page in range(1,117):   #抓取所有页面
    get_links_from(page)

for info in phone_numbers.find():  #从数据库中抓取存储的url
    url = info['link']
    get_item_from(url)

运行结果截图：

phone_number中的数据：

存储手机号的表.png

phone_info中的数据：

详细信息.png

总结：

• 进一步加深理解爬取大数据的工作流的思想和设计模式。

• 编程功能的模块化思想，比如对Spider1，Spider2的设计，如何保障任务工作的有效执行，尽量进行任务的解耦。

• 数据库使用的进一步学习。