【Python爬虫】手机号网段爬虫

整体爬虫逻辑：

1.获取省份和城市的定位，然后定位出各个城市和相对应的url
2.获取到 130 xx号段 （共317个）中的xxx个

3.获取最终的号段号码

先贴上源码

#抓取省份及城市
import requests
from lxml import etree
url='http://www.51hao.cc/'
req=requests.get(url)
req.encoding='gb2312'
html=req.text
select=etree.HTML(html)
infos=select.xpath('//div[@class="fkce"]/div[@class="fkt"][position()>1]')
#print(len(infos))  #核对下省的数量是否一致
for info in infos:
    #定位省的地址
    province=info.xpath('div[@class="fkbj"]/p/a/text()')[0]
    #print(province)
    #定位城市
    citys=info.xpath('div[@class="fklk"]/p/a/text()')
    #print(citys)
    #城市的url
    city_urls = info.xpath('div[@class="fklk"]/p/a/@href')
    #print(province,citys,city_urls)
    city_infos = zip(citys, city_urls)  #zip函数接受任意多个（包括0个和1个）序列作为参数，返回一个tuple列表。
    #print(city_infos)
    for city_info in city_infos:
        city=city_info[0]
        #print(city)
        city_url=city_info[1]
        #print(province,city,city_url)


        url2 = 'http://www.51hao.cc/city/beijing/beijing.php'
        req2 = requests.get(url2)
        req2.encoding = 'gb2312'
        html2 = req2.text
        selector2 = etree.HTML(html2)
        infos = selector2.xpath('//div[@class="all"]//div[@class="num_bg"]')
        num = len(infos)
        # print(num)   #打印出共有多少个
        for i in range(num):
            first_3 = selector2.xpath('//div[@class="all"]/div[%s]/div[1]/span[@class="nums"]/text()' % str(i + 2))[
                0]  # 号码段前三位
            # print(first_3)
            types = selector2.xpath('//div[@class="all"]/div[%s]/div[1]/text()' % str(i + 2))[0]  # xx号段 (共xxx个)
            # print(types)
            mobiles = selector2.xpath('//div[@class="all"]/ul[%s]/li/a/text()' % str(i + 1))  # 号码段内的号码
            # print(mobiles)
            type1 = types.split(" ")[0]  # 获取xx号段 (共xxx个）中xx号段
            # print(type1)
            total = types.split(' ')[1].replace('(共', '').replace('个)', '')  # 获取(共xxx个)中的xxx
            # print(total)
            # print(i+2,first_3,type1,total,mobiles)
            for mobile in mobiles:
                #print(i + 2, first_3, type1, total, mobile)
                print(province, city, first_3, type1, total, mobile)

爬虫结果

关于定位的问题：

 1.   infos=select.xpath('//div[@class="fkce"]/div[@class="fkt"][position()>1]')  

第一个div[class="fkce"]下可以找到省份和城市，可是div[@class="fkce"]下第一个div[@class="fkt"]下的第一个为各省市号段的那一列，要过滤掉第一个div，这里用到position()过滤第一div内的内容。

2.   city_infos = zip(citys, city_urls) #把city是，和city_urls返回一个元祖，再去取里面的值

城市的获取

3. infos=selector.xpath('//div[@class="all"]//div[@class="num_bg"]') #在这个范围内找到     获取到 130 xx号段 （共317个）中的xxx个

WX20170904-170305@2x.png

4.   first_3 = selector.xpath('//div[@class="all"]/div[%s]/div[1]/span[@class="nums"]/text()'%str(i+2))[0]    #号码段前三位

用到了【 】方法

div[%s] %str(i+2))过滤第一个

5.    types = selector.xpath('//div[@class="all"]/div[%s]/div[1]/text()' % str(i + 2))[0] #xx号段 (共xxx个)
      mobiles = selector.xpath('//div[@class="all"]/ul[%s]/li/a/text()' % str(i + 1)) #号码段内的号码

6.   type1=types.split(" ")[0] #获取xx号段 (共xxx个）中xx号段
     total = types.split(' ')[1].replace('(共', '').replace('个)', '')  #获取(共xxx个)中的xxx

最后把获取的连接到一起打印出来

 for mobile in mobiles:
        print(province, city, first_3, type1, total, mobile)