作业要求：
抓取http://www.socom.cn 网站公司信息数据信息。
可以看这个页面，有兴趣的可以抓全站 至少抓一个省的

预览图

因为期末考试的原因耽搁了好久，大概有一个月没有写代码，手生了，接下来要继续努力了。
写这个爬虫之前，由于之前用的是2.7，这次决定开始尽量用3.5，其实差别不大。搭建环境什么的又折腾了一下。记录一下搭建环境过程中遇到的问题。
1.Pycharm默认搭建的虚拟环境pip包没有不是最新的，尽量升级成最新的，这样会后面装别的会少很多坑。
pip和easy_install 参考：http://blog.csdn.net/xsj_blog/article/details/52037609
2.最新的lxml包竟然没有etee模块...
解决参考：http://blog.csdn.net/u012614287/article/details/71177920

下面进入正题
乍一看这个网站，感觉贼复杂，该用什么思路去爬呢？

浙江省页面

我决定从大标题入手，不走细分的小标题，我走的思路就是直接从浙江省农、林、牧、渔业，浙江省采矿业，浙江省制造业这样的大标题切入

一级页面

切入之后，点击下面红字，发现url变了，仔细分析http://www.socom.cn/company/company_list.jsp?categoryId=10&locationId=33&name=&cp=2 categoryId 就是我切入的类目序号，locationId 就是省份序号，cp 是页码
只要获取了所有的这样的url，就能获得所有的企业url。
所有类目url：

    for categoryId in range(10, 31):
        first_url = "http://www.socom.cn/company/company_list.jsp?categoryId=" + str(categoryId) + \
                    "&locationId=33&name=&cp=1"
        page_nums = int(get_total_page(first_url))

        for cp in range(1, page_nums + 1):
            category_url = "http://www.socom.cn/company/company_list.jsp?categoryId=" + str(categoryId) + \
                           "&locationId=33&name=&cp=" + str(cp)
            category_urls.append(category_url)

所有企业url：

    for url in category_urls:
        html = requests.get(url=url, headers=headers).text
        selector = etree.HTML(html)
        temp_urls = selector.xpath("//div[6]/div/a/@href")
        for temp_url in temp_urls:
            company_url = "http://www.socom.cn" + temp_url

抓到了企业url，接下来就是抓信息了。抓信息的时候处理上面的地区和企业属性分类的时候特别麻烦。

image.png

image.png

image.png

有些没有区的，有些没有属性的，标准的是3+4形式，也有2+4,3+3,3+1等等的形式，思考了半天，想出一个好方法！直接看代码吧！

Administrative_Region = [
    '上城区', '下城区', '江干区', '拱墅区', '西湖区', '滨江区', '萧山区', '余杭区', '桐庐县', '淳安县', '建德市', '富阳区', '临安市',
    '海曙区', '江北区', '北仑区', '镇海区', '鄞州区', '奉化区', '象山县', '宁海县', '余姚市', '慈溪市',
    '鹿城区', '龙湾区', '瓯海区', '洞头区', '永嘉县', '平阳县', '苍南县', '文成县', '泰顺县', '瑞安市', '乐清市',
    '南湖区', '秀洲区', '嘉善县', '海盐县', '海宁市', '平湖市', '桐乡市',
    '吴兴区', '南浔区', '德清县', '长兴县', '安吉县',
    '越城区', '柯桥区', '新昌县', '诸暨市', '上虞区', '嵊州市',
    '婺城区', '金东区', '武义县', '浦江县', '磐安县', '兰溪市', '义乌市', '东阳市', '永康市',
    '柯城区', '衢江区', '常山县', '开化县', '龙游县', '江山市',
    '椒江区', '黄岩区', '路桥区', '玉环市', '三门县', '天台县', '仙居县', '温岭市', '临海市',
    '莲都区', '青田县', '缙云县', '遂昌县', '松阳县', '云和县', '庆元县', '景宁县', '龙泉市'
]

    company_descriptions = selector.xpath("//div[2]/div/a[position()>1]/text()")
    if company_descriptions[2] in Administrative_Region:
        company_address = company_descriptions[0:3]
        company_attr = '-'.join(company_descriptions[3:])
    else:
        company_address = company_descriptions[0:2]
        company_address.append('')
        company_attr = '-'.join(company_descriptions[2:])
    for address in company_address:
        company_information.append(address)
    company_information.append(company_attr)

用第三个行政区来划分是最好的，这样弄出来的数据一致性就会好很多，接下来处理数据就会方便很多！

好了，其他的就没什么了，关键点已经解决了，放上完整代码。

# -*- coding:utf-8 -*-

import requests
from lxml import etree

headers = {
    "User-Agent": "Mozilla / 5.0(Windows NT 6.1;Win64;x64)"
                  "AppleWebKit / 537.36(KHTML, likeGecko)"
                  "Chrome / 58.0.3029.110"
                  "Safari / 537.36"
}

Administrative_Region = [
    '上城区', '下城区', '江干区', '拱墅区', '西湖区', '滨江区', '萧山区', '余杭区', '桐庐县', '淳安县', '建德市', '富阳区', '临安市',
    '海曙区', '江北区', '北仑区', '镇海区', '鄞州区', '奉化区', '象山县', '宁海县', '余姚市', '慈溪市',
    '鹿城区', '龙湾区', '瓯海区', '洞头区', '永嘉县', '平阳县', '苍南县', '文成县', '泰顺县', '瑞安市', '乐清市',
    '南湖区', '秀洲区', '嘉善县', '海盐县', '海宁市', '平湖市', '桐乡市',
    '吴兴区', '南浔区', '德清县', '长兴县', '安吉县',
    '越城区', '柯桥区', '新昌县', '诸暨市', '上虞区', '嵊州市',
    '婺城区', '金东区', '武义县', '浦江县', '磐安县', '兰溪市', '义乌市', '东阳市', '永康市',
    '柯城区', '衢江区', '常山县', '开化县', '龙游县', '江山市',
    '椒江区', '黄岩区', '路桥区', '玉环市', '三门县', '天台县', '仙居县', '温岭市', '临海市',
    '莲都区', '青田县', '缙云县', '遂昌县', '松阳县', '云和县', '庆元县', '景宁县', '龙泉市'
]


# def get_first_url():
#    html = requests.get(url=start_url, headers=headers).text
#    selector = etree.HTML(html)
#    first_urls = ["http://www.socom.cn"+str(url) for url in selector.xpath("//div[@class='provinceBox']/a/@href")]
#    return first_urls


def get_total_page(first_url):
    html = requests.get(url=first_url, headers=headers).text
    selector = etree.HTML(html)
    page_nums = selector.xpath("//div[@class='description']/table/tr/td[1]/font[2]/text()")[0]
    return page_nums


def get_company_url():
    category_urls = []
    for categoryId in range(10, 31):
        first_url = "http://www.socom.cn/company/company_list.jsp?categoryId=" + str(categoryId) + \
                    "&locationId=33&name=&cp=1"
        page_nums = int(get_total_page(first_url))

        for cp in range(1, page_nums + 1):
            category_url = "http://www.socom.cn/company/company_list.jsp?categoryId=" + str(categoryId) + \
                           "&locationId=33&name=&cp=" + str(cp)
            category_urls.append(category_url)
    for url in category_urls:
        html = requests.get(url=url, headers=headers).text
        selector = etree.HTML(html)
        temp_urls = selector.xpath("//div[6]/div/a/@href")
        for temp_url in temp_urls:
            company_url = "http://www.socom.cn" + temp_url
            print(company_url)
            get_company_information(company_url)


def get_company_information(company_url):
    company_information = []
    html = requests.get(url=company_url, headers=headers).text
    selector = etree.HTML(html)

    company_name = selector.xpath("//div[3]/div[1]/text()")[0]
    company_information.append(company_name)

    company_descriptions = selector.xpath("//div[2]/div/a[position()>1]/text()")
    if company_descriptions[2] in Administrative_Region:
        company_address = company_descriptions[0:3]
        company_attr = '-'.join(company_descriptions[3:])
    else:
        company_address = company_descriptions[0:2]
        company_address.append('')
        company_attr = '-'.join(company_descriptions[2:])
    for address in company_address:
        company_information.append(address)
    company_information.append(company_attr)

    company_details = selector.xpath("//div[3]/div[2]/div[1]/text()")
    for company_detail in company_details:
        company_information.append(str.replace(company_detail, u'\xa0', u'').strip())
    print(company_information)


if __name__ == "__main__":
    get_company_url()

结果

结果

结果

还算比较整齐的。
写到数据里的部分下次补上，来不及了，先记录一部分。