某z手机信息爬取

一、爬取准备

网站分析
- 总体分析：经过分析发现，中关村手机基本上都是传统的网页模式，并没有用到前后端分离（json传输数据），这个时候只要对页面的URL进行分析
- URL分析：url也是规规矩矩的拼接
  
  subcate57_list_1.html
  
  末尾的list_1，这里的数字代替页数
- 然后通过每个手机的链接获得其手机代号（姑且取名叫代号吧）
```
手机信息url：cell_phone/index1241574.shtml
        这个url里index后的几位数字即为手机代号
手机详细参数url：cn/1242/1241574/param.shtml
        很容易发现中间的4位数字是后面长数字前4位+1（1242 = 1241xxxx+1），接下来可以开干了
```

二、代码

scrapy

代码很简单，就不贴出来了

... ...

考虑到要存入到Mysql数据库，一直苦于没有像MongoDB，redis那么好用，如果每条都建立一个连接，就scrapy这个爬取速度肯定是吃不消的，网上找了一个处理scrapy—mysql的例子，用起来挺舒服的，而且查看了Mysql，并没有造成阻塞，数据丢失，连接数爆炸等情况，所以重点分享一下这个Pipeline，最后记得到settings里启用

# pipelines.py

class MysqlPipelineZ(object):
    def __init__(self, dbpool):
        self.dbpool = dbpool

    @classmethod
    def from_settings(cls, settings): 
        """
        数据库建立连接
        :param settings: 配置参数
        :return: 实例化参数
        """
        adbparams = dict(
            host=settings['MYSQL_HOST'],
            db=settings['MYSQL_DB'],
            user=settings['MYSQL_USER'],
            password=settings['MYSQL_PASSWORD'],
            cursorclass=pymysql.cursors.DictCursor  # 指定cursor类型
        )
        # 连接数据池ConnectionPool，使用pymysql
        dbpool = adbapi.ConnectionPool('pymysql', **adbparams)
        # 返回实例化参数
        return cls(dbpool)

    def process_item(self, item, spider):
        """
        使用twisted将MySQL插入变成异步执行。通过连接池执行具体的sql操作，返回一个对象
        """
        query = self.dbpool.runInteraction(self.do_insert, item)  # 指定操作方法和操作数据
        # 添加异常处理
        query.addCallback(self.handle_error)  # 处理异常

    def do_insert(self, cursor, item):
        # 对数据库进行插入操作，并不需要commit，twisted会自动commit
        insert_sql = """
        insert into zolPhone(model,sellTime,updateTime) VALUES (%s,%s,%s)
                    """
        cursor.execute(insert_sql, (item['phone_name'], item['sell_time'], item['update_time']))

    def handle_error(self, failure):
        if failure:
            # 打印错误信息
            print(failure)

三、小结

整个爬取过程和速度非常满意，之前偷懒用requests爬取大约20min，改用scrapy大概40s，好久没写新的爬虫了，都快要忘记最初的兴趣了，希望来年多多历练，大家一起进步！

最后编辑于：2019.01.08 16:47:26