spider man
前言
来到新公司已经有6个月多一点了，爬虫项目也从一开始的啥也不啥，慢慢的走向正轨了。今天我就来跟大家总结以下爬虫中的小技巧。
数据解析可以放到后面做
我一开始的时候是把爬虫和数据解析入库放在一个项目里，这样做虽然避免了一次循环，但是如果你对数据的掌握不到位，后面改起来会很麻烦。尤其是已经抓取下来的数据，你可能还要再重新爬取。
像我们公司就很典型，数据那几个点能够确定唯一，根本就不知道。只有当数据量大了之后，才知道数据库中的哪几列能够确定唯一行。
合理使用Redis
爬虫的时候，避免重复的请求和重复的数据是很重要的，所以去重是必要的。在我做的项目（外包做的第一版，我在他的基础上做了很大的改进，基本就相当于是重构了）中，我做了如下的操作：
- 多用户同时抓取
多用户同时抓取时，在Redis中存储了一个抓取时作为搜索条件的set集合。取出来很简单，用spop就行了，不过仅仅pop会有问题。
如果pop后面的抓取流程出错，那这个key不就丢了？为了解决这个问题，我在Redis中存储了该键，将用户名作为key，搜索值作为value。
set(username, val)
# 抓取数据...
# 抓取完成
del(username)
- set去重
如果你想用Redis来去除重复数据的话，要注意数据量的大小，我接手的时候，用来查重的set已经有6千多万了，Redis虽然没啥问题，但是本着Java中Set的原理，我还是将这6千多万做了hash分表。 - 分布式锁
项目中一开始有个分布式锁，主要是为了避免脏读，他在取出数据之前，会先去判断它的长度，如果长度大于0它就会去pop。不过- -没必要啊，如果pop出来是None不就说明没有数据了吗，本身Redis就是单线程(业务上)的，所以我就把它给去了。 - 另外，对于去重可以采用布隆过滤器来避免不必要的Redis查重，布隆过滤器可以看这篇文章。
DB优化
在我的爬虫项目中，数据插入到数据库之前都会先进行一次查重，可以采用如下的sql将查重和插入合并为一条sql语句，假设有表t_student:
| 名字 | 类型 | 注释 |
|---|---|---|
| id | bigint | 主键自增 |
| name | varchar(20) | 学生姓名 |
| age | varchar(20) | 年龄 |
| gender | bit | 性别 |
| student_id | varchar(20) | 身份证号 |
INSERT INTO `t_student` ( `name`, `age`, `gender`, `student_id` ) SELECT
'shenshen',
16,
0,
'1359925215152'
FROM
DUAL
WHERE
NOT EXISTS ( SELECT id FROM t_student WHERE student_id = '1359925215152' LIMIT 1 )
LIMIT 1是我下面要说的，只是为了确定有没有的话通过LIMIT 1可以减少查库时的匹配次数。
- 数据库引擎
默认的数据库引擎都是InnoDB，不过一般来说，爬虫爬下来的数据都是不需要考虑事务的，所以我在项目中直接更换成了MyISAM，两个数据库引擎的差别可以看这篇文章。 - 合理使用批量插入
批量插入其实就是将多行数据合并成一个sql语句发送给数据库服务器，数据库对于这种批量插入的操作都是有优化的，网络IO不一定差多少，但是磁盘IO差的可就更多了。之前提到的将Redis中的大Set拆成多个set，我就是用的批量，也就是pipeline(管道技术)。
批量插入需要注意几个点:
- 如果你是当集合达到多少个元素才执行一次插入，记得插入完就清理(调用集合的clear()方法)。当集合的size不达到批量条件，但是后面又不会再往里面添加了，记得清理掉还未入库的数据。
- 如果你在往这个集合中添加数据之前做了去重的操作，要保证这个集合本身就是不会重复的(比如set()集合)。
- 如果有记录执行进度这种操作的话，批量插入可能就不适合了，如果在批量插入之前程序就挂了呢。。。
日志优化
对于运行日志，我是将程序分成了几个步骤，每个步骤记录以下，这样即使后面有未知的异常发生，我也能区分出来大概在哪一块儿。
Selenium框架踏过的坑
Selenium是一种自动化测试框架，也可以用于爬虫中触发页面点击事件等，我的项目中就主要依靠的它，接下来我把几个点分享一下，大家有则改之无则🐂批。
- 设置driver超时
# 设置页面加载(跳转)最大超时时间
driver.set_page_load_timeout(60)
# 设置Js执行的超时时间
driver.set_script_timeout(60)
# 设置通过页面获取界面元素时的超时时间
driver.implicitly_wait(3)
不设置超时，极有可能发生程序跑着跑着没反应了，连问题在哪都不知道。
- 隐藏浏览器，避免不必要的资源占用
# 无界面启动谷歌浏览器
options.add_argument("headless")
options.add_argument("window-size=1200x600")
driver = webdriver.Chrome(executable_path="file/chromedriver.exe", options=options)
我是自己指定的driverpath，给电脑设置环境变量什么的移植太麻烦(NC)。
- 好好阅读官网
一开始的时候driver总是会报错，不过好在大家都踩过那些坑，安全策略，页面缩放比例什么的。 - 获取页面元素时抛NoSuchElementException
这个问题主要有三大原因导致：
①、 页面真的没有这个元素(大多数不会犯这个错)
②、 程序跑的比页面要快，导致获取不到
这个问题我在Java上没有遇到过，但是通过Python的就经常出这些问题（所以是Java牛批还是Python人生苦短...）。可以通过time.sleep()解决，不过会导致操作太慢，在这里提供以下代码作为参考：
def to_last_frame(driver):
"""
将页面切换到最后一个iframe
:param driver:
:return: None
"""
driver.switch_to.default_content()
wait_element_by_tag_name(driver, "iframe")
frames = driver.find_elements_by_tag_name("iframe")
driver.switch_to.frame(frames[-1])
time.sleep(0.5)
def wait_element_by_id(driver, element_id):
"""
按照id等待某个元素
:param driver:
:param element_id: 元素的id属性
:return:
"""
wait_element(driver, element_id)
def wait_element_by_tag_name(driver, element_tag):
"""
根据标签名称等待某个标签
:param driver:
:param element_tag:
:return:
"""
wait_element(driver, element_tag, find_type=1)
def wait_element_by_xpath(driver, xpath):
"""
通过xpath方法等待获得元素
:param driver:
:param xpath: 跟webdriver的使用相同
:return:
"""
wait_element(driver, xpath, find_type=2)
def wait_element_by_name(driver, name):
"""
通过name属性阻塞式查找元素
:param driver:
:param name: 标签的name属性
:return:
"""
wait_element(driver, name, find_type=3)
def wait_element(driver, condition, find_type=0, flag=True):
"""
根据type的不同采取不同的策略等待网页元素
如果包含iframe,则必须要求所需要的元素在最后一个iframe
:param driver:
:param condition: 条件(id名称,tag名称)
:param find_type: 搜索类型. 0:按照id搜索; 1、按照标签搜索;
:param flag: 当10秒的时间过去了,仍然找不到condition时.若falg为True,
则该函数会执行driver的refresh方法;否则不执行,直接抛出异常
:exception NoSuchElementException: 当尝试无果时,则抛出NoSuchElementException
"""
for i in range(10):
try:
if find_type == 0:
driver.find_element_by_id(condition)
elif find_type == 1:
driver.find_element_by_tag_name(condition)
elif find_type == 2:
driver.find_element_by_xpath(condition)
elif find_type == 3:
driver.find_element_by_name(condition)
else:
# 自定义的Error
raise ParameterError
return
except NoSuchElementException:
time.sleep(1)
if flag:
driver.refresh()
time.sleep(8)
to_last_frame(driver)
wait_element(driver, condition, find_type, False)
else:
# selenium.common.exceptions.NoSuchElementException
raise NoSuchElementException("wait_element都找不到,刷新页面吧")
③、页面中包含<iframe>
selenium对于包含iframe的是拿不到元素的，所以得要切换到包含该元素的iframe中，如上的to_last_frame(driver)就是我做的切换页面,不过这个方法直接切换到最后一个iframe罢了。
总结
不知道说些什么，那我就祝大家早日秃头叭。
