上一篇文章 简书首页数据抓取的答疑 ，分析了在抓取简书首页时的问题，还有一些小的细节需要注意。

一、Scrapy: url length > 2083 的问题

按照上一篇文章的思路方法，构造好URL，加上headers参数，能够顺利获取到第2、3、4页的数据，但是加载到第5页时出现一个错误：

是说url过长，超过2083个字符。第5页的url有81个参数（80个id和page），一共2425个字符，用浏览器（chrome, firefox）直接打开访问能正确加载到数据。

关于url too long 的问题，查了一下，有网友测试了个浏览器和服务器支持的最大URL长度，附表如下：

在请求时USER_AGENT 的设置并不是IE，但还是有这个限制。我试了一下用requests直接发送请求，可以获取到数据。

scrapy 在setting.py中增加一个参数即可：

URLLENGTH_LIMIT = 20000

再次启动爬虫，正常抓取。但是抓取到第8页时，发现就没有数据返回了，状态码是400。在浏览器中依次加载到第8页也是一样，获取不到数据，暂不清楚原因。

有一点需要更正：虽然分页url传递的id数量增加了，下一页每次获取的数据仍然是20条。

二、结构化数据需要加上判断

在页面文章信息中，每篇文章都有浏览量，评论量（包括0），获赞量，但不是每一篇文章都有 打赏和 所属专题。

解决以上问题，就能抓取到简书首页文章的相关数据。