作业代码
spider.py
# -*- coding: utf-8 -*-
import scrapy
from jianshu.items import JianshuItem
import sys
import re
reload(sys)
sys.setdefaultencoding("utf-8")
class WeekSpider(scrapy.Spider):
name = "weekhot"
#start_urls = [ 'http://www.jianshu.com/trending/weekly?&page=1',]
def start_requests(self):
url = 'http://www.jianshu.com/trending/weekly'
for i in range(1, 6):
url = url + '?&page=%s' %i
yield scrapy.Request(url, self.parse)
def parse(self, response):
total = response.xpath('//div[@class="content"]')
item = []
for alone in total:
item = JianshuItem()
item['author'] = alone.xpath('div[@class="author"]/div/a/text()').extract()
posts = alone.xpath('div[@class="author"]/div/span').extract()
item['post_date'] = re.findall('at="(.*?)"><', posts[0], re.S)
item['title'] = alone.xpath('a[@class="title"]/text()').extract()
meta = alone.xpath('div[@class="meta"]')
item['read_num'] = meta.xpath('a[@target="_blank"][1]/text()').extract()
item['comment_num'] = meta.xpath('a[@target="_blank"][2]/text()').extract()
item['like_num'] = meta.xpath('span/text()')[0].extract()
yield item
items.py
import scrapy
class JianshuItem(scrapy.Item):
# define the fields for your item here like:
author = scrapy.Field()
post_date = scrapy.Field()
title = scrapy.Field()
read_num = scrapy.Field()
comment_num = scrapy.Field()
like_num = scrapy.Field()
作业结果
作业结果
作业总结
这次所爬取的内容和昨天的一样，不过这次使用了xpath和scrapy，在速度上弥补了昨天所不足的地方，在作业中，困扰比较久的是xpath的用法，第一次学xpath，以为和beautifulsoup一样，只要截取到一部分标签，就可以直接搜索这个标签下的任意子标签，就是这个想法误导了好久，尝试了一下，发现xpath与beautifulsoup的原理不太一样，xpath是部分解析，要哪一部分就提取哪一部分，而beautifulsoup是全部解析，举个例子，我们要去找一个地方，这个地方是某某县，用xpath的办法就是，你必须先知道是哪个省，再是哪个市，最后才到某某县，你不知道哪个市也就找不到这个县了，而用beautifulsoup的办法就是不管你要找哪个县，我先把整个地图给你扫一遍，再告诉你这个县的位置，即使你不知道哪个市，也知道这个县在哪里，两种方法的优缺点在哪里呢？就我个人感觉，xpath上手稍微难点，要按层级找，但是由于是部分截取，所以快，而beautifulsoup呢，上手简单，但是全局搜索，速度慢。当然还在于xpath是用C编写的，beautifulsoup是用python编写的。
还有一个坑就是终于找到了第一次学scrapy为什么不运行的原因了，原因在于url的设置不对。
昨天的问题解决情况
坑二、关于写入到csv文件中，在输出的到csv文件中，并转化成excel文件后，发现
read_num和comment_num这两列无法排序，纠其原因，是无法选取其值，将他们复制下来到文本中，发现多了几个引号：
这个问题的产生并不是在编码上的问题，而是在原网站上的标签内容本身就是带有" "的，所以输出到csv文件里，会默认成列表中的另一个列表，所以无法在exel中显示其值
