爬虫入门03作业

这次作业总的而言就是一个理解代码，修改代码的过程。
老师给出的代码中，第一个函数download()是用来下载界面的html的。
第二个函数crawled_links()使用了遍历算法，把其中所有的内链遍历了以便。
第三个函数也通过遍历来实现了标题和文章内容的爬取，并进行了一定的清洗工作，最后存储到了本地。
该爬虫总体的思路是：

先调用所需要的包
设计一套函数，用来访问网站，并抓取网站中的HTML文件
如果需要抓取该网站相关的链接网站，建立一套遍历算法，利用前面设计好的一套函数抓取HTML中的url地址。
对抓取所有的链接通过调用函数，抓取HTML文件中需要的内容。
对抓取的内容进行清洗保存

我需要爬取的网页不需要爬取链接，只需要爬取当前界面的标题和内容，所以，对给出的爬虫做出了简化。
下面是我进行修改过的爬虫：

import os
import time
import urllib2
import urlparse
from bs4 import BeautifulSoup

def download(url,retry=2):#定义一个下载页面的函数
    print"downlanding: ",url
    header = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36'
    }#可以自由设置,相当于网名
    try:
        request = urllib2.Request(url,headers=header)#相当于输入网址并输入自己的登录名
        html = urllib2.urlopen(request).read()#抓取这个网页的html文件
    except urllib2.URLError as e:#服务器不存在（例如链接打不开，url链接写错了）
        print "downland error: ", e.reason #输出异常原因
        html = None#返回空值
        if retry > 0:#还有重试次数，继续尝试爬取
            if hasattr(e, 'code') and 500 <= e.code < 600:#错误码范围，只有在链接打不开的情况下才重新爬取，而链接写错了则不重新爬取。
                print e.code
                return dowland(url,retry -1)
    time.sleep(1)#等待1s,避免对网站造成沉重负担，甚至对网站造成严重伤害或直接把网站拖垮
    return html

def crawled_page(PageUrl):#爬取链接中的标题和正文部分，并保存到本地
        html = download(PageUrl)
        soup = BeautifulSoup(html,"html.parser")
        title = soup.find('h1', {'class': 'title'}).text#返回class属性为title的h1标签，并且只包含文字。
        content = soup.find('div', {'class': 'show-content'}).text#返回class属性为show-content的div标签，并且只包含文字。
        if os.path.exists('spider_res/') == False: #检查保存文件的地址
            os.mkdir('spider_res')#创建一个目录
        file_name = 'spider_res/' + title + '.txt'#保存的文件名及文件格式
        file = open('spider_res/' + title + '.txt', 'wb') #写文件
        content = unicode(content).encode('utf-8', errors='ignore')#用UTF-8实现Unicode，并消除转义字符
        file.write(content)
        file.close()

调用函数

crawled_page("http://www.jianshu.com/p/1ea730c97aae")

运行该爬虫，得到结果：

downlanding: [http://www.jianshu.com/p/1ea730c97aae](http://www.jianshu.com/p/1ea730c97aae)

以及该txt文件

爬虫入门03作业

推荐阅读更多精彩内容