因为需要较多的ppt文档，爬了一个网站 www.1ppt.com。本文主要是记录这一过程，如果您正在做文档爬虫，或者是MSOffice文档分析，这系列对您可能有些帮助。
本文的主要内容是：
- 简单介绍1ppt.com的爬取逻辑；
- pptSpider源码讲解；
1.简单介绍1ppt.com的爬取逻辑
站点分析
分析1ppt.com 并不复杂，站点的结构也很简单，它的页面结构如下：
1ppt 三级目录
就是个三级目录，没有什么难点，
接下来我分三步来介绍这个过程。
第一步、根据首页，获取板块分页目录；
第二步、遍历板块中的所有详情页连接 ；
第三步、获取文档信息；
1.1、根据首页，获取板块分页目录
1ppt.com的页面布局是这样的：
分类目录
获取它的分页目录，不管是描述还是连接，都很方便。
注意className
通过浏览器，CopyXPath能得到：
/html/body/div[5]/dl[1]/dd/ul[1]/li[2]/h4/a
精简一下语法，标题和描述的定位方法可以写成：
self.m_PageListDes = selector.xpath('//dd[@class="ikejian_col_nav"]/ul/li/h4/a/@title')
self.m_PageListURL = selector.xpath('//dd[@class="ikejian_col_nav"]/ul/li/h4/a/@href')
自此，我们已经能拿到这个网站的所有分类目录。
1.2、遍历板块中的所有详情页连接
详情页连接
详情页也不难抓，”arclist“下就是详情页信息的集合。同时，所有页面的遍历方法可通 过"下一页"button来判断。如果有这个按钮，就一直找下去，所有详情页就能找全了。
遍历逻辑，nextPage
需要注意的是，这个站点绝大多数的页面都是这个样式，但也有不同的，做好返回值的判断。
1.3、获取文档信息
详情页信息主要是两部分，文件描述和下载地址。
文件描述的信息有：
docInfo
info_left
下载地址是：
downUrlList
2、pptSpider源码讲解
总的来说，爬这个站点是很简单的，没有太多的动态信息，都是明码。找对逻辑，依次抓就是了。
我拿到了这个站点的所有文档，其实也没多少，3万多ppt，不到40G。
我已经把整理好的源码传到git，地址为：https://github.com/northtower/pptSpider
感谢大家Star！！
# -*- coding:utf8 -*-
import requests
import os
from lxml import etree
from requests.exceptions import ReadTimeout,ConnectionError,RequestException
LOCALPATH = "/Users/Sophia/Codes/python/spider/pptDownLoad/"
HOMEPAGE = 'http://www.1ppt.com'
'''
简单封装了ppt1.com单站爬虫的分步功能，大体上分三个步骤：
1、根据首页，获取板块分页目录 GetIndexPage()；
2、遍历板块中的所有文档内容 GetContentByURL；
3、获取文档信息 GetDocInfo
扩展功能1:提供文件下载功能 DownLoadFile
'''
class CPPT1Spider():
def __init__(self , homePage):
self.initWithHomePage(homePage)
def initWithHomePage(self , oHomePage):
print ""
html = requests.get(oHomePage)
html.encoding = 'gb2312'
selector = etree.HTML(html.text)
self.m_PageListDes = selector.xpath('//dd[@class="ikejian_col_nav"]/ul/li/h4/a/@title')
self.m_PageListURL = selector.xpath('//dd[@class="ikejian_col_nav"]/ul/li/h4/a/@href')
#根据首页，获取板块目录。在ppt1网站中，板块目录就是初【出版社->年级教材】
def GetIndexPage(self):
oCounts = 1
for value1,value2 in zip(self.m_PageListDes ,self.m_PageListURL):
oListPageURL = HOMEPAGE + value2
createPath = LOCALPATH + value1
print "[", oCounts, "]", value1, oListPageURL
oCounts = oCounts + 1
self.GetContentByURL(oListPageURL , createPath)
#if not os.path.exists(createPath):
#os.mkdir(createPath)
#PS_getContentPage.GetContentByURL(oListPageURL , createPath)
#print createPath
#根据板块首页，遍历所有详情页
def GetContentByURL(self , oListPageURL , oLocalPath):
homePage = "http://www.1ppt.com"
html = requests.get(oListPageURL)
html.encoding = 'gb2312'
selector = etree.HTML(html.text)
# listPage 的获取办法
content3 = selector.xpath('//ul[@class="arclist"]/li/a/@href')
for value in content3:
listPageUrl = homePage + value
self.GetDocInfo(listPageUrl)
#oRet = PS_downloadFile.downLoadByURL(listPageUrl , oLocalPath)
#have nextpage 通过“下一页”的关键字查找
content4 = selector.xpath(u"//a[contains(text(), '下一页')]")
for value in content4:
strlistUrl = value.get('href')
#herf绝对路径的方法没找到，就用字符串拼吧
op = oListPageURL.rfind('.')
if (op > 0):
op1 = oListPageURL.rfind('/') + 1
strRet = oListPageURL[:op1]
strRet = strRet.lower()
oListPageURL = strRet
nextPage = oListPageURL + strlistUrl
print "next Page -----------------------"
print nextPage
self.GetContentByURL(nextPage , oLocalPath)
#根据详情页地址，获取文档信息。ppt1中的docInfo有很多，我只取了其中三项。
def GetDocInfo(self , oUrl):
html = requests.get(oUrl)
html.encoding = 'gb2312'
selector = etree.HTML(html.text)
zipUrl = selector.xpath('//ul[@class="downurllist"]/li/a/@href')
if not zipUrl:
return False
print "课件详情页:" ,oUrl
strZip = str(zipUrl[0])
print "课件地址:" ,strZip
#下载文件
#oRet = self.DownLoadFile(strZip)
#频道地址
#docInfoList = selector.xpath('//div[@class="info_left"]/ul/li[1]/a/@href')
#课件名称
docInfoList = selector.xpath('//div[@class="ppt_info clearfix"]/h1/text()')
if docInfoList:
print "课件名称:" , docInfoList[0]
print ""
def DownLoadFile(self, oFileURL):
#模拟报文头
oHeader = { "Accept":"text/html,application/xhtml+xml,application/xml;",
"Accept-Encoding":"gzip",
"Accept-Language":"zh-CN,zh;q=0.8",
"Referer":"http://www.1ppt.com/",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36"
}
PDFName = self.GetFileNameByURL(oFileURL)
localPDF = LOCALPATH + PDFName
try:
response = requests.get(oFileURL,headers = oHeader ,timeout=10)
print(response.status_code)
print localPDF
if not os.path.exists(localPDF):
oFile = open(localPDF, "wb")
for chunk in response.iter_content(chunk_size=512):
if chunk:
oFile.write(chunk)
else:
print "had download file:" ,localPDF
return True
except ReadTimeout:
print("timeout")
except ConnectionError:
print("connection Error")
except RequestException:
print("error")
return False
def GetFileNameByURL(self, oURL):
op = oURL.rfind('/')
if (op > 0):
op = op + 1
strRet = oURL[op:]
strRet = strRet.lower()
return strRet
if __name__ == "__main__":
oHomePage = 'http://www.1ppt.com/kejian/'
oSpider = CPPT1Spider(oHomePage)
oSpider.GetIndexPage()
注意事项：
- 下载文档会有失败的情况，有些tryAgain即可解决；
- 可以先爬去信息，再统一下载文档；
- 下载后的文档未解压，这部分等到ppt文档分析时再做描述；
备注
爬虫不是本系列的重点，我的目的是ppt内容分析，所以，这部分的着墨并不多。如果您有疑问，可以给我留言。我一周内尽量给您回复。
