<blockquote>
<p>背景介绍：非计算机专业，具有一点python编程基础。 曾自学廖雪峰的《笨办法学 Python(第四版）》、网易公开课《麻省理工学院公开课：计算机科学及编程导论》（以python为开发工具），另外购买了纸质版《python核心编程》以便遇到问题查看。
爬虫相关书籍看过《OReilly.Web.Scraping.with.Python》</p>
<p>目的：爬取豆瓣书籍信息，包括书名、作者、译者、出版社及时间、评分人数及星星等级，并存储于mysql数据库。</p>
<p>使用的工具：python3.5，jupyter notebook，sublime text，mysql。</p>
</blockquote>
<h3>个人理解爬虫过程主要分为三个步：</h3>
<ul>
<li>获取网页内容 </li>
<li>解析网页内容</li>
<li>存储爬下来的数据</li>
</ul>
<h3>（1）获取网页内容</h3>
<blockquote>
<p>关键在于把爬虫模拟成浏览器，发送请求。
涉及到的知识：http相关基础知识、cookie、session、几个python的包requests、beautifulsoup等</p>
</blockquote>
<p>1、import requests、beautifulsoup 库。获取浏览器headers（可在浏览器开发工具请求报文中看），这一步是爬虫伪装成浏览器。根据具体情况看是否需要cookie或session。</p>
<pre><code>import requests
from bs4 import BeautifulSoup
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36","Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8"}
url="https://book.douban.com/"
session=requests.session()
</code></pre>
<p>2、获取网页内容。涉及到知识：http相关知识，beautifulsoup、requests包，函数：beautifulsoup()，其中‘lxml’格式需要自己另外安装，findall()及find()。</p>
<pre><code>def get_Content(url):
res=session.get(url,headers=headers)
req=BeautifulSoup(res.content,'lxml')
book_content=req.findAll("div",{"class":"info"})
return book_content
</code></pre>
<h3>（2）解析网页内容</h3>
<blockquote>
<p>涉及到知识点：正则表达式、数据类型的转换、for循环语句、find()and findall()、get_text()函数、sub()、replace()、join()、split()等</p>
</blockquote>
<p>1、import re（正则表达式库），遍历已经获取的页面内容（在get<em>content函数中返回，其中findall函数返回的数据类型是list，这点跟find函数有所区别）通过find、get</em>text函数获取需要的书籍信息，数据类型为字符型str。由于获取到的内容的格式，并不是最终想要的格式，需要进行数据清洗，包括去掉\n，多余的空白、括号、还有字段“4524人评价”需要提取“4524”并存储为数值型。对于为什么需要判断if not rate？是由于部分数据由于评价人员过少，缺失rating内容，这时候令rating=0，否则爬虫爬到这本书的时候会报错停止，最后通过float()将rating转换成浮点型数值。针对"234评价"及"少于10人评价"情况的处理，用spilt(),跟正则表达式\D+（非数值）将数字跟汉字分开，再通过join只留下人数并转换成INT整型。</p>
<pre><code>import re
def get_items(book_content):
global Tag
for i in book_content:
title=get_cleandata(i.find("a").get_text())
tran=get_cleandata(i.find("div",{"class":"pub"}).get_text())
rate=i.find("span",{"class":"rating_nums"})
if not rate:
rating=0
else:
rating=float(get_cleandata(rate.get_text()))
pl=int(''.join(re.split('\D+',get_cleandata(i.find("span",{"class":"pl"}).get_text()))))
store(Tag,title,tran,rating,pl)
def get_cleandata(data):
cleandata=re.sub("\n+","",data)
cleandata=cleandata.replace("(","")
cleandata=cleandata.replace(")","")
cleandata=re.sub(" +","",cleandata)
return cleandata
</code></pre>
<p>2、获取所有需要爬取的url，一般有集中方式获取：</p>
<blockquote>
<p>1.获取“下一页”的url，不断的循环获取，爬完一页接着一页。直到获取下一页的url为空停止。</p>
<p>2、分析不同页数的url，找出规律，例如豆瓣读书，下一页的参数都是增加20(https://book.douban.com/tag/小说?start=20&type=T)，这样子就可以列出所有url，一直爬到返回的页面内容为空停止。</p>
<p>我采用的是第二种办法</p>
</blockquote>
<p>1、首先，观察页数最大值找到合适的值，观察到豆瓣最大的页数是99</p>
<pre><code>a=[a*20 for a in range(0,100)]
</code></pre>
<p>url参数的增加，通过urllib.parse.urlencode来增加。if not content 停止循环。最后通过time.sleep()控制循环时间，控制请求速度，模拟人点击页面，避免反爬策略。</p>
<pre><code>import import urllib.parse
import time
def get_Start(url):
global Tag
for i in Tag:
a=[a*20 for a in range(0,100)]
for r in a:
time.sleep(3)
values={"type":"T",'start':r}
data=urllib.parse.urlencode(values)
a=url+"tag/"+i+'?'+data
content=get_Content(a)
if not content:
break
else:
get_items(content)
</code></pre>
<p>其中还有获取Tag的值，由于不想爬全部的书籍，就直接通过修改Tag的内容来爬感兴趣的：</p>
<pre><code>#def get_Tab(url):
#r=session.get(url+"/tag/",headers=headers)
#bsObj=BeautifulSoup(r.content,'lxml')
#Tag_contents=bsObj.findAll("a",href=re.compile("^/tag/.*"))
#Tag=[tag.get_text()for tag in Tag_contents]
#return Tag
Tag=['哲学']
</code></pre>
<h3>（3）存储爬下来的信息</h3>
<blockquote>
<p>需要安装mysql，一些数据库操作的语句及基本知识</p>
</blockquote>
<p>1、首先，import pymysql库及设置好连接，在mysql里面建立好database及相关的表</p>
<pre><code>import pymysql
conn = pymysql.connect(host='localhost',user='root',passwd='lym*',db='mysql',charset='utf8')
cur = conn.cursor()
cur.execute("USE douban")
</code></pre>
<p>2、调用def store()函数存储相关的数据</p>
<pre><code>def store(Tag,title,tran,rating,pl):
cur.execute("insert into philosophy(Tag,book,content,point,comment_num) values(%s,%s,%s,%s,%s)",(Tag,title,tran,rating,pl))
cur.connection.commit()
</code></pre>
<h3>总结，整一个爬虫流程是先import相关的库，设置好开始的headers、开始url，然后get<em>Start(url)，获取需要爬的url，再调用get</em>items()，获取页面内容，通过get_cleandata()对数据进行清洗，最后调用store()进行存储爬下来的数据</h3>
<h3>下次，搞搞多线程</h3>
