最近正在学习 Machine leaning,加之余闲之际，又喜看小说，故偶生一技，采用机器学习分析金庸小说与网络小说（仙侠类）的差异；
废话少道，先看看此次项目的实现流程：
项目简单流程图
1、Get Data
首先，要对比金庸及网络小说的差异之处，那第一步肯定是获取数据了，在这里我们选取最近比较火的5部网络小说，分别为：《天影》、《无疆》、《盗天仙途》、《双天行》、《两仪道》，金庸大大的书，就选择为：《天龙八部》、《倚天屠龙记》、《鹿鼎记》、《笑傲江湖》、《神雕侠侣》；
书籍选好了，接下来便是获取书籍的内容了，本文采取 Python Request库及 BeautifulSoup4 库对书籍文本进行爬取网络文学，采取 Python Request库及 RE库进行对金庸大大的书籍进爬取；
1、1 Python 爬取书籍数据：
a、Request & BeautifulSoup 爬取网络文学：
首先，百度一下《天影》，发现顶点小说内可以免费阅读（天影），就已此书为例爬取此书到本地；
研究发现，所有的文本链接均在一个类别（class）为 chapterlist的标签内（dl），而且每个章节的链接为都在 'dd>a' 下，故利用此规律可以对此进行遍历及索引；
其次，打开章节内容，发现，文本存储在 类别（class）为 ‘inner’ 的标签内（div）,而且，其中 <h1>..</h1>标签内的内容为章节标题，<div id='content'>..</div>,Id 为‘content’的 标签内为章节内容（txt）;.故可以按照此规律对其进行遍历，详细程序如下：
import os
import requests
from bs4 import BeautifulSoup #引入基本python使用库
def url_requests(url): #定义一个url处理函数 ：url——soup对象
headers={'User-Agent':'Mozilla/5.0'}
re=requests.get(url,headers=headers,timeout=20)
re.encoding=re.apparent_encoding
if re.status_code==200:
soup=BeautifulSoup(re.text,'html.parser')
return soup
else:
print('linking error')
def file_write(text):#文件写入函数
with open('天影.text','a',encoding='utf-8') as file:#指定编码类型为‘UTF-8’型
file.write(name+text)
file.close()
if os.path.exists(r'./art')==0:#判断文件夹是否存在，若NOT，创建一个到本地；
os.mkdir(r'./art')
os.chdir(r'./art')
url='http://www.23us.com/html/65/65090/'
links=url_requests(url).select('td > a')#查询所有带有目的url的 a（Tag）标签
for i in range(len(links)):
urls=url+links[i]['href']
text=url_requests(urls).select_one('#contents').get_text()
name=links[i].get_text()
file_write(text)#引入写入函数中
同理，只需要修改一下url 及保存文档名字，就可以spider 所有的目的小说；
b、Requests&Re（正则表达式）爬取武侠小说：
源码如下：
import re
import requests
from bs4 import BeautifulSoup
import os
def change_url(url):
response=requests.get(url)
response.encoding=response.apparent_encoding
if response.status_code==200:
soup=BeautifulSoup(response.text,'html.parser')
return soup
else:
print('link error 1')
def file_write(text):
with open('倚天屠龙记.text','a',encoding='utf-8') as file:
file.write(text)
file.close()
if os.path.exists(r'./art')==0:
os.mkdir(r'./art')
os.chdir(r'./art')
url='http://jinyong.zuopinj.com/7/'
rs=requests.get(url)
rs.encoding=rs.apparent_encoding
if rs.status_code==200:
links=re.findall(r'href\=\".{29}\d{2，3}.html\"',rs.text) #re:含义为 href="..",比bs4更为简洁
for i in range(len(links)):
urls=eval(links[i].split('=')[1])#对字符串进行分割处理
content=change_url(urls).select_one('#htmlContent').get_text()
file_write(content)
else:
print('link error 0') #PS:其实从此份代码可以看出，有时候用正则库可能还不如用bs4库方便
下一小节，更新第二点数据处理
