上班时候浏览网站发现一篇好文章没时间读怎么办？存书签？转发分享？
网站连载的小说追着太麻烦怎么办？下载读书软件？日常提醒？
......
太太太low了！要是有个一劳永逸的方法就好了
想一劳永逸？没问题，接着往下看就行了。
今天要讲的是——python网络爬虫之kindle推送。
闲话少说，进入正题：
工具：
python3.6
wkhtmltopdf
邮箱一个(最好用163、新浪邮箱、qq邮箱)
kindle一个
三方库(pip安装即可):
requests
pdfkit
bs4
Step1: 安装wkhtmltopdf
wkhtmltopdf在这里下载：传送门
下载对应版本即可，Windows系统下直接安装，记得安装完要把安装目录下的bin目录添加到系统环境变量。Linux系统下载后解压文件，记得把bin目录下的wkhtmltopdf copy至/user/local/bin/wkhtmltopdf执行目录下。
#linux下解压
tar -xvf wkhtmltox-0.12.4_linux-generic-amd64.tar.xz
#copy至执行目录下
cp 解压目录 /usr/local/bin/wkhtmltopdf
Step2: 爬取指定网页，并生成pdf
这里以简书网站为例（其他网站一样）
最基本的网络爬虫，不多述，直接上代码：
#!/usr/bin/python
# -*- coding: utf-8 -*-
"""
-------------------------------------------------
File Name: html2pdf
Description: 爬取简书文章
Author: w
Date： 2018/2/2 16:18
Version: python3.6
-------------------------------------------------
"""
from bs4 import BeautifulSoup
import requests
import pdfkit
from sys import argv
class Cawler(object):
def __init__(self):
self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'}
self.html_template = """
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<link rel="stylesheet" media="all" href="https://cdn2.jianshu.io/assets/web-b902b38f60020358f549.css" />
<link rel="stylesheet" media="all" href="https://cdn2.jianshu.io/assets/web/pages/notes/show/entry-26b7d612b78d3be06fb9.css" />
</head>
<body class="reader-black-font">
<div class='note'>
<div class="post">
<div class="article">
{0}
</div>
</div>
</div>
</body>
</html>"""
self.options = {
'page-size': 'Letter',
'margin-top': '0.75in',
'margin-right': '0.75in',
'margin-bottom': '0.75in',
'margin-left': '0.75in',
'encoding': "UTF-8",
'custom-header': [
('Accept-Encoding', 'gzip')
],
'cookie': [
('cookie-name1', 'cookie-value1'),
('cookie-name2', 'cookie-value2'),
],
'quiet': '',
}
self.file = ''
def htmldownloader(self, url):
if url is None:
return None
try:
r = requests.get(url, headers=self.headers, timeout=1)
if r.status_code == 200:
r.encoding = 'utf-8'
return r.text
except Exception as e:
print(e)
return None
def htmlparser(self, content):
if content is None:
return None
soup = BeautifulSoup(content, 'html.parser')
try:
title = soup.find('h1', class_='title').get_text()
text = soup.find('div', class_='article') #提取文章内容
img_tag = text.find_all('img') #提取正文中的所有图片标签(为了补全图片链接)
for img_url in img_tag:
try:
img_u = img_url['data-original-src']
except KeyError: #两种不同的图片标签
img_u = img_url['src']
except Exception as e:
print(e)
img_url['src'] = 'https:' + img_u
self.file = title.split('.')[0].replace('/', '-').replace('\\', '-') + '.html' #清除文章标题中的特殊字符
html = self.html_template.format(text)
except Exception as e:
print(e)
return None
try:
with open(self.file, 'w', encoding='utf-8') as f:
f.write(html)
except OSError:
import time
self.file = str(time.time()) + '.html' #文件名不合格，无法存储，改为时间命名
with open(self.file, 'w', encoding='utf-8') as f:
f.write(html)
# path_wk = r'C:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe' # 安装位置
# config = pdfkit.configuration(wkhtmltopdf=path_wk)
if self.file:
path = self.file.split('.')[0] + '.pdf'
try:
pdfkit.from_file(self.file, path, cover='cover.html', options=self.options)
import os
if os.path.exists(self.file):
os.remove(self.file)
except Exception as e:
print(e)
上述代码完成了简书网站单篇文章内容的爬取，写入事先定义的html格式框架中并保存为.html格式，随后调用wkhtmltopdf将刚才保存的.html文件生成为.pdf文件。
Step3: 将上面生成的pdf文件推送到kindle
亚马逊为kindle提供了邮件推送的功能，所以我们借助邮件的方式将pdf文件推送至kindle。下面实现邮件发送功能：
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.application import MIMEApplication
import smtplib
EAMIL = xxxx #你的邮箱
PASSWD = xxx #邮箱密码
TO = xxx #kindle接受邮箱(xxx@kindle.cn)
def sendtokindle(file):
msg = MIMEMultipart()
msg['Subject'] = 'convert' #邮件标题
msg['From'] = EMAIL
msg['To'] = TO
fp = open(file,'rb')
att = MIMEText(fp.read(),'base64','gbk')
att['Content-Type'] = 'application/octer-stream'
att.add_header('Content-Disposition', 'attachment',filename=('utf-8', '', basename))
encoders.encode_base64(att)
msg.attach(att)
s = smtplib.SMTP_SSL("smtp.qq.com", 465,timeout = 30)#连接smtp邮件服务器,qq邮箱端口为465
s.login(EMAIL, PASSWD)#登陆服务器
s.sendmail(EMAIL, TO, msg.as_string())#发送邮件
s.close()
可能出现的问题
邮件发送失败：163邮箱服务器“smtp.163.com”，端口25(非SSL)或465/994(SSL)，详见163邮箱设置，使用之前先把163的IMAP/SMTP服务打开
推送失败：推送至kindle之前，先把你的邮箱添加到kindle的邮箱信任列表
推送中文乱码：看这里
好了，本讲内容结束！
