大家平时可能有需要批量下载pdf的场景，小编会分享一下第一次尝试批量下载上交所公告的尝试历程。
1.导入爬虫必备的常用包
# -*- coding: utf-8 -*-
import requests #发送http请求
from bs4 import BeautifulSoup #html解析器
import urllib.request
import os #python文件/目录读取方法
2.构建list分别存放pdf的链接地址和pdf名称
def get_url_list():
url_lists = []#存放pdf链接地址
pdf_names=[]#存放名称
url='http://www.sse.com.cn/disclosure/listedinfo/announcement/s_docdatesort_desc_2016openpdf.htm'#找出正确的pdf链接很重要
html=requests.get(url)
html.encoding='utf-8'
soup=BeautifulSoup(html.text,'html.parser').find_all('a',class_="hidden-xs")#先打印出来返回的html.text之后，可以看到(文末有图)pdf连接，带有a标签，和class="hidden-xs"的属性，所以可以这样用bs4，找出PDF链接地址所在
for k in soup:
url_list=k['href']# 获取pdf链接，连接一般带href标签
pdf_name=(k['title'])#获取pdf名称
url_lists.append(url_list)#链接list
pdf_names.append(pdf_name)#pdf名称
return url_lists,pdf_names
get_url_lists=get_url_list()#调用函数，返回
3.PDF content获取与文件保存和下载
def getFile(url=[],filename=[]):
for i,k in zip(url,filename):
r = requests.get(i)
fo = open(k.replace('*','')+'.pdf', 'wb') # 注意要用'wb',这个地方有坑，有些带*的名称会导致报错，需要替换掉
fo.write(r.content) # r.content -> requests中的二进制响应内容：以字节的方式访问请求响应体，对于非文本请求
fo.close()
print ("Sucessful to download" + " " + k+'.pdf')#打印成功下载
#print(os.getcwd())
#os.mkdir('pdf_download)
os.chdir(os.path.join(os.getcwd(), 'pdf_download'))#创建目录
getfile=getFile(get_url_lists[0],get_url_lists[1])#文末有图，可以看到下载成功的界面
找出pdf链接规律.PNG
下载结果.PNG
