爬取动态网页数据：
1.需求：
爬取什么网站获得什么内容，存储在excel、txt与MySQL数据库中。
2.分析：
分析页面源码，找到需要的数据在哪里
打开目标网站-->输入关键词-->查看源码-->没发现数据信息
打开目标网站-->输入关键词-->按F12-->Network(网络)刷新-->找到带ajax请求字样的url，我们可以发现存在数据开头的json文件，这很可能就是我们所需要的数据信息，右击选择open link in new tab，可以发现其实就是我们所需的内容。
我们在写爬虫的时候需要多页爬取，自动模拟换页操作。首先我们点击下一页，可以看到url没有改变，这也就是Ajax（异步加载）的技术。点击相关数据的json文件，在右侧点击Headers栏，可以发现最底部有Form Data的字样，里面的内容这个是携带的表单数据内容.
图片.png
- 当我们换页的时候pn则变为2且first变为false，故我们可以通过构造post表单进行爬取。
图片.png
4.页面案例（拉勾网获取职位信息案例）：
from urllib import request,parse
import json
import pymysql
import time
def lagouspider(url,formdata):
response_data = loaddata(url,formdata)#发起请求返回响应结果
data = json.loads(response_data)#json字符串转化为Python数据类型
if data['success']:
print('请求成功')
#拿到职位信息
postionjobs = data['content']['positionResult']['result']
for job in postionjobs:
jobdata = {}
jobdata['positionName'] = job['positionName']
jobdata['publishtime'] = job['formatCreateTime']
jobdata['companyName'] = job['companyShortName']
jobdata['city'] = job['city']
jobdata['Zones'] = job['businessZones'][0]
jobdata['salary'] = job['salary']
jobdata['workYear'] = job['workYear']
jobdata['xueli'] = job['education']
jobdata['positionAdvantage'] = job['positionAdvantage']
jobdata['fuli'] = ','.join(job['companyLabelList'])
jobdata['size'] = job['companySize']
jobdata['industry'] = job['industryField']
jobdata['rongzi'] = job['financeStage']
jobdata['Logo'] = job['companyLogo']
save_data_to_db(jobdata)
#判断是否需要发起下一次请求
#取出当前页码
cur_page = data['content']['pageNo']
#每页数据
page_size = data['content']['pageSize']
#总共多少条数据
total_count = data['content']['positionResult']['totalCount']
if cur_page * page_size < total_count:
next_page = cur_page+1
print('继续发起请求'+str(next_page)+'页')
formdata['pn'] = next_page
time.sleep(3)
lagouspider(url,formdata)
else:
print('请求不成功')
time.sleep(10)
print('重新发起第'+str(formdata['pn'])+'页请求')
lagouspider(url,formdata)
def loaddata(url,formdata):
formdata = parse.urlencode(formdata).encode('utf-8')
req_header = {
'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64;rv:63.0) Gecko/20100101',
'Referer':'https://www.lagou.com/jobs/list_c%2B%2B?labelWords=&fromSearch=true&suginput='
}
req = request.Request(url,headers=req_header,data=formdata)
response = request.urlopen(req)
print(response.status)
json_str = response.read().decode('utf-8')
return json_str
def save_data_to_db(jobdata):
'''
存储数据
:param jobdata:
:return:
'''
sql = '''
insert into lagou(%s)
values (%s)
'''%(','.join(jobdata.keys()),','.join(['%s']*len(jobdata)))
try:
# 执行sql
cursor.execute(sql,list(jobdata.values()))
db.commit()
except Exception as err:
print(err)
db.rollback()
if __name__ == '__main__':
#数据库连接
db = pymysql.Connect(host='127.0.0.1', port=3306, user='****', \
password='******', database='infotest', charset='utf8')
# 获取游标对象
cursor = db.cursor()
url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
formdata = {
'first': 'true',
'kd': 'c++',
'pn': '1'
}
lagouspider(url,formdata)
