本次内容：
Python爬取某汽车网站
本次亮点:
- 系统分析目标网页
- html标签数据解析方法
- 海量数据一键保存
环境介绍:
- python 3.8 anaconda: 自动配置环境变量
- pycharm 2021专业版 >>> 激活码
- requests >>> pip install requests
- parsel >>> pip install parsel
模块安装:
按住键盘 win + r, 输入cmd回车 打开命令行窗口, 在里面输入 pip install 模块名
爬虫程序:
批量采集互联网数据(文本, 图片, 视频, 音频)
本质:
一次一次请求与响应
一.明确需求
我们要爬取内容是什么? 在哪里?
每一辆车信息
在网页源代码当中
二. 代码实现
- 发送请求 https://www.che168.com/china/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179
- 获取数据 网页源代码
- 解析数据(筛选数据) 工具帮助我们去做数据解析 parsel 第三方模块 需要大家去下载安装
- 保存数据
导入模块
import requests # 发送请求
import parsel
import csv
伪装
headers = {
'Cookie': 'userarea=0; listuserarea=0; fvlid=1639134728358TfiUoYkPyH86; sessionid=530d5f12-0c83-42b6-8a5a-7260ce6d0507; sessionip=175.0.62.169; area=430103; che_sessionid=652B6AFA-A370-444B-A099-D891A75FB0BD%7C%7C2021-12-10+19%3A12%3A09.393%7C%7C0; Hm_lvt_d381ec2f88158113b9b76f14c497ed48=1639134728,1639137478; ahpvno=4; Hm_lpvt_d381ec2f88158113b9b76f14c497ed48=1639144859; ahuuid=77E92EB7-7EEF-4366-A036-72BD8BDD2500; sessionvisit=b3c4a319-d202-4fb8-871a-5d7e683bf852; sessionvisitInfo=530d5f12-0c83-42b6-8a5a-7260ce6d0507|www.che168.com|102179; showNum=4; v_no=4; visit_info_ad=652B6AFA-A370-444B-A099-D891A75FB0BD||62B11FCC-BC2B-492B-9EB4-98A135366FC6||-1||-1||4; che_ref=0%7C0%7C0%7C0%7C2021-12-10+22%3A00%3A59.875%7C2021-12-10+19%3A12%3A09.393; che_sessionvid=62B11FCC-BC2B-492B-9EB4-98A135366FC6; sessionuid=530d5f12-0c83-42b6-8a5a-7260ce6d0507',
# 浏览器基本信息
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
}
4.保存数据
csv_qczj = open('qczj_1.csv', mode='a', encoding='utf-8', newline='')
csv_write = csv.writer(csv_qczj)
# csv_write.writerow(['品牌', '里程(万公里)', '车龄', '城市', '认证', '售价(万元)', '原价(万元)', '链接', '车辆图片'])
for page in range(92, 101):
print(f'-----------------------正在爬取第{page}页-----------------------')
1.发送请求
url = f'https://www.che168.com/china/a0_0msdgscncgpi1ltocsp{page}exx0/?pvareaid=102179'
response = requests.get(url=url, headers=headers)
# 设置编码
# response.encoding = 'gbk'
2. 获取数据 网页源代码
# <Response [200]>: 发送请求成功
data_html = response.text
3. 解析数据(筛选数据)
selector = parsel.Selector(data_html)
lis = selector.css('.viewlist_ul li')
for li in lis:
try:
name = li.css('.card-name::text').get() # 车名
unit = li.css('.cards-unit::text').get() # 信息
kmNumber = unit.split('／')[0]
years = unit.split('／')[1]
city = unit.split('／')[2]
business = unit.split('／')[3]
price = li.css('.pirce em::text').get() # 售价
yprice = li.css('s::text').get() # 原价
carinfo = li.css('.carinfo::attr(href)').get() # 详情页链接
img = li.css('img::attr(src)').get() # 车图片链接
print(name, kmNumber, years, city, business, price, yprice, carinfo, img)
csv_write.writerow([name, kmNumber, years, city, business, price, yprice, carinfo, img])
except:
pass
模块安装问题:
如果安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
安装失败原因:
失败一:
pip 不是内部命令
解决方法: 设置环境变量
失败二: 出现大量报红 (read time out)
解决方法: 因为是网络链接超时, 需要切换镜像源
清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/
例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名
失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入
解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可)
卸载一个就好或者你pycharm里面python解释器没有设置好
如何配置pycharm里面的python解释器?
- 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
- 点击齿轮, 选择add
- 添加python安装路径
pycharm如何安装插件?
- 选择file(文件) >>> setting(设置) >>> Plugins(插件)
- 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
- 选择相应的插件点击 install(安装) 即可
- 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
结束语
好了，我的这篇文章写到这里就结束啦！
有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง
喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！
