前言
嗨喽！大家好呀，这里是魔王哦~
python外包很多人都了解过，它的价位高低不等，具体看要做的需求决定，但如何保证没被坑呢~
今天我们来采集一下市场价，使自己心里有数~
本次目的:
Python采集某外包数据
环境使用:
- Python 3.8
- Pycharm
模块使用:
- requests >>> pip install requests
- parsel >>> pip install parsel
- csv
模块安装问题:
如果安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
安装失败原因:
失败一:
pip 不是内部命令
解决方法:
设置环境变量
失败二:
出现大量报红 (read time out)
解决方法:
因为是网络链接超时, 需要切换镜像源
清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/
例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名
失败三:
cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入
解决方法:
可能安装了多个python版本 (anaconda 或者 python 安装一个即可)
卸载一个就好或者你pycharm里面python解释器没有设置好
如何实现一个爬虫案例?
一. 去分析数据是什么样? 分析数据来源?
通过开发者工具进行抓包分析, 分析数据从哪里的
二. 代码实现步骤:
- 发送请求, 对于找到url地址发送请求
- 获取数据, 获取服务器返回数据
- 解析数据, 提取我们想要数据内容
- 保存数据, 保存csv表格里面
- 多页数据采集: 分析请求的url变化规律
代码
导入模块
# 导入数据请求模块 导入模块没有使用 灰色待机状态
import requests # 第三方模块 pip install requests (别人写好 开源代码,你可以直接去调用)
# 导入数据解析模块
import parsel # 第三方模块 pip install parsel
# 导入csv模块
import csv # 内置模块 不需要安装的
完整
f = open('data.csv', mode='a', encoding='utf-8', newline='')
# 快速替换 选择替换内容 按住ctrl + R 输入正则
csv_writer = csv.DictWriter(f, fieldnames=[
'标题',
'招标',
'浏览人数',
'竞标人数',
'招标状态',
'价格',
'详情页',
])
csv_writer.writeheader()
# 1. 发送请求, 对于找到url地址发送请求
for page in range(1, 11):
print(f'正在爬取第{page}页的数据内容')
url = f'https://task.epwk.com/page{page}.html' # 确定网址
# 爬虫模拟(伪装成)浏览器 对于url地址发送请求
# 反爬 相当于别人给你打电话, 电话显示推销广告
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
response = requests.get(url=url, headers=headers) # <Response [200]> 200状态码表示 请求成功 不代表得到数据了
# 2. 获取数据, 获取服务器返回数据
# print(response.text) # 返回html字符串数据内容 >>> 提取字符串数据 要使用re正则
# 3. 解析数据, 提取我们想要数据内容
selectors = parsel.Selector(response.text) # 需要转一下数据类型
# 有了解过css选择器吗? xpath根据标签节点提取数据, css选择器是根据标签属性提取数据
# 第一次提取, 获取所有div标签
divs = selectors.css('.itemblock') # 列表
for div in divs: # for遍历循环
# 定位有一个class类名字为title的div标签 下面a标签里面 title 属性
# attr() 属性选择器, 选择某一个标签里面属性内容
title = div.css('div.title a::attr(title)').get() # get 返回字符串, 并且取第一个标签数据
# strip() 去除字符串左右两端空格
modelName = div.css('div.modelName::text').get().strip() # 招标
num = div.css('div.browser div:nth-child(2) span::text').get().strip() # 浏览人数
num_1 = div.css('div.browser div:nth-child(3) span::text').get().strip() # 竞标人数
status = div.css('span.status::text').get().strip() # 招标状态
price = div.css('span.price::text').get().strip() # 价格
href = div.css('div.title a::attr(href)').get() # 详情页
# 4. 保存数据, 保存到表格数据 字典创建 键:值 >>> 键值对 键值对与键值对之间用 逗号隔开
# 值 可以是用任何数据类型, 键 大多数情况字符串数据类型 不能以数字
dit = {
'标题': title,
'招标': modelName,
'浏览人数': num,
'竞标人数': num_1,
'招标状态': status,
'价格': price,
'详情页': href,
}
csv_writer.writerow(dit)
print(title, modelName, num, num_1, status, price, href)
尾语
好了，我的这篇文章写到这里就结束啦！
有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง
喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！
