前言
嗨喽，大家好呐，这里是魔王呀~
本篇代码提供者: 青灯教育-自游老师
环境使用:
- Python 3.8
- Pycharm
版本尽量保持一致哦~
模块使用:
- requests >>> pip install requests
- parsel >>> pip install parsel
如果安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
安装失败原因:
失败一: pip 不是内部命令
解决方法: 设置环境变量
失败二: 出现大量报红 (read time out)
解决方法: 因为是网络链接超时, 需要切换镜像源
例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名
失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入
解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好
或者你pycharm里面python解释器没有设置好
如何配置pycharm里面的python解释器?
- 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
- 点击齿轮, 选择add
- 添加python安装路径
pycharm如何安装插件?
- 选择file(文件) >>> setting(设置) >>> Plugins(插件)
- 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
- 选择相应的插件点击 install(安装) 即可
- 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
[图片上传失败...(image-2c9af3-1655887012863)]
基本思路流程<通用>:
一. 数据来源分析
- 明确需求
- 通过开发者工具进行抓包分析, 分析漫画数据内容来于那里
一张manhua图片<url地址> ----> 获取本章节所有漫画内容来自于哪里
二. 代码实现步骤过程
- 发送请求, 对于刚刚分析得到图片数据包url地址发送请求
- 获取数据, 获取服务器返回响应数据response
- 解析数据, 提取所有漫画图片url地址
- 保存数据, 把漫画内容保存到本地文件夹
采集一本漫画内容
采集多章漫画内容 ---> 去找寻多个漫画数据包url地址 ---> 分析请求url地址参数变化 ---> 章节ID变化
只需要获取所有漫画章节ID就可以了 ---> 都目录页面 列表页面 去分析找寻
- 发送请求, 对于漫画目录页面发送请求
- 获取数据, 获取服务器返回响应数据response
- 解析数据, 提取所有漫画章节ID以及漫画标题
代码
因审核机制原因，我把网址里的一些东西删掉了，小可耐们可以自己添加一下哈，很容易的
导入模块
# 导入数据请求模块
import requests
# 导入格式化输出模块
import pprint
# 导入数据解析模块
import parsel
# 导入文件操作模块
import os
确定网址
link = ''
加入伪装
# headers请求头伪装
headers = {
# user-agent: 用户代理 表示浏览器基本身份标识
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36',
}
发送请求
response_1 = requests.get(url=link, headers=headers)
获取数据
# print(response_1.text)
# 解析数据 获取数据是什么样的, 选择最适合的解析方法
selector = parsel.Selector(response_1.text)
lis = selector.css('.chapter__list-box .j-chapter-item')
获取名字
name = selector.css('.de-info__box .comic-title::text').get()
自动创建文件
filename = f'{name}\\'
if not os.path.exists(filename):
os.mkdir(filename)
for li in list(reversed(lis)):
chapter_id = li.css('a::attr(data-chapterid)').get()
chapter_title = li.css('a::text').getall()[-1].strip()
print(chapter_id, chapter_title)
发送请求, 模拟浏览器对于url地址发送请求
问号后面的内容, 都是属于这个url的请求参数, 可以单独用字典去接受
用python代码模拟浏览器, 是需要使用headers请求头 ---> 可以在开发者工具里面进行复制粘贴
user-agent: 用户代理 表示浏览器基本身份标识
如何快速批量替换:
选中替换的内容 ctrl + R 输入正则表达式命令, 点击全部替换
(.*?): (.*)
'$1': '$2',
请求url地址
---> 复制粘贴的
# https://comic..com/chapter/content/v1/?chapter_id=996914&comic_id=211471&format=1&quality=1&sign=c2f14c1bdb0505254416907f504b4e03&type=1&uid=55123713
url = ''
请求参数
---> 复制粘贴的
data = {
'chapter_id': chapter_id,
'comic_id': '211471',
'format': '1',
'quality': '1',
'sign': 'c2f14c1bdb0505254416907f504b4e03',
'type': '1',
'uid': '55123713',
}
请求头
用来伪装python代码的 ---> 复制粘贴的
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
发送请求
response = requests.get(url=url, params=data, headers=headers)
# <Response [200]> 响应对象, 200状态码 表示请求成功
print(response)
# 获取数据, 获取服务器返回响应数据
```python
# response.text 获取文本数据<数据类型: 字符串> response.json() 获取json字典数据<数据类型: 字典>
print(response.json())
解析数据
--- > 获取数据是什么样的, 选择最适合的解析方法 字典取值, 根据键值对提取数据内容
根据冒号左边的内容[键], 提取冒号右边的内容[值] ---> 键值对取值 键值对与键值对之间用逗号隔开的
image_list = response.json()['data']['page'] # 列表里面
num = 1
for image in image_list: # 就可以把列表<装东西盒子>里面元素, 一个一个提取出来
img_url =image['image']
print(img_url)
保存数据
---> 同样是需要对图片url地址发送请求, 并且获取它数据内容 response.content 获取二进制数据
img_content = requests.get(url=img_url, headers=headers).content
# 保存数据, 保存图片 shipin 音频 特定格式文件<zip ppt..> 获取二进制数据内容
# mode模式保存方式 wb w写入 b二进制 wb以二进制方式进行写入
with open(filename + chapter_title + str(num) + '.jpg', mode='wb') as f:
f.write(img_content)
num += 1
尾语
成功没有快车道，幸福没有高速路。
所有的成功，都来自不倦地努力和奔跑，所有的幸福都来自平凡的奋斗和坚持
——励志语录
本文章就写完啦~感兴趣的小伙伴可以复制代码去试试
你们的支持是我最大的动力！！记得三连哦~ 💕 欢迎大家阅读往期的文章呀~
[图片上传失败...(image-df95e5-1655887012863)]
