第一关：爬虫小白的进阶之路
前言
欢迎来和我们一起探究Python的奥妙。
本次课程共分为三天，你将学到爬虫基础知识、代码优化、数据的存储.....
老师会手把手带你实操写代码，一起感受python给我们的生活和工作带来的高效
开始学习前老师还有个小tips：将学习界面添加到收藏夹，学习更便捷😎
OK～一切准备就绪，let's go💪💪💪
初识python爬虫
- 什么是爬虫？
爬取网络数据的虫子（Python程序） - 爬虫实质是什么呢？
模拟浏览器的工作原理，向服务器请求相应的数据 -
浏览器的工作原理
image.png
浏览器在这个过程中还起到了翻译数据的作用哦
爬虫的工作原理如下图：
image.png
数据背后的秘密
找不到这双鞋子的销售数据怎么办？
- 曲线救国，通过评论数据间接得到鞋子的销售数据
如何找到评论区内容背后的URL？
（1）鼠标右击选择检查，打开程序员调试窗口，点击network（网络）
（2）刷新当前页面
（3）复制一小段评论区内容，然后在程序员调试窗口点击放大镜🔎，粘贴
（4）点击刷新小圆圈🔄查找
（5）点击查询结果的第二行，跳转到对应的请求
（6）点击Headers，找到Request URL即几评论区数据背后的URL
image.png
3行代码爬取京东数据
梳理代码流程：
（1）引入Python工具包requests
（2）使用工具包中的get方法，向服务器发起请求
（3）打印输出请求回来的数据（print语法）
import requests as rq
import json
resp= rq.get("https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100019039124&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1")
print(resp.text)
牛刀小试1
爬取一页京东上销量最高的口红评论区数据
image.png
import requests as rq
import json
resp= rq.get("https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100011323932&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1")
print(resp.text)
第二关：python高手过招
Python代码解析数据
如何解析这堆杂乱无章的数据?
- （1）打开网页工具 www.json.cn
- （2）将数据整理成Json格式：以大括号开头和结尾
- （3）找到目标数据值对应的名字
Python replace语法
replace为替换的意思，可以使用replace把任何不想要的数据替换成一个新值
引入Python整理数据的工具包 json、获取鞋子颜色及鞋码数据
import requests as rq
import json
resp= rq.get("https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100019039124&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1")
content =resp.text
rest=content.replace("fetchJSON_comment98(",'').replace(");",'')
json_data= json.loads(rest)
comments =json_data["comments"]
for item in comments:
color =item["productColor"]
size=item["productSize"]
print(color)
print(size)
怎么样？自己爬到数据的感觉有没有很奇妙🤪
牛刀小试2
利用for循环写一段代码，爬取评论中口红的色号数据
import requests
import json
resp =requests.get("https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100011323932&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1")
content =resp.text
rest=content.replace('fetchJSON_comment98(','').replace(');','')
json_data=json.loads(rest)
comments=json_data['comments']
for item in comments:
color =item['productColor']
print(color)
第三关：化身数据分析师
学会引入openpyxl工具包存储数据？
（1）创建一个Excel表格
（2）创建一个sheet
（3）在sheet里面保存数据
（4）把表格保存在一个磁盘里
import openpyxl
wb =openpyxl.Workbook()
sheet1=wb.create_sheet()
sheet1.append(['aaa','bbb'])
wb.save('data/123_ABC_CDE.xlsx')
注意⚠️：我们的数据保存在云服务器，服务器访问入口：http://py.xxx.com/pythondata
体验数据可视化分析
使用之前爬取的数据存储为CSV文件，然后进行可视化分析
import requests as rq
import json
import openpyxl
wb =openpyxl.Workbook()
sheet1=wb.create_sheet()
resp= rq.get("https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100019039124&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1")
content =resp.text
rest=content.replace("fetchJSON_comment98(",'').replace(");",'')
json_data= json.loads(rest)
comments =json_data["comments"]
for item in comments:
ids =item['id']
color =item["productColor"]
size=item["productSize"]
sheet1.append(['ids','color','size'])
sheet1.append([ids,color,size])
wb.save('data/ABCD_20220511.csv')
使用pandas与matplotlib对Excel数据进行可视化分析
import pandas as pd
import matplotlib as plt
# data =pd.read_csv('data/ABCD_20220511.csv')
data =pd.read_excel('data/ABC_20220511.xlsx',sheet_name='Sheet1')
nrows =data.shape[0]
ncols=data.columns.size
count =data.groupby(['color'])['size'].sum()
count.plot.bar()
打开新世界的大门
Python操作处理大量Excel表格
Wow～恭喜完成了3天的体验课程🎉🎉🎉
import os
import openpyxl
wb=openpyxl.Workbook()
sheet1=wb.create_sheet()
src_dir="data/"
files =os.listdir(src_dir)
print(files)
for item in files:
item.replace('.xlsx','')
sheet1.append([item])
wb.save("data/20220509.xlsx")
牛刀小试3
将爬取的数据成功保存至Excel中
import requests as rq
import json
import openpyxl
wb =openpyxl.Workbook()
sheet1=wb.create_sheet()
resp= rq.get("https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100019039124&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1")
content =resp.text
rest=content.replace("fetchJSON_comment98(",'').replace(");",'')
json_data= json.loads(rest)
comments =json_data["comments"]
for item in comments:
color =item["productColor"]
size=item["productSize"]
sheet1.append(['color','size'])
sheet1.append([color,size])
wb.save('data/123_ABC_CDE.xlsx')
