python的介绍这里不再赘述，虽说用很多语言都能写出爬虫(哪怕是oc或者swift),但python毫无疑问是当前写爬虫最为优秀的语言之一。
虽说很久之前就下载了python3，PyCharm，但真正意义的学习是昨天开始的。
而且，学习python的初衷，也是为了写一手爬虫出去装逼，所以那些基础语法也就是大概看看，抱着用到时去谷歌的心态跳过了基础学习这一相当重要的过程(先整出一手爬虫再说)。
爬虫我个人认为上手很简单，主要有三点：网络请求，文件操作，正则表达
抱着借鉴一手的心态，去网上各种找源码。然而，本来python3的源码就相对较少，而且下过来大部分运行不了，各种报错。少数运行成功也没有成功爬取数据，看来还是要靠自己啊(之所以爬不出数据，原因很多，大多和爬取页面格式改变有关)。
首先确定爬取数据的目标：某个运行失败的源码中的目标：煎蛋妹子图(这就很舒服了。。。)
引用一些模块
import urllib.request 网络请求相关
import os 文件操作相关
import re 正则表达相关
import random 单纯的获取随机数
作为初学者，没有用框架的经验，什么scrapy的I don't care。
下面是主要代码(多为拷贝后修改)
首先，先写网络请求的代码
def url_open(url):
req = urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:36.0) Gecko/20170522 Firefox/36.0')
response = urllib.request.urlopen(req)
return response.read()
然后去创建文件夹
def download_mm_img (folder='default',pages=10):
if not os.path.exists(folder):#判断是否存在该文件夹
os.mkdir(folder) #新建文件夹
os.chdir(folder) #跳转到文件夹
folder_top = os.getcwd() #获取当前工作目录
for i in range(pages):
page_num -= i #递减下载几个网页
page_url = url + 'page-' + str(page_num) + '#comments' #组合网页地址
img_addrs = find_imgs(page_url) #获取图片地址
save_imgs(img_addrs,page_num,folder) #保存图片
os.chdir(folder_top) #修改当前目录，也就是返回上一层
获取网页最新的地址
def get_page(url):
html = url_open(url).decode('utf-8')
pattern = r'<span class="current-comment-page">\[(\d{2})\]</span>' # 正则表达式寻找页面地址，这里要去看网页源代码，然后根据代码确定
result = re.findall(pattern,html)
page = int(result[0])
return page
获取图片地址
def find_imgs(page_url):
pattern = r'<img src="(.*?\.jpg)"'
html = url_open(page_url).decode('utf-8')
img_addrs = re.findall(pattern,html)
return img_addrs
保存每个页面的图片
def save_imgs(img_addrs,page_num,folder):
if not os.path.exists(str(page_num)):#判断是否存在该文件夹
os.mkdir(str(page_num))
os.chdir(str(page_num))
count = 0;
for i in img_addrs:
count += 1
if not i.startswith('http:'):
i = 'http:' + i
filename = str(count) + 'wylog' + str(int(random.random()*1000)) + 'wylog' + i.split('/')[-1]
print('wylog',filename,i)
image = url_open(i)
with open(filename,'wb') as f:
f.write(image)
f.close()
下载过来的图片:
mm.png
