20行PYTHON代码爬取微博高清大图,小白练手绝佳案例

<h1>0. 前戏说明</h1>

环境说明
  • python3版本
  • 所需库:<code>Beautifulsoup</code> 、<code>re</code> 、<code>requests</code>
  • 知识点:正则表达式、基本网页请求与解析、文件写入
  • 适用人群:小白
  • 最终目标:20行代码爬取<a href='http://weibo.com/5263375497/Eq3GVEgEq?from=page_1005055263375497_profile&wvr=6&mod=weibotime&type=comment#_rnd1492222234309'>微博 @来点儿设计 的九张图片</a>
  • 最终效果:
效果预览

<h1>1. 分析网页</h1>

  1. 打开微博链接,Chrome浏览器调用网页解析器(快捷键:Mac:⌘ + shift + c, Windows:Ctrl + shift + c)得到如下页面
微博页面

2.点击如图所示的小按钮,把它转到移动显示,然后刷新页面。注意链接会变成<code>m.weibo.cn</code>至于为什么要转移动端嘛,移动端代码优雅很多,爬虫起来方便。

Paste_Image.png

3.点开第一张图,然后点击代码页面左上角那个指针,再把它移到页面上大图的位置,会在右边看到一行对应的链接地址

Paste_Image.png

4.复制在<code><src></code>中的内容<code>http://wx1.sinaimg.cn/large/005KcApbly1fbknniwmsij30go0got9a.jpg</code>然后键入⌘+f (windows: ctrl + f )查找,在左下角的位置复制地址进去,看下结果有两条显示。

Paste_Image.png

5.输入回车,会发现我们的结果出现在如图所示的黄色部位。

第一处
第二处
  1. 等等,我们往下翻的时候,却惊喜的发现更多类似的链接,这是不是意味着,我们只要把接下来的链接全部爬出来就能把所有的图片提取出来了?
Paste_Image.png

7.打开那些链接一看,果然是这样,不愧我看了这么多侦探小说。那么接下来逻辑就简单了,找到<code>script</code>提取<code>pics</code>下面所有<code>url</code>对应的链接就可以了。

<h1>2. 开始撸码</h1>

#coding:utf8

from bs4 import BeautifulSoup
import requests,re

#requests.get方法获取response响应
req = requests.get('http://m.weibo.cn/status/Eq3GVEgEq?luicode=20000061&lfid=4062107219597130&featurecode=20000180#_rnd1492224492863')
#用美丽的汤BeautifulSoup解析网页html信息
soup = BeautifulSoup(req.text, 'lxml')
print(soup)

可以在Pycharm中运行一下,你将得到一连串如图的结果。

Paste_Image.png

你会发现想要的链接<code>"url": "http://wx1.sinaimg.cn/orj360/005KcApbly1fbknniwmsij30go0got9a.jpg",</code>都在<code>"url":"</code>和<code>",</code>之间,那么用正则去匹配一下,就很容易拿出来了。

Paste_Image.png
#coding:utf8

from bs4 import BeautifulSoup
import requests
import re

#requests.get方法获取response响应
req = requests.get('http://m.weibo.cn/status/Eq3GVEgEq?luicode=20000061&lfid=4062107219597130&featurecode=20000180#_rnd1492224492863')
#用美丽的汤BeautifulSoup解析网页html信息
soup = BeautifulSoup(req.text, 'lxml')

#用正则匹配url中间的内容,其中\"表示转义这个"\"符号,不懂的小伙伴,要去补一下正则的知识了哦!(.*?)表示懒惰模式下匹配0个或任意个字符,re.S表示包括换行符在内的任意字符,就是说啥都匹配,我全能!!! 
r = re.compile(r'"url": \"(.*?)",', re.S)
a = r.findall(soup.text)
print(a)

-------------雪中送炭:正则基础可以去这里看一下☞☞☞戳这里-------------

上面的输入结果是

Paste_Image.png

我们发现,这丫的不止9张图啊。我们打开每个链接看一下,原来每张图片被输出了两次,一次是缩略图,一次是整张图。而且,我们还发现一个规律,就是链接是一张缩略图,一张大图。那也就简单了。我们只要从第二张开始,隔行提取就可以啦。上代码:

from bs4 import BeautifulSoup
import requests
import re

#requests.get方法获取response响应
req = requests.get('http://m.weibo.cn/status/Eq3GVEgEq?luicode=20000061&lfid=4062107219597130&featurecode=20000180#_rnd1492224492863')
#用美丽的汤BeautifulSoup解析网页html信息
soup = BeautifulSoup(req.text, 'lxml')

#用正则匹配url中间的内容,其中\"表示转义这个"\"符号,不懂的小伙伴,要去补一下正则的知识了哦!(.*?)表示懒惰模式下匹配0个或任意个字符,re.S表示包括换行符在内的任意字符,就是说啥都匹配,我全能!!! 
r = re.compile(r'"url": \"(.*?)",', re.S)
a = r.findall(soup.text)
#从第二个开始,即索引为1。然后隔行提取直到最后,这个是Python切片的知识,不懂的小伙伴要去补一补了哈。
aaa = a[1::2]

print(aaa)

输出的结果是这样的。我们打开链接看看,果然是没错的。

Paste_Image.png

是不是已经看见了胜利的曙光,好了接下来就方便了。用fp写入文件就好了,黑喂狗。

from bs4 import BeautifulSoup
import requests
import re

#requests.get方法获取response响应
req = requests.get('http://m.weibo.cn/status/Eq3GVEgEq?luicode=20000061&lfid=4062107219597130&featurecode=20000180#_rnd1492224492863')
#用美丽的汤BeautifulSoup解析网页html信息
soup = BeautifulSoup(req.text, 'lxml')

#用正则匹配url中间的内容,其中\"表示转义这个"\"符号,不懂的小伙伴,要去补一下正则的知识了哦!(.*?)表示懒惰模式下匹配0个或任意个字符,re.S表示包括换行符在内的任意字符,就是说啥都匹配,我全能!!! 
r = re.compile(r'"url": \"(.*?)",', re.S)
a = r.findall(soup.text)
#从第二个开始,即索引为1。然后隔行提取直到最后,这个是Python切片的知识,不懂的小伙伴要去补一补了哈。
aaa = a[1::2]

#定义一个num,用来为文件夹命名,从0开始。以后每次执行循环就+1
num = 0
#把aaa集合里面的链接一次次的丢给aa
for aa in aaa:
#这里有一个坑要注意,aa得到的是一个个链接,但是我们要的是能够写入的二进制文件,所以这里还是要请求一下链接再转换成二进制文件。
    b = requests.get(aa)
#为什么要保存成.gif格式呢?因为平时我们可能还要撸一些gif图,如果是写成.jpg,保存下来的gif就动不了,为了偷懒,写成".gif"以后就不用改啦
    with open(str(num)+'.gif', 'wb') as f:
#b.content就是链接所得到的二进制文件
        f.write(b.content)
        f.close()
#上面讲过,为了写入文件名的时候用,计数+1
    num = num + 1

至此,就得到了如下几张图片

最终效果

不到二十行(不信的小伙伴可以把备注全部删掉看看),一个简单的微博撸图神器就完成了。把这个送给每天要爬图的新媒体运营的妹纸,就等着她投来仰慕的眼神,下班约你吃饭,然后去速八,然后嘿嘿嘿吧~

很重要的废话:转载的话,通知我一声就可以了。就是说通知,不需要等我回复的那种,别拿走了说也不说哈,我生气的话,后果很严重。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,951评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,606评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,601评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,478评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,565评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,587评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,590评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,337评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,785评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,096评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,273评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,935评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,578评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,199评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,440评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,163评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,133评论 2 352

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 172,008评论 25 707
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,647评论 18 139
  • 声明:本文讲解的实战内容,均仅用于学习交流,请勿用于任何商业用途! 一、前言 强烈建议:请在电脑的陪同下,阅读本文...
    Bruce_Szh阅读 12,695评论 6 28
  • 经过昨日的狂热,今天的我突然不再对那个人有一丝丝心动,如此也好。。
    招财小猫咪阅读 201评论 0 0
  • 老师讲起他大学时暗恋的女孩子,多年后重逢,竟觉满嘴苦涩。那个女孩子已不再是少年时代温柔羞涩,举止有花瓣飘落心间的那...
    一客子阅读 164评论 0 0