python学习之爬取斗图网表情包

1.环境:python3.6以及PyCharm

安装python

安装Pycharm

2.需要用到的库有requests ,urllib , bs4 ,os,threading

可以参照:Mac下PyCharm导入第三方包

Request:用来请求网络数据

Beautifulsoup4:用来解析html文档,过滤所需数据

urllib:用来操作网页url

threading:用来做多线程~

接下来进入正题:


1.首先获取所有要下载的网页的URL,怕太多,我这边只载1-10页

获取页面URL

2.接着便是获取页面中的图片的url

使用lxml解析,寻找到所有的img,将所有图片地址遍历过去

其中有用到全局变量的,使用gLock.acquire()和gLock.release()加锁解锁下,避免多线程运行时冲突

url = img.get('data-original', 'http://ww3.sinaimg.cn/bmiddle/9150e4e5ly1fpzs6elzerg20470430w7.gif')这行,有些图片没有get到data-original的话,后面split去分割"/"会出错,所以就写了个固定的地址填充下

获取图片url

3.获取到每个图片的地址后,截取所有图片的名字,作为保存到本地的图片名字,保存在文件夹为images目录底下。

然后使用urlretrieve()方法将图片载下来


下载图片

4.由于页面如果很多多话,一个一个跑太慢了,于是加了一个多线程


多线程


以上~~~一个简单的爬取网站图片的功能就完成啦!!

毕竟第一个PY实验~人生苦短,我用python


©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容