一、前言
1、相关介绍：
采用Python 来进行爬虫的主要原因是： Python语言简洁，使用方便，拥有许多方便进行爬虫的库，如Urllib。
Python除了爬虫获取数据外，还可以图像处理，数据处理，导出Execl表格等。更多可以看：Python可以用来干嘛？
2、安装Python
苹果系统上一般默认都装有Python编译器，为Python2.x版本。本文出现的代码都是以Python2.7版本为准。
如果需要Python3.x或者在windows上运行，就需要自己去安装Python,具体见：安装Python
二、爬虫
本文中以实现一个爬取网页中的图片的爬虫为例子。
预备知识
Python基础知识
Python中urllib库的用法
Python正则表达式
Python中re库的用法
1、Python基础知识
1、Python脚本文件后缀名为.py
2、#为注释符号
3、Python中没有花括号{}，用:代替
#eg:
for url in urls :
print url
4、函数的调用写法与JS相似
#eg
func(参数)
5、运行Python
在终端输入：
python **.py
如果是Python3.x版本输入：
python3 **.py
2、Python中urllib库的用法
urlopen 和read
urlopen：通过一个URL打开一个网页。
read：读取这个网页。
#eg
import urllib
url = 'http://www.thejoyrun.com'
page = urllib.urlopen(url)
html = page.read()
print html
获取网页的源码:
源码截图.png
本文爬虫的核心为：通过正则表达式在源码中获取图片链接。
urlretrieve
urlretrieve：根据一个URL,下载相关文件
#eg
import urllib
urllib.urlretrieve('http://img.mm522.net/flashAll/20120502/1335945502hrbQTb.jpg','%s %s.jpg' % (datetime.datetime.now(),x)) #(URL,文件保存名字)
3、Python正则表达式
用\d匹配数字
用.匹配任意字符
用\s匹配一个空格
用*表示任意个数字符
用+表示至少一个字符
具体可以看：Python正则表达式
4、Python中re库的用法
split
用正则表达式进行字符串切分，获得一个list(可变数组)
#import re
testStr = 'http://www.thejoyrun.com'
print re.split(r'\.',testStr)
match
用正则表达式进行匹配，如果匹配成功，返回一个Match
对象，否则返回None
#import re
testStr = 'http://www.thejoyrun.com'
if re.match(r'http.*com', test):
print 'ok'
else:
print 'failed'
完整代码
#coding=utf-8
import urllib
import re
import datetime
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getImg(html):
# splitReg = r'[\s\"\,\，\']+'
splitReg = r'[\s\"]+' #不区分,
tempList = re.split(splitReg,html) #分割后获得一个list （数组）
imgUrls = [] #一个空list
x = 0
for str in tempList :
matchReg = r'http:.*.jpg'
if re.match(matchReg,str) :
print '%s--' %x +str
imgUrls.append(str)
x = x + 1
urllib.urlretrieve(str,'%s %s.jpg' % (datetime.datetime.now(),x))
matchReg1 = r'http:.*.png'
if re.match(matchReg1,str) :
print '%s--' %x +str
imgUrls.append(str)
x = x + 1
urllib.urlretrieve(str,'%s %s.jpg' % (datetime.datetime.now().date(),x))
return imgUrls
html = getHtml("网址")
print(html)
getImg(html)```
我们用一下网址测试：
http://cn.bing.com/images/search?q=%E6%85%B5%E6%87%92%E5%B0%91%E5%A5%B3%E5%86%99%E7%9C%9F&FORM=ISTRTH&id=A87C17F9A484F4078C72BEB0FE1EC509BA1F59C8&cat=%E7%BE%8E%E5%A5%B3&lpversion=
下面是这个网址打开的网页的截图：
下面是下载到本地的图片截图：
#爬虫框架Scrapy ：
我们可以通过urllib库结合正则制作一些入门级别的爬虫，如果需要更强大、更多功能的爬虫则需要借助爬虫框架
```Scrapy``` Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
有兴趣的同学可以到[Scrapy](http://doc.scrapy.org/en/latest/)看看
>NOTE:自己实践的时候可以尝试改一下代码，例如把```.jpg```改成```.avi```。
#技术无罪，请勿飙车