Python（KK 英语发音：/ˈpaɪθən/）是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。
Python入门爬虫(http://www.jianshu.com/p/0fb7f178d1b7)
上一篇简单的讲述了如何爬到一些简单的文字，显示在控制台并存入文件中，接下来是一起来爬一些图片，下载到本地。
先来介绍一下。Selenium，PhatomJs，python被称为爬虫的无敌三件套。
PhatomJS其实就是一个没有界面的浏览器，最主要的功能是能够读取js加载的页面。
Selenium实质上是一个自动化测试工具，能够模拟用户的一些行为操作，比如下拉网页。
在这里我没有用PhatomJs来爬图片（好像因为这里的网络问题，运行好久都没有啥反应，所有这里改用了chrome）
这是chrome所需的驱动(http://npm.taobao.org/mirrors/chromedriver/)
所对应的chrome版本（http://blog.csdn.net/huilan_same/article/details/51896672）
我们先来一个小例子感受一下 Selenium，这里我们用 Chrome 浏览器来测试，方便查看效果，到真正爬取的时候换回 PhantomJS 即可。
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com/')
运行这段代码，会自动打开浏览器，然后访问百度。
如果程序执行错误，浏览器没有打开，那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置在环境变量里。下载驱动，然后将驱动文件路径配置在环境变量即可。
OK，基本的都讲完了，下面开始爬图片洛(这里爬的是我喜欢的歌手Lisa)
我们先来分析一下网易云个人专辑的结构
看到下面的地址
看一下地址栏的地址
第一页的地址是 http://music.163.com/#/artist/album?id=16995&limit=12&offset=0
第二页的地址是 http://music.163.com/#/artist/album?id=16995&limit=12&offset=12
变换的只有offset后面的值,一页只显示12个
所有我们直接修改原地址为 http://music.163.com/#/artist/album?id=16995&limit=36&offset=0
这样子就是第一页显示完全部的专辑图片(都不需要我们弄分页的功能的，多好啊。。。)
这里值得注意的是，该页面使用frame 框架，使用Selenium + PhantomJS 后并不会加载iframe 框架中的网页内容。iframe 框架相当于在页面中又加载了一个页面，需要使用Selenium 的 switch_to.frame() 方法加载（官网给的方法是switch_to_frame()，但是IDE提醒使用前面的方法替代该方法）。
接下来开始写程序
开始准备工作，把需要的库都导入，准备好驱动
# -*-coding:utf8-*-
from bs4 import BeautifulSoup
import requests
import re
import urllib
import os
import time
from selenium import webdriver
#请求地址
url="http://music.163.com/#/artist/album?id=16995&limit=36&offset=0"
#驱动的地址
path="D:\chromedrive\chromedriver.exe"
#可以使用PhantomJS驱动来进行,任意选
#方法:driver=webdriver.PhantomJS("驱动的地址")
#启动驱动
driver=webdriver.Chrome(executable_path=path)
#Chrome会自动打开url
driver.get(url)
找到该节点，然后依次循环得到下面的节点
#得到页面的内容
page=driver.page_source
#找到节点
all_li=BeautifulSoup(page,'lxml').find(id="m-song-module").find_all('li')
接下来是最后的一步了，把标签的src的值提取出来，去掉规定的长和宽，最后下载到本地文件夹
for li in all_li:
#得到src地址
image_url=li.find('img')['src']
title=li.find('p')['title']
time=li.find('span').get_text()
#找到问号的下标
index=image_url.index('?')
#去掉原来地址的长和宽
image_url=image_url[:index]
photo_name =title+'-'+time
#下载到本地文件夹
urllib.urlretrieve(image_url,'D:\Lisa\\'+photo_name+'.jpg')
print "成功"
全部代码:
# -*-coding:utf8-*-
from bs4 import BeautifulSoup
import requests
import re
import urllib
import os
import time
from selenium import webdriver
#请求地址
url="http://music.163.com/#/artist/album?id=16995&limit=36&offset=0"
#驱动的地址
path="D:\chromedrive\chromedriver.exe"
#启动驱动
driver=webdriver.Chrome(executable_path=path)
#Chrome会自动打开url
driver.get(url)
#网易云的框架是frame
driver.switch_to.frame("g_iframe")
#得到页面的内容
page=driver.page_source
#找到节点
all_li=BeautifulSoup(page,'lxml').find(id="m-song-module").find_all('li')
for li in all_li:
#得到src地址
image_url=li.find('img')['src']
title=li.find('p')['title']
time=li.find('span').get_text()
#找到问号的下标
index=image_url.index('?')
#去掉原来地址的长和宽
image_url=image_url[:index]
photo_name =title+'-'+time
#下载到本地文件夹
urllib.urlretrieve(image_url,'D:\Lisa\\'+photo_name+'.jpg')
print "成功"
看看自己的文件夹:
