爬虫第一步：获取页面

一、信息在网络连接层的传递

(Bob 从Alice那里获得信息)

Bob的电脑发送一个字节流，由信息组成，包含header和body。header包含一个本地路由器MAC地址的直接目的地，和Alice的IP地址的最终目的地。body包含他对接受Alice服务器应用程序的请求。
Bob的本地路由器接收所有这些1和0，并将它们解释为一个包，来自Bob自己的MAC地址，目的地是Alice的IP地址。他的路由器把自己的IP地址作为“来自”IP地址印在包上，然后通过互联网发送出去。
Bob的包穿过几个中间服务器，这些服务器将他的包指向Alice服务器上正确的物理/有线路径。
Alice的服务器在她的IP地址接收数据包。
Alice的服务器读取报头中的包端口目的地，并将其传递给适当的应用程序——web服务器应用程序。(对于web应用程序，包端口目的地几乎总是端口80;这可以看作是包数据的公寓号，而IP地址就像街道地址一样。)
eb服务器应用程序从服务器处理器接收数据流。这些数据说明了如下内容:

这是一个GET请求。
请求以下文件:index.html。

web服务器定位正确的HTML文件，将其打包成一个新的包发送给Bob，并将其发送到本地路由器，以便通过相同的过程将其传输回Bob的机器。

二、python 虚拟环境

如果您打算处理多个Python项目，或者您需要一种方法来轻松地将项目与所有关联的库捆绑在一起，或者您担心已安装的库之间可能存在冲突，那么您可以安装一个Python虚拟环境来保持所有内容分离并易于管理。

    $ virtualenv scrapingEnv

创建一个环境scrapingEnv,产生了一个单独的文件夹，包含一套独立的python运行环境，安装的任何库或运行的脚本都将只在该虚拟环境下运行。运行虚拟环境：

    $ cd scrapingEnv/
    $ source bin/activate
    (scrapingEnv)ryan$ pip install beautifulsoup4
    (scrapingEnv)ryan$ python
    > from bs4 import BeautifulSoup
    >
    (scrapingEnv)ryan$ deactivate

    ryan$ python
    > from bs4 import BeautifulSoup
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>

三、urllib.request.urlopen 从一个网络地址获取html文件

from urllib.request import urlopen
html = urlopen('http://pythonscraping.com/pages/page1.html')
print(html.read())

urllib是一个标准的Python库(意味着您不需要安装任何额外的程序来运行这个示例)，它包含用于跨web请求数据、处理cookie、甚至更改元数据(如标题和用户代理)的函数。

urlopen用于跨网络打开远程对象并读取它。它是一个相当通用的函数(它可以轻松地读取HTML文件、图像文件或任何其他文件流)

四、BeautifulSoup 处理html页面

BeautifulSoup 通过修复糟糕的HTML和向我们提供表示XML结构的易于遍历的Python对象来帮助格式化和组织混乱的web。

安装：

    $sudo  apt-get install python-bs4
    or:
    $pip install beautifulsoup4

运行：

from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen('http://www.pythonscraping.com/pages/page1.html')
bs = BeautifulSoup(html.read(), 'html.parser')  # 无需.read()
print(bs.h1)
----------------------Output--------------------------
<h1>An Interesting Title</h1>

bs = BeautifulSoup(html.read(), 'html.parser')将html文件进行解析，成为一个BeautifulSoup 对象，具有良好的结构层次：

html → <html><head>...</head><body>...</body></html>
    head → <head><title>A Useful Page<title></head>
        title → <title>A Useful Page</title>
    body → <body><h1>An Int...</h1><div>Loremip...</div></body>
        h1 → <h1>An Interesting Title</h1>
        div → <div>Lorem Ipsum dolor...</div>

然后可以访问不同层次结构：比如获得h1 tag：
bs.h1;bs.html.h1;bs.body.h1;bs.html.body.h1都可以

其中参数'html.parser'表示将其以html良好结构进行解析，无需安装直接使用。其他还有'lxml'和'html5lib'两者都是解析方式，不过都需要先下载安装pip install lxml及pip install html5lib.
lxml格式可以处理更糟糕的html代码，可以进行修复，而且比html.parser更快。缺点在于需要安装，依赖于第三方C库，可能出现易使用型和移植性问题。html5lib是一个非常宽容的解析器，它甚至可以主动更正损坏的HTML。它还依赖于外部依赖，并且比lxml和html.parser都要慢。

五、可靠地连接并处理异常

获取页面出错

服务器上找不到页面 HTMLError
找不到服务器 URLError

from urllib.request import urlopen
from urllib.error import HTTPError
from urllib.error import URLError

try:
    html_1 = urlopen('http://www.pythonscraping.com/pages/pagenofound.html')
    html_2 = urlopen('https://pythonscrapingthisurldoesnotexist.com')
except HTTPError as e:
    print(e)
except URLError as e:
    print('The server could not be found!')
else:
    print('It Worked!')

tag获取出错

如果从服务器成功检索到页面，仍然存在页面上的内容与预期不完全一致的问题。每次在BeautifulSoup对象中访问标记时，明智的做法是添加一个检查来确保标记确实存在。如果您试图访问一个不存在的标记，BeautifulSoup将返回一个None对象。如果要继续访问深层tag，则出现None对象的AttributeError错误。

try:
    badContent = bs.nonExistingTag.anotherTag
except AttributeError as e:
    print('Tag was not found')
else:
    if badContent == None:
        print ('Tag was not found')
    else:
        print(badContent)

爬虫第二步：HTML 解析和信息提取

注意：一般不要去通过使用多行语句层层深入来找到所要的信息。可能因为页面的变化而出错

bs.find_all('table')[4].find_all('tr')[2].find('td').find_all('div')[1].find('a')

接下来的beautifulsoup对象的信息提取都建立在获取页面内容之后：

from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen('http://www.pythonscraping.com/pages/page1.html')
bs = BeautifulSoup(html.read(), 'html.parser')

一、通过属性匹配获得特定tag

nameList = bs.findAll('span', {'class':'green'})
for name in nameList:
    print(name.get_text())

bs.find_all(tagName, tagAttributes)来获取页面上所有标记的列表，而不仅仅是第一个标记。
tagName.get_text()，以便将内容从标记中分离出来。

find() 和 find_all()

BeautifulSoup的find()和find_all()是您可能最常用的两个函数。有了它们，您可以很容易地过滤HTML页面，根据它们的各种属性找到所需标记的列表，或者单个标记。

find_all(tag, attributes, recursive, text, limit, keywords)
find(tag, attributes, recursive, text, keywords)

tag: 可以传递标记的字符串名称，甚至Python字符串标记名称列表

.find_all(['h1','h2','h3','h4','h5','h6'])

attributes:获取属性的Python字典，并匹配包含这些属性之一的标记

.find_all('span', {'class':{'green', 'red'}})

recursive:布尔值。您希望文档深入到什么程度?如果recursive被设置为True, find_all函数将查找与参数匹配的标记的子标记和子标记的子标记。如果它是假的，它将只查看文档中的顶级标记。默认情况下,find_all递归工作(recursive设置为True)

text:根据标记的文本内容进行匹配，而不是根据标记本身的属性进行匹配

nameList = bs.find_all(text='the prince')
print(len(nameList))

keywords:允许您选择包含特定属性或属性集的标记

title = bs.find_all(id='title', class_='text')

但keywords可以用attributes参数替代：

bs.find_all('', {'id':'text','class':'text'})

二、通过html组织结构获取tag

children and descendants 直接子代和所有后辈

在BeautifulSoup库和许多其他库中，在子库和后代库之间有一个区别:就像在人类族谱中一样，子库总是恰好比父库低一个标记，而后代库可以在父库下面的树中的任何级别。
一般来说，BeautifulSoup函数总是处理选中的当前标记的后代。例如,bs.body.h1选择第一个h1标记，它是body标记的后代。它不会找到位于主体外部的标记。类似地，bs.div.find_all('img')将在文档中找到第一个div标记，然后检索该div标记的后代的所有img标记的列表.
如果您希望只找到子代，可以使用.children标记

for child in bs.find('table',{'id':'giftList'}).children:
    print(child)

所有后辈则使用.descendants

for all_child in bs.find('table',{'id':'giftList'}).descendants:
    print(all_child)

siblings同层次兄弟姐妹

for sibling in bs.find('table',{'id':'giftList'}).tr.next_siblings:
    print(sibling)

当你得到一个对象的兄弟siblings对象时，该对象本身将不会包含在列表中。正如函数名所暗示的，它只调用下面同层次的所有兄弟姐妹。例如，如果在列表中间选择一行，并对其调用next_siblings，则只返回后续的兄弟姐妹。因此，通过选择标题行并调用next_siblings，可以选择表中的所有行.

作为对next_siblings的补充，previous_siblings函数通常很有用，如果您希望得到的同胞标记列表的末尾有一个易于选择的标记。previous_siblings返回同层次的所有兄弟姐妹

也有next_sibling和previous_sibling函数，它们执行的函数几乎与next_sibling和previous_sibling相同，只不过它们返回的是单个标记，而不是它们的列表

parent 父代标记

bs.find('img',{'src':'../img/gifts/img1.jpg'}).parent.previous_sibling.get_text()

三、正则表达式

import re

images = bs.find_all('img',
    {'src':re.compile('\.\.\/img\/gifts/img.*\.jpg')})
for image in images:
    print(image['src'])

只打印以../img/gifts/img开头并且以.jpg结尾的相对图像路径。输出结果如下:

../img/gifts/img1.jpg
../img/gifts/img2.jpg
../img/gifts/img3.jpg
../img/gifts/img4.jpg
../img/gifts/img6.jpg

四、获取属性

使用标记对象，Python属性列表可以通过调用以下命令自动访问:
myTag.attrs
这实际上返回了Python dictionary对象，可以使用以下行找到图像的源位置:
myTag.attrs['src']

五、Lambda 表达式

BeautifulSoup允许您将某些类型的函数作为参数传递到find_all函数中。
唯一的限制是这些函数必须以标记对象作为参数并返回布尔值。beautifulsoup遇到的每个标记对象都在这个函数中求值，值为True的标记将被返回，其余的将被丢弃。
bs.find_all(lambda tag: len(tag.attrs) == 2)返回所有具有两个属性的标记

Lambda函数非常有用，您甚至可以使用它们来替换现有的BeautifulSoup函数
bs.find_all(lambda tag: tag.get_text() =='Or maybe he\'s only resting?')
等同于：
bs.find_all('', text='Or maybe he\'s only resting?')

爬虫学习（01）