python的爬虫相关模块有很多，除了requests模块，再如urllib和pycurl以及tornado等。相比而言，requests模块是相对简单易上手的。通过文本，大家可以迅速学会使用python的requests模块爬取页码内容。
1.Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。
官网：http://cn.python-requests.org/zh_CN/latest/
2.辅助模块：Beautiful Soup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
下载地址 https://pypi.org/project/beautifulsoup4/#files
帮助文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#
1.安装requests模块
这里我是通过pip方式进行安装：
> pip install requests
安装requests
运行import requests，如果没提示错误，那说明已经安装成功了！
2.安装beautifulsoup4
pip install beautifulsoup4
3.requests模块浅析
1）发送请求
首先当然是要导入 Requests 模块：
import requests
然后，获取目标抓取网页。这里我以简书为例：
response = requests.get('https://www.jianshu.com/u/5328be71bdc1')
这里返回一个名为 response 的响应对象。从这个对象中获取所有我们想要的信息。这里的get是http的响应方法，所以举一反三,也可以将其替换为put、delete、post、head等方法。
2）传递URL参数
有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， jianshu.com/get?key=val。 Requests 允许你使用 params 关键字参数，以一个字符串字典来提供这些参数。
举例来说，当我们google搜索“python爬虫”关键词时，newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ，那么你可以使用如下代码：
payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}
r = requests.get("https://www.baidu.com/search", params=payload)
3）响应内容
通过r.text或r.content来获取页面响应内容。
import requests
r = requests.get('https://github.com/timeline.json')
r.text
Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别，简单说：
resp.text返回的是Unicode型的数据；
resp.content返回的是bytes型也就是二进制的数据；
所以如果你想取文本，可以通过r.text，如果想取图片，文件，则可以通过r.content。
4）获取网页编码
r = requests.get('http://www.jianshu.com/')
r.encoding
> 'utf-8'
5）获取响应状态码
我们可以检测响应状态码：
r = requests.get('http://www.jianshu.com/')
r.status_code
200
4.案例演示1
爬取下tower的功能日志页面。https://tower.im/roadmap
# -*- coding: utf-8 -*-
import requests
import bs4
#要抓取的目标页码地址
url = 'https://tower.im/roadmap'
#抓取页码内容，返回响应对象
response = requests.get(url)
#查看响应状态码
status_code = response.status_code
#使用BeautifulSoup解析代码,并锁定页码指定标签内容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all('tr')
print(status_code)
print(element)
爬取结果截图
5.案例演示2
调用GitHub的公共API
import requests
url = 'https://api.github.com/search/repositories?q=language:python&sort=stars'
r = requests.get(url)
print("Status code:",r.status_code)
response_dict = r.json()
print(response_dict.keys())
print("Total repositories:",response_dict['total_count'])
#探索有关GitHub仓库的信息
repo_dicts = response_dict['items']
print("Repositories returned:",len(repo_dicts))
#研究第一个GitHub仓库
repo_dict = repo_dicts[0]
print("\nkeys:",len(repo_dict))
for key in sorted(repo_dict.keys()):
print(key)
print("\nSelected information about first repository:")
print('Name:',repo_dict['name'])
print('Owner:',repo_dict['owner']['login'])
运行结果如下：
Python 3.4.3 (v3.4.3:9b73f1c3e601, Feb 24 2015, 22:44:40) [MSC v.1600 64 bit (AMD64)] on win32
Type "copyright", "credits" or "license()" for more information.
>>> ================================ RESTART ================================
>>>
Status code: 200
dict_keys(['items', 'total_count', 'incomplete_results'])
Total repositories: 2904641
Repositories returned: 30
keys: 73
archive_url
archived
assignees_url
blobs_url
branches_url
clone_url
collaborators_url
comments_url
commits_url
compare_url
contents_url
contributors_url
created_at
default_branch
deployments_url
description
downloads_url
events_url
fork
forks
forks_count
forks_url
full_name
git_commits_url
git_refs_url
git_tags_url
git_url
has_downloads
has_issues
has_pages
has_projects
has_wiki
homepage
hooks_url
html_url
id
issue_comment_url
issue_events_url
issues_url
keys_url
labels_url
language
languages_url
license
merges_url
milestones_url
mirror_url
name
node_id
notifications_url
open_issues
open_issues_count
owner
private
pulls_url
pushed_at
releases_url
score
size
ssh_url
stargazers_count
stargazers_url
statuses_url
subscribers_url
subscription_url
svn_url
tags_url
teams_url
trees_url
updated_at
url
watchers
watchers_count
Selected information about first repository:
Name: awesome-python
Owner: vinta
