功能描述
- 输入：大学排名URL链接
- 输出：大学排名信息的屏幕输出（排名，大学名称，总分）
- 技术路线：requests-bs4
-
定向爬虫：仅对输入URL进行爬取，不扩展爬取。
经查看网页源代码发现，要爬取的内容均写在html网页中，所以这个定向爬虫是可以实现的。
而且查看爬取网页的robots协议，发现无此页面，说明爬取大学排名这个功能是完全可以合法实现的。
QQ图片20200414165828.png -
实现目标：
能够打印出如下所示的表格：
image.png
程序的结构设计
- 步骤一：从网络上获取大学排名的网页内容
getHTMLText() - 步骤二：提取网页内容中信息放到合适的数据结构中，这样可以将信息编程代码的一部分（关键！！）
getUnivList() - 步骤三：利用数据结构展示并输出结果
printUnivList()
经分析，爬取到的内容是个二维数据结构，所以可以采取列表的方式（二维列表：即列表中的每个元素又是一个列表）
- 代码实现：
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
try:
r = requests.get(url, timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
#提取html中关键数据，添加到一个列表中
def fillUnivList(ulist, html):
soup = BeautifulSoup(html, "html.parser")
#寻找tbody标签并对其孩子节点进行遍历，这里的tr是一所大学对应的信息
#需要过滤掉非标签类型的其他信息
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].string, tds[1].string, tds[2].string])
#需要进行格式化输出
def printUnivList(ulist, num):
#打印表头
tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
print(tplt.format("排名","学校名称","总分", chr(12288)))
for i in range(num):
u = ulist[i]
print(tplt.format(u[0], u[1], u[2], chr(12288)))
def main():
uinfo = []
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 20) # 只输出前20名
main()
- 输出结果：
排名 学校名称 总分
1 清华大学 北京市
2 北京大学 北京市
3 浙江大学 浙江省
4 上海交通大学 上海市
5 复旦大学 上海市
6 南京大学 江苏省
7 中国科学技术大学 安徽省
8 哈尔滨工业大学 黑龙江省
9 华中科技大学 湖北省
10 中山大学 广东省
11 东南大学 江苏省
12 天津大学 天津市
13 同济大学 上海市
14 北京航空航天大学 北京市
15 四川大学 四川省
16 武汉大学 湖北省
17 西安交通大学 陕西省
18 南开大学 天津市
19 大连理工大学 辽宁省
20 山东大学 山东省
- 知识点：
此方法在中文输出排版方面很有效。
format方法中两个重要属性：
①填充：用于填充的单个字符
②宽度：槽的设定输出宽度
当中文字符宽度不够时，采用西文字符填充；中西文字符占用宽度不同
中文对齐问题是一个通用问题，在任何需要中英文混合输出的情况下，他都是个问题
解决方案：
字符宽度不够时用中文字符填充而不是西文字符填充，那么对齐的问题就解决了
UTF-8编码对应的中文空格信息叫做12288
我们可以用chr(12288)来引入到函数中
